ФорумПрограммированиеPHP для идиотов → Обработка данных

Обработка данных

  • kryptamine

    Сообщения: 38 Репутация: N Группа: Кто попало

    Spritz Май 21, 2015, 1:37 п.п.

    Извините за название топика, я реально хз как это назвать.
    Ситуация такая, от стороннего сервера с разными промежутками приходят xml наборы данных, например такие

    
    <?xml version="1.0" encoding="UTF-8"?>
    <result>
      <user_id>123456</user_id>
      <cost>10</cost>
    </result>
    

    Мне эти наборы данных нужно обработать и докинуть в бд соответственно.
    Вопрос следующий:
    Стоит ли для этой задачи использовать сервер очередей? То есть сначала сохранять эти данные в бд например, а потом с помощью sheduler'а порциями обрабатывать и проводить различные манипуляции, либо можно это делать на лету, то есть как только приходит отстук от сервера.
    Либо же есть какие-то более изящные решения для этой задачи.

  • phpdude

    Сообщения: 26646 Репутация: N Группа: в ухо

    Spritz Май 21, 2015, 1:45 п.п., спустя 7 минут 39 секунд

    @kryptamine, мало данных. требуется больше золота

    Сапожник без сапог
  • master

    Сообщения: 3244 Репутация: N Группа: Джедаи

    Spritz Май 21, 2015, 5:35 п.п., спустя 3 часа 50 минут 37 секунд

    То есть сначала сохранять эти данные в бд например, а потом ...

    опять сохранять в бд, угу, по крону.

    Спустя 163 сек.

    короче, сразу сохраняй, чем схема проще, тем надёжнее

    не всё полезно, что в swap полезло
  • kostyl

    Сообщения: 5210 Репутация: N Группа: Джедаи

    Spritz Май 21, 2015, 6:06 п.п., спустя 31 минуту 12 секунд

    оптимизировать будешь елси будет что оптимизировать

  • artoodetoo

    Сообщения: 5147 Репутация: N Группа: в ухо

    Spritz Май 21, 2015, 6:29 п.п., спустя 23 минуты 1 секунду

    Как данные то приходят? И насколько их много?

    Если очень хочется, очередью может выступить твоя файловая система. Время модицикации файла задает порядок обработки. Обработал — удалил (переместил).

    ιιlllιlllι унц-унц
  • kryptamine

    Сообщения: 38 Репутация: N Группа: Кто попало

    Spritz Май 21, 2015, 6:49 п.п., спустя 19 минут 13 секунд

    =

    То есть сначала сохранять эти данные в бд например, а потом ...

    опять сохранять в бд, угу, по крону.

    Спустя 163 сек.

    короче, сразу сохраняй, чем схема проще, тем надёжнее

    @master, да действительно, неудобно вышло.

    По поводу того как приходят данные - php://input.
    По поводу количества и частоты запросов, на данный момент не столь критичные объемы, скажем 1000 запросов в 5 минут.

  • phpdude

    Сообщения: 26646 Репутация: N Группа: в ухо

    Spritz Май 21, 2015, 6:51 п.п., спустя 2 минуты 20 секунд

    скажем 1000 запросов в 5 минут.

    @kryptamine, хуйня ваще

    Сапожник без сапог
  • kryptamine

    Сообщения: 38 Репутация: N Группа: Кто попало

    Spritz Май 21, 2015, 6:53 п.п., спустя 2 минуты 20 секунд

    ну я понимаю что хуйня, просто на будущее типа масштабируемость и прочее говно..

    Спустя 26 сек.

    ну видимо вы правы, нахуй городить огороды, где это не нужно..

  • vasa_c

    Сообщения: 3131 Репутация: N Группа: в ухо

    Spritz Май 21, 2015, 7:08 п.п., спустя 14 минут 57 секунд

    По поводу того как приходят данные - php://input. По поводу количества и частоты запросов, на данный момент не столь критичные объемы, скажем 1000 запросов в 5 минут.

    @kryptamine, какая вообще разница, сколько запросов если их по любому обрабатывать надо, сразу же или потом?

  • phpdude

    Сообщения: 26646 Репутация: N Группа: в ухо

    Spritz Май 21, 2015, 7:14 п.п., спустя 5 минут 40 секунд

    По поводу того как приходят данные - php://input. По поводу количества и частоты запросов, на данный момент не столь критичные объемы, скажем 1000 запросов в 5 минут.

    @kryptamine, какая вообще разница, сколько запросов если их по любому обрабатывать надо, сразу же или потом?

    @vasa_c, разница в их количестве. Если бы было 1000 запросов в секунду, возможно тут уже понадобились бы очереди. Если бы было 100 000 запросов в секунду - почти наверняка понадобилось бы промежуточное хранилище с быстрым write и пофиг каким read.

    Сапожник без сапог
  • kryptamine

    Сообщения: 38 Репутация: N Группа: Кто попало

    Spritz Май 21, 2015, 7:14 п.п., спустя 15 секунд

    По поводу того как приходят данные - php://input. По поводу количества и частоты запросов, на данный момент не столь критичные объемы, скажем 1000 запросов в 5 минут.

    @kryptamine, какая вообще разница, сколько запросов если их по любому обрабатывать надо, сразу же или потом?

    @vasa_c, да хер его знает, мне по ходу реально мозг свело, когда я это спрашивал. Согласен, разницы никакой.

  • master

    Сообщения: 3244 Репутация: N Группа: Джедаи

    Spritz Май 22, 2015, 3:52 д.п., спустя 8 часов 37 минут 18 секунд

    если нагрузка равномерная небольшая - сервер очередей не нужен

    если нагрузка пульсирующая с интенсивными пиками - нужен сервер очередей

    если нагрузка равномерная большая - сервер очередей бесполезен, нужно другое железо

    бля. сделайте \n => br

    не всё полезно, что в swap полезло

Пожалуйста, авторизуйтесь, чтобы написать комментарий!