PHP для идиотов
→ Технологии написания сайта/сервиса для парсинга сайтов • Авг. 27, 2014, 6:55 п.п.
Сразу вопрос: с помощью каких технологий можно реализовать пункты описанные ниже? Я начитался в интернетах о pthreads, ajax, comet, web sockets, но в голове полная каша. Может кто знает как реализуются такие или подобные сайты/сервисы. Интересует именно реализация на php.Есть веб-сайт в виде парс...
Сразу вопрос: с помощью каких технологий можно реализовать пункты описанные ниже? Я начитался в интернетах о pthreads, ajax, comet, web sockets, но в голове полная каша. Может кто знает как реализуются такие или подобные сайты/сервисы. Интересует именно реализация на php.
Есть веб-сайт в виде парсера на php. На странице есть список сайтов которые можно парсить. Сайты скачиваются скриптом с помощью multi_curl. Нужно чтобы можно было выполнять следующие действия:
- Запускаем парсить первый сайт (например он парситься примерно 10мин) в несколько потоков (думаю с потоками multi_curl сам разберется)
- В процессе парсинга в режиме реального времени на страницу приходят уведомления про ссылки которые уже скачались, сколько еще осталось, другая инфа… То есть наверно нужно держать постоянное соединение.
- Пока идет процесс парсинга, мы можем делать на сайте другие действия (открывать настройки, создавать другие парсеры…)
- Можем запустить парсить еще один сайт, при этом это никак не должно влиять на парсинг первого сайта. Можем запустить парсить третий сайт, четвертый …
- Если закроем а позже откроем вкладку то запущенные процессы не должны никуда пропасть и все сообщения должны пидгрузитись снова (думаю кроме уведомлений в реальном времени их нужно записывать и в бд чтобы ничего не пропало)
