Пока интересуюсь чисто ради интереса
@phpdude @mathete @ArtemVortax выкладывайте сюда свой опыт
Спустя 72 сек.
Много наслышан о , что ещё есть интересного?
Безголовоые Хром, фантом тоже понятно
Zombie by assaf
zombie.js.org
новые сообщения
ответы на мои сообщения
избранное
скрытые темы
случайный топик
ёбнуть всё в новых вкладках
Форум → Программирование → JavaScript → NodeJS → Чем краулить сайты на ноде?
Чем краулить сайты на ноде?
-
Сообщения:
26646
Репутация:
N
Группа:
в ухо
Окт. 15, 2015, 11:35 д.п., спустя 5 минут 20 секунд
Я не в курсе, у меня не было задач по краулингу на ноде, я просто из урл хтмл делаю)) коаулю питоном
Сапожник без сапог -
Сообщения:
22959
Репутация:
N
Группа:
в ухо
Окт. 15, 2015, 11:42 д.п., спустя 6 минут 26 секунд
@mathete рекомендует
а без js просто http и cherio
https://smappi.org/ - платформа по созданию API на все случаи жизни -
Сообщения:
48
Репутация:
N
Группа:
Адекваты
Окт. 15, 2015, 11:57 д.п., спустя 15 минут 17 секунд
Последний раз мне надо было просто распарсить в параллели урлы заданные по шаблонам, для этого хватило request + async для управления потоками.
А если нужна более полная функциональность, то стоит посмотреть на Python Scrappy. Там действительно пауки.
-
Сообщения:
22959
Репутация:
N
Группа:
в ухо
Окт. 15, 2015, 12:05 п.п., спустя 7 минут 33 секунды
@ArtemVortax, я скрапи юзаю на многих проектах почти 5 лет. В рамках питона он хорош, но хочется большей производительности за счёт ноды
https://smappi.org/ - платформа по созданию API на все случаи жизни -
Сообщения:
22959
Репутация:
N
Группа:
в ухо
Окт. 15, 2015, 12:31 п.п., спустя 25 минут 59 секунд
@mathete не помнишь что за ОСь, которая чисто под ноду заточена, но не NodeOS? Толи CoreOS толи ещё как называлась
https://smappi.org/ - платформа по созданию API на все случаи жизни -
Сообщения:
435
Репутация:
N
Группа:
Джедаи
Окт. 15, 2015, 1:01 п.п., спустя 29 минут 57 секунд
@adw0rd, типа вот:
А вообще, надо иметь в виду, что штатный http-модуль немного "странный".
Т.е., если я захочу отсеивать nodejs ботов, то мне достаточно посмотреть сырые заголовки. Ты будешь усиленно сувать 'User-Agent: ...', а на сервер придёт 'user-agent:...'. Я буду ржать, а ты ничего не сможешь сделать))
Но, как правило, всем похуй...
Спустя 107 сек.@mathete не помнишь что за ОСь, которая чисто под ноду заточена, но не NodeOS? Толи CoreOS толи ещё как называлась
@adw0rd, ну вроде это же joent пилят. Вот вроде
nodejs/node
node - Node.js JavaScript runtime
github.com
SmartOS
smartos.org
-
Сообщения:
22959
Репутация:
N
Группа:
в ухо
Окт. 15, 2015, 1:58 п.п., спустя 56 минут 52 секунды
@mathete, спасибо, то что надо!
https://smappi.org/ - платформа по созданию API на все случаи жизни
Пожалуйста, авторизуйтесь, чтобы написать комментарий!