ФорумПрограммированиеJavaScriptNodeJS → Чем краулить сайты на ноде?

Чем краулить сайты на ноде?

  • adw0rd

    Сообщения: 22959 Репутация: N Группа: в ухо

    Spritz 15 октября 2015 г. 11:30

    Пока интересуюсь чисто ради интереса
    @phpdude @mathete @ArtemVortax выкладывайте сюда свой опыт

    Спустя 72 сек.

    Много наслышан о Zombie by assaf [zombie.js.org], что ещё есть интересного?
    Безголовоые Хром, фантом тоже понятно

    https://smappi.org/ - платформа по созданию API на все случаи жизни
  • phpdude

    Сообщения: 26646 Репутация: N Группа: в ухо

    Spritz 15 октября 2015 г. 11:35, спустя 5 минут 20 секунд

    Я не в курсе, у меня не было задач по краулингу на ноде, я просто из урл хтмл делаю)) коаулю питоном

    Сапожник без сапог
  • adw0rd

    Сообщения: 22959 Репутация: N Группа: в ухо

    Spritz 15 октября 2015 г. 11:42, спустя 6 минут 26 секунд

    @mathete рекомендует

    а без js просто http и cherio

    https://smappi.org/ - платформа по созданию API на все случаи жизни
  • ArtemVortax

    Сообщения: 48 Репутация: N Группа: Адекваты

    Spritz 15 октября 2015 г. 11:57, спустя 15 минут 17 секунд

    Последний раз мне надо было просто распарсить в параллели урлы заданные по шаблонам, для этого хватило request + async для управления потоками.

    А если нужна более полная функциональность, то стоит посмотреть на Python Scrappy. Там действительно пауки.

  • adw0rd

    Сообщения: 22959 Репутация: N Группа: в ухо

    Spritz 15 октября 2015 г. 12:05, спустя 7 минут 33 секунды

    @ArtemVortax, я скрапи юзаю на многих проектах почти 5 лет. В рамках питона он хорош, но хочется большей производительности за счёт ноды

    https://smappi.org/ - платформа по созданию API на все случаи жизни
  • adw0rd

    Сообщения: 22959 Репутация: N Группа: в ухо

    Spritz 15 октября 2015 г. 12:31, спустя 25 минут 59 секунд

    @mathete не помнишь что за ОСь, которая чисто под ноду заточена, но не NodeOS? Толи CoreOS толи ещё как называлась

    https://smappi.org/ - платформа по созданию API на все случаи жизни
  • mathete

    Сообщения: 435 Репутация: N Группа: Джедаи

    Spritz 15 октября 2015 г. 13:01, спустя 29 минут 57 секунд

    @adw0rd, типа вот: https://gist.github.com/C0deMaver1ck/8509117

    А вообще, надо иметь в виду, что штатный http-модуль немного "странный". nodejs/node [github.com]

    Т.е., если я захочу отсеивать nodejs ботов, то мне достаточно посмотреть сырые заголовки. Ты будешь усиленно сувать 'User-Agent: ...', а на сервер придёт 'user-agent:...'. Я буду ржать, а ты ничего не сможешь сделать))

    Но, как правило, всем похуй...

    Спустя 107 сек.

    @mathete не помнишь что за ОСь, которая чисто под ноду заточена, но не NodeOS? Толи CoreOS толи ещё как называлась

    @adw0rd, ну вроде это же joent пилят. Вот вроде SmartOS [smartos.org]

  • adw0rd

    Сообщения: 22959 Репутация: N Группа: в ухо

    Spritz 15 октября 2015 г. 13:58, спустя 56 минут 52 секунды

    @mathete, спасибо, то что надо!

    https://smappi.org/ - платформа по созданию API на все случаи жизни

Пожалуйста, авторизуйтесь, чтобы написать комментарий!