новые сообщения
ответы на мои сообщения
избранное
скрытые темы
случайный топик
ёбнуть всё в новых вкладках
Форум → Программирование → Python → Какими библиотеками для краулинга/парсинга пользуется в питошке?
Страницы: ← Предыдущая страница • Следующая страница →
Сообщения:
22959
Репутация:
N
Группа:
в ухо
Сен. 1, 2015, 5:51 п.п., спустя 2 минуты 17 секунд
@mathete, опять же что имеется ввиду под js на странице? просто кусок кода, который можно за 10 минут переписать на любой язык, или когда вся страница строится на js?
@ssbb, на сайтах, которые ты краулишь есть js, он рендерит часть страницы, надо собирать со страницы данные после рендеринга.
Писать аналог js-кусков как-то бесмысленно, так устанешь, когда тебе надо много сайтов краулить и у них будет что-то меняться в логике всё время
Сообщения:
86
Репутация:
N
Группа:
Джедаи
Сен. 1, 2015, 5:58 п.п., спустя 7 минут 3 секунды
@adw0rd, а как это будет на ноде? на сколько я знаю, то у ноды и страницы сайта совершенно разный контекст выполнения
Да и webkit никто не отменял :)
Сообщения:
86
Репутация:
N
Группа:
Джедаи
Сен. 1, 2015, 6:17 п.п., спустя 18 минут 40 секунд
Ладно, я не спорю, что местами может быть удобнее :)
Сообщения:
86
Репутация:
N
Группа:
Джедаи
Сен. 1, 2015, 6:26 п.п., спустя 9 минут 3 секунды
@adw0rd, @mathete а вот ради интереса, как в таком случае помогает нода? ведь даже чтобы просто получить значение переменной со страницы - нужен среда браузера (phantomjs там или что ни будь такое)?
Сообщения:
435
Репутация:
N
Группа:
Джедаи
Сен. 1, 2015, 7:57 п.п., спустя 1 час 31 минуту 19 секунд
@ssbb, что такое "среда браузера"? Чтобы получить html тебе не нужна среда браузера? Чтобы траверсить html тоже не нужна?
А по теме. Прикинь как будет выглядеть написанный на питоне, сколько он будет жрать ресурсов и насколько будет тормозной. Тоже самое с вебкитом.
@adw0rd, ты решил не юзать зомби на работе?
Zombie by assaf
zombie.js.org
Сообщения:
22959
Репутация:
N
Группа:
в ухо
Сен. 1, 2015, 8 п.п., спустя 2 минуты 45 секунд
@mathete, напомни, что мы им хотели делать? )))
Сообщения:
86
Репутация:
N
Группа:
Джедаи
Сен. 1, 2015, 8:05 п.п., спустя 5 минут 16 секунд
@mathete
что такое "среда браузера"?
окружение. dom, localstorage, etс.
Чтобы получить html тебе не нужна среда браузера? Чтобы траверсить html тоже не нужна?
Совсем нет. Только если он не генерируется через JS.
А по теме. Прикинь как будет выглядеть написанный на питоне, сколько он будет жрать ресурсов и насколько будет тормозной. Тоже самое с вебкитом.
Есть селениуем, который жрет совсем не много ресурсов (на vps крутится парсер с 2000 потоков с селениуемом, все ок). К тому же раньше писал про phantomjs, который отлично работает из питона.
Что-то я тогда и не понял, в чем плюс для обработки клиентского жс, если так же нужен headless-браузер?
Сообщения:
435
Репутация:
N
Группа:
Джедаи
Сен. 1, 2015, 8:12 п.п., спустя 6 минут 52 секунды
@adw0rd, RMS, пришедший трафик чекать.
@ssbb, говорить, что селениум, или phantomjs жрут немного, ну совсем странно... Хотя, если тебя устраивает, то зачем чего-то менять. Меня категорически не устраивало, я искал другой порядок производительности и потребления ресурсов.
Сообщения:
86
Репутация:
N
Группа:
Джедаи
Сен. 1, 2015, 8:14 п.п., спустя 1 минуту 30 секунд
@mathete, а zombie - не headless browser?
Сообщения:
435
Репутация:
N
Группа:
Джедаи
Сен. 1, 2015, 8:17 п.п., спустя 3 минуты 39 секунд
@ssbb, можно и так сказать. но он скорее программный браузер, реализующий облегчённую, настраиваемую версию компонентов браузера.
Сообщения:
22959
Репутация:
N
Группа:
в ухо
Сен. 1, 2015, 8:23 п.п., спустя 5 минут 6 секунд
@mathete, а, пока этим не занимается, много другого сделали
Сообщения:
435
Репутация:
N
Группа:
Джедаи
Сен. 1, 2015, 8:25 п.п., спустя 2 минуты 5 секунд
@adw0rd, понял. Я тоже так говорю, когда нихуя не сделано :)
Сообщения:
22959
Репутация:
N
Группа:
в ухо
Сен. 1, 2015, 8:42 п.п., спустя 17 минут 41 секунду
@mathete, тут не хватает димона-тролля
Сообщения:
542
Репутация:
N
Группа:
Джедаи
Окт. 28, 2015, 12:39 п.п., спустя 56 дней 15 часов 57 минут
а посоветуйте что-то простое и с нормалоной документацией, взялся пользовать grab и облевался, половина доков на русском остальное на английском или нет нихуя.
Сообщения:
22959
Репутация:
N
Группа:
в ухо
Окт. 28, 2015, 12:42 п.п., спустя 2 минуты 32 секунды
@Crank, бери scrapy и не парься
Вот две темы про grab
Страницы: ← Предыдущая страница • Следующая страница →
Пожалуйста, авторизуйтесь, чтобы написать комментарий!
