Форум → Программирование → Python → Multithreading - Thread Pool
Multithreading - Thread Pool
-
-
Дек. 15, 2011, 8:18 п.п., спустя 3 минуты 18 секунд
phpdude, вчера вроде на хабре про CThread писали
1. это топик про питон
2. CThread говно как и все "многопоточности" на пхп -
Дек. 15, 2011, 8:25 п.п., спустя 7 минут 40 секунд
удава поймал!
phpdude, вчера вроде на хабре про CThread писалиСпустя 19 сек.зы: в пхп многопотчности нет, а если есть то она гавно, как и сам пхп :-)Сапожник без сапог -
Дек. 15, 2011, 8:51 п.п., спустя 26 минут 13 секунд
http://habrahabr.ru/blogs/php/134501/ это чтоли? -
Дек. 15, 2011, 8:58 п.п., спустя 7 минут 3 секунды
Упс, не прочитал категорию топика ^^ сам думаю "нахрена?" -
Дек. 17, 2011, 8:09 д.п., спустя 1 день 11 часов 10 минут
лови http://code.google.com/p/pyev/Спустя 143 сек.или вот http://packages.python.org/pyev/pyev.html -
Дек. 17, 2011, 11:48 д.п., спустя 3 часа 39 минут 14 секунд
phpdude, а тебе для чего?
Вообще Queue.Queue все юзают так или иначе. Например: http://www.ibm.com/developerworks/aix/library/au-threadingpython/
Вот говорят в 3.2 появился concurent.futures (http://asvetlov.blogspot.com/2011/02/3.html), может его можно портировать под 2.7
А лучше, конечно, в сторону асинхронности посмотреть. Только для этого не обязателен libev, как пишет PandoraBox2007. Если тебе, например, надо интернет собирать быстро-быстро, то pycurl лучшее решение. -
Дек. 17, 2011, 12:31 п.п., спустя 42 минуты 51 секунду
Если тебе, например, надо интернет собирать быстро-быстро, то pycurl лучшее решение
ага, его и надо собирать … две задачки - для моих тестов мне надо спарсить почти 7млн страниц, не хочу полгода ждать, это думаю понятно ну и ваще поисковичек небольшой, тоже придется с несколькими миллионами поработать :-)Сапожник без сапог -
Дек. 17, 2011, 1:08 п.п., спустя 37 минут 2 секунды
phpdude, ну тогда уже все велосипеды написаны. Смотри scrapy или tornado асинхронный клиент -
Дек. 17, 2011, 7:47 п.п., спустя 6 часов 38 минут 41 секунду
то pycurl лучшее решение
блеядь это же мой любимый курл на питоне! :-)
Высадка только в том, что в коде который я увидел в экзамплах он такой же уебищный и обертка эта как бы не дохуя дает ))
у меня есть для пыха своя разработочка DudeCurlMulti, вот она жарит не под детски, придется чтото такое же под пайтон чтоли писать %)
просто в экзамплах описание - страшно так юзать, нихуя не удобно и надо самому все состояния отслеживать, это пиздец имхо =)Спустя 200 сек.у меня вот такое юзобретение с калбаками, на котором многоптоочный парсер с проксями написать - дело 15 строк вместе с обработкой результатов :D
function getCurl($url, $proxy = false)
{
$options = array(
"useragent" => "Mozilla/5.0 (Windows; U; Windows NT 6.1; ru; rv:1.9.2) Gecko/20100115 Firefox/3.6 GTB6",
"connecttimeout" => 10,
"timeout" => 10
);
if ($proxy) {
$options['proxy'] = $proxy;
}
return new DudeCurl($url, $options);
}
$mc = new DudeCurlMulti(PROXY_CHECK_THREADS);
foreach ($proxylist as $proxy)
{
$curl = getCurl(PROXY_CHECK_URL, $proxy);
$mc->AddCurl($curl, "checkProxyCallback", $proxy);
}
$mc->Process();
function checkProxyCallback(DudeCurlMulti $mc, DudeCurl $curl, $html, $proxy)
{
if (!$html || $curl->Response->HttpCode != 200) {
return;
}
$id = parse_url(PROXY_CHECK_URL, PHP_URL_QUERY);
parse_str($id, $id);
if (md5($id['id']) != $html) {
return;
}
echo ".";
global $proxies;
$proxies[] = $proxy;
}
это был многопоточный чекер проксиСапожник без сапог -
Дек. 17, 2011, 9:22 п.п., спустя 1 час 35 минут 5 секунд
phpdude, зачем писать то что-то?
Ну ещё раз:
phpdude, ну тогда уже все велосипеды написаны. Смотри scrapy или tornado асинхронный клиент
вот торнадовский клиент, который на pycurl: http://www.tornadoweb.org/documentation/httpclient.html
вот scrapy (он на twisted), по сути медленнее, но зато совершенно полноценны: http://doc.scrapy.org/en/0.14/intro/tutorial.htmlСпустя 144 сек.scrapy - это фреймворк для краулинга. Джанго наоборот. Сбор любого сайта сводится к десяткам двум строчек практически конфигурирования. -
Дек. 17, 2011, 9:31 п.п., спустя 9 минут 15 секунд
mathete, а вот асинхронный торнадо мне понравится я думаю :-)
я scrapy посмотрел, это чуток не то :-)
ладно попробую заюзать, на неделе, не щас :)Сапожник без сапог
Пожалуйста, авторизуйтесь, чтобы написать комментарий!