А можно тогда при выполнении мультикурла хоть как-то контролировать ответ одного потока?
Примерно так:
1) Добавили задания
2) Запустили мультикурл
3) Далее к каждомо потоку применяется условие:
если страница, которую отдал поток нам не подходит, то sleep, затем заново запускаем поток.
Если выполнять в один поток, то делается элементарно, но идет долго, теперь хочу попробовать в много потоков.
На данный момент имеется такой код:
$connomains - массив с нужными урлами.
$mh = curl_multi_init();
foreach ($connomains as $i => $url) {
$conn[$i] = curl_init($url);
curl_setopt($conn[$i], CURLOPT_URL, $url);
curl_setopt($conn[$i], CURLOPT_FAILONERROR, 1);
curl_setopt($conn[$i], CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($conn[$i], CURLOPT_RETURNTRANSFER, 1);
//curl_setopt($conn[$i], CURLOPT_TIMEOUT, 15);
curl_setopt($conn[$i], CURLOPT_GET, 1);
curl_setopt($conn[$i], CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)');
curl_multi_add_handle ($mh,$conn[$i]);
}
// start performing the request
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($active and $mrc == CURLM_OK) {
// wait for network
if (curl_multi_select($mh) != -1) {
// pull in any new data, or at least handle timeouts
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
if ($mrc != CURLM_OK) {
print "Curl multi read error $mrc\n";
}
// retrieve data
foreach ($connomains as $i => $url) {
if (($err = curl_error($conn[$i])) == '') {
$res[$i]=curl_multi_getcontent($conn[$i]);
} else {
print "Curl error on handle $i: $err\n";
}
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
}
curl_multi_close($mh);
