curl и несуществующая страница

ilma55

Сообщения: 193 Репутация: N Группа: Кто попало
Апрель 26, 2012, 6:23 п.п.
всем привет.

здача: пропарсить сайт.

я тяну url из БазыДанных.

проблема. есть некий URL.
при попытке к нему достучаться мне выходит сообщение Warning: curl_setopt(): 10 is not a valid cURL handle resource in…

как мне изначально проверить существут ли такой url или нет?

странно, но эта проверка мне не выводит сообщений
if (curl_errno($ch)) // если ОШИБКА то показываем ее { echo "CURL error: ".curl_error($ch)."\n"; }
ilma55

Сообщения: 193 Репутация: N Группа: Кто попало
Апрель 26, 2012, 6:42 п.п., спустя 19 минут 51 секунду
все. решил.

if (result !='') {…}

а вот что сделать чтоб не забанили?

sleep(10) нормально будет?
и по 100 url обрабатывать размыми браузерами?
artoodetoo

Сообщения: 5147 Репутация: N Группа: в ухо

Апрель 26, 2012, 7:03 п.п., спустя 20 минут 5 секунд

sleep? а не проще будет качнуть сайт телепортом и потом разбирать уже локальную копию?

ιιlllιlllι унц-унц
Ivan

Сообщения: 1316 Репутация: N Группа: Адекваты

Апрель 26, 2012, 10:09 п.п., спустя 3 часа 6 минут 23 секунды

Я бы работал лучше с эксепшенами чем со стандартными ошибками

function exception_error_handler($errno, $errstr, $errfile, $errline) {
throw new ErrorException($errstr, 0, $errno, $errfile, $errline);
}

set_error_handler("exception_error_handler");

try {
if (!filter_var($url, FILTER_VALIDATE_URL)) throw new Exception();
curl_blabla();
} catch(Exception $e) {
// …
}

всё таки времена пхп 5 же
Tekuto

Сообщения: 1147 Репутация: N Группа: Адекваты

Апрель 27, 2012, 5:50 п.п., спустя 19 часов 40 минут 40 секунд

:DDD

Пожалуйста, авторизуйтесь, чтобы написать комментарий!

curl и несуществующая страница

Войти