ФорумСообществоФлейм → Поисковые роботы, периодичности

Поисковые роботы, периодичности

  • md5

    Сообщения: 11960 Репутация: N Группа: в ухо

    Spritz 8 сентября 2009 г. 15:59

    Как можно задать переодичность посещения сайта поисковыми ботами? Можно ли вобще?
    А то 1.5 тыщи яндекс-пидаботов это через чур Оо
    Спустя 12 сек.
    нам по сео не надо блог открыть? Оо
    Спустя 10 сек.
    не блог, т.е., а форум)
    все умрут, а я изумруд
  • NRG

    Сообщения: 4761 Репутация: N Группа: в ухо

    Spritz 8 сентября 2009 г. 16:05, спустя 5 минут 48 секунд

    пробуй отслеживать бота.
    смотри время его последнего посещения и шли нахуй
  • md5

    Сообщения: 11960 Репутация: N Группа: в ухо

    Spritz 8 сентября 2009 г. 16:07, спустя 1 минуту 47 секунд


    пробуй отслеживать бота.
    смотри время его последнего посещения и шли нахуй
    это пидорство
    я думал, есть что-то для robots.txt
    все умрут, а я изумруд
  • NRG

    Сообщения: 4761 Репутация: N Группа: в ухо

    Spritz 8 сентября 2009 г. 16:08, спустя 1 минуту 39 секунд

    хотя лучше генерить роботс.тхт в зависимости от времени, и там писать запреты
    Спустя 28 сек.
    я думал, есть что-то для robots.txt

    для robots.txt есть Disallow: /
    Спустя 20 сек.
    просто надо применять его тогда, когда тебе надо
  • md5

    Сообщения: 11960 Репутация: N Группа: в ухо

    Spritz 8 сентября 2009 г. 16:09, спустя 31 секунду

    http://help.yandex.ru/webmaster/?id=996567#1022359
    Спустя 24 сек.

    я думал, есть что-то для robots.txt

    для robots.txt есть Disallow: /
    да? охуеть
    все умрут, а я изумруд
  • adw0rd

    Сообщения: 22959 Репутация: N Группа: в ухо

    Spritz 8 сентября 2009 г. 16:09, спустя 10 секунд

    Я давно как-то предлагал создать раздел по СЕО, но потом меня отпустило)
    https://smappi.org/ - платформа по созданию API на все случаи жизни
  • NRG

    Сообщения: 4761 Репутация: N Группа: в ухо

    Spritz 8 сентября 2009 г. 16:11, спустя 1 минуту 45 секунд

    md5, ну хорошо что хуяндекс такое придумал.
    а другие боты тоже поддержывают такую дерективу ?

    я просто описал тебе более универсальное решение
  • md5

    Сообщения: 11960 Репутация: N Группа: в ухо

    Spritz 8 сентября 2009 г. 16:14, спустя 3 минуты 26 секунд


    md5, ну хорошо что хуяндекс такое придумал.
    а другие боты тоже поддержывают такую дерективу ?

    я просто описал тебе более универсальное решение
    это не яндекс придумал
    http://ru.wikipedia.org/wiki/Robots.txt

    а ты просто описал решения для долбоебов, которые выкинут из индексации весь свой сайт)
    все умрут, а я изумруд
  • sap

    Сообщения: 2701 Репутация: N Группа: Кто попало

    Spritz 8 сентября 2009 г. 16:15, спустя 48 секунд

    http://help.yandex.ru/webmaster/?id=996567#1022359

    Где-то читал, была куча жалоб, что эта хуйня не работает)
  • md5

    Сообщения: 11960 Репутация: N Группа: в ухо

    Spritz 8 сентября 2009 г. 16:16, спустя 54 секунды


    Я давно как-то предлагал создать раздел по СЕО, но потом меня отпустило)
    ну х.з., а че это не плохо, я думаю
    Спустя 13 сек.

    http://help.yandex.ru/webmaster/?id=996567#1022359

    Где-то читал, была куча жалоб, что эта хуйня не работает)
    дай линк
    везде вроде есть, типа стандарт
    все умрут, а я изумруд
  • sap

    Сообщения: 2701 Репутация: N Группа: Кто попало

    Spritz 8 сентября 2009 г. 16:19, спустя 2 минуты 30 секунд

    дай линк

    Щас поищу.
  • NRG

    Сообщения: 4761 Репутация: N Группа: в ухо

    Spritz 8 сентября 2009 г. 16:19, спустя 23 секунды

    md5, это не решение для долбоебов.
    я так и не услышал, все ли боты поддерживают это ?
    судя потому что эта хуйня в разделе "Нестандартные директивы"  , то скорее всего не все…
  • md5

    Сообщения: 11960 Репутация: N Группа: в ухо

    Spritz 8 сентября 2009 г. 16:22, спустя 3 минуты 14 секунд


    я так и не услышал, все ли боты поддерживают это ?
    а я ебу? ) я за всех отвечать не могу
    мне надо убрать
    1.5 тыщи яндекс-пидаботов
    и я думаю, что это решение вполне подойдет
    все умрут, а я изумруд
  • NRG

    Сообщения: 4761 Репутация: N Группа: в ухо

    Spritz 8 сентября 2009 г. 16:23, спустя 1 минуту 5 секунд

    и я думаю, что это решение вполне подойдет

    для твоей задачи - да
  • sap

    Сообщения: 2701 Репутация: N Группа: Кто попало

    Spritz 8 сентября 2009 г. 16:28, спустя 5 минут 1 секунду


    дай линк

    Щас поищу.

    Короче не могу найти, расскажу своими словами. Не то чтобы совсем не работает, но есть определенные траблы. Во-первых, он отсекает только основного бота Yandex/1.01.001, а , например, YandexSomething — нет. Во-вторых, crawl-delay не распостраняется на поддомены, и бот может запросить одновременно десяток поддоменов.

Пожалуйста, авторизуйтесь, чтобы написать комментарий!