|
Ребятам из Yandex
Платный хостинг
Создание и раскрутка сайтов
Увеличение члена
-
Ребятам из Yandex
Вам проще написать тут, чем на емайл.
Ваш робот с ua Yandex/1.01.001 (compatible; Win16; H) систематически не соблюдает robots.txt
(время не московское)
2003 13th December 07:11:13 2003
213.180.194.178 Yandex/1.01.001 (compatible; Win16; H)
2004 16th January 04:17:33 2004
213.180.194.138 Yandex/1.01.001 (compatible; Win16; H)
пробрался в мой скрипт по отлову качальщиков, который стоит в robots.txt как запрещенный. к другим роботам притензий нет.
Проверьте плз на баги, у меня гугл за всё время ниразу так плохо не поступал :/
И сразу встречний вопрос, у меня из - за этого был автоматически забанен робот Yandex/1.01.001 (compatible; Win16; H) - чем это чревато?
-
Странно, H - зеркальщик, по идее не должен ходить туда, где не было индексирующих роботов, смысла ему в этом ноль.
Зеркала автоматом не будут клеиться. Если с этим все нормально, то ничем.
-
mnt, тут уже много плевались по поводо невежливости робота Ya, которому абсолютно параллельно на robots.txt.
Боюсь, Ваш пост - "глас вопиющего в пустыне".
-
Я я, натюрлих. И еще я спрашивал, что за такие поползновения от бота яндекса на страницы с параметрами, которые им сам бот привинтил. И вопрос, на кой леший он выудил страницы, на которых ссылок нигде !!! не было (были только ссылки на картинки, лежащие в каталоге, но с других страниц и с АБСОЛЮТНЫМИ путями к картинкам!)
Теперь я в выдаче вижу еще и "корешки" этих каталогов (ну нет в них index.htm* за ненадобностью...!)
Интернет казино
Онлайн игры
Купить DVD
Другие сайты
|
