Сегодня искал доп. информация про yandex бота, и нашёл где "англичяне" обсуждают как заблокировать Яндекс бота. Топик стартер жаловался что Yandex пожирает много трафика.
http://www.webhostingtalk.com/showthread.php?t=924727
Действительно ли Yandex пожирает много трафика ?
Ещё меня улыбнуло следущее:
1) они утверждают, что мол Yandex не смотрит содержание robots.txt и не смотря на запреты сканирования, всё равно сканирует.
2) "бухой" вёбмастер riverstones со своими кривыми сайтами, и "хакерами с восточной Европы" утверждает: