dopelherz
17.01.2013 - 06:24
Добрый день!
Спасибо всем откликнувшимся^.^
Меня интересует такой вопрос: на определенные страницы моего сайта приходят не совсем понятные для меня боты. Мне не понятна цель их прихода. Также я бы хотел знать, нужно ли их блокировать, и главное - как?
Спасибо!
Ниже запись из лога:
46.118.118.106 - - [16/Jan/2013:20:33:54 -0500] "GET /okinawa-fucoidan-c8/RU/ HTTP/1.1" 200 24675 "http://www.shopan.co.de/" "Mozilla/1.22 (compatible; MSIE 2.0d; Windows NT)"
46.118.118.106 - - [16/Jan/2013:20:33:54 -0500] "GET /okinawa-fucoidan-c8/RU/ HTTP/1.1" 200 24675 "http://megapolis-b.ru/" "Mozilla/1.22 (compatible; MSIE 2.0d; Windows NT)"
46.118.118.106 - - [16/Jan/2013:20:33:55 -0500] "GET /okinawa-fucoidan-c8/RU/ HTTP/1.1" 200 24675 "http://www.shopan.co.de/" "Mozilla/1.22 (compatible; MSIE 2.0d; Windows NT)"
46.118.118.106 - - [16/Jan/2013:20:33:55 -0500] "GET /okinawa-fucoidan-c8/RU/ HTTP/1.1" 200 24675 "http://megapolis-b.ru/" "Mozilla/1.22 (compatible; MSIE 2.0d; Windows NT)"
Nikitian
17.01.2013 - 06:55
На сколько помню, эти боты ходят по сайтам, чтобы получить обратную ссылку с незакрытой серверной статистики. В статистике показывается откуда пришли посетители. Вам кажется, что у вас появились новые посетители, а на самом деле я только что спалил одну из старых сео-тем
)
dopelherz
18.01.2013 - 04:42
| Цитата (Nikitian @ 17.01.2013 - 02:55) |
| Nikitian |
, спасибо за ответ! Не могли бы вы уточнить, где находится эта незакрытая статистика? В общем я так понял, что эти боты никакой пользы не несут, и даже наоборот.
Nikitian
18.01.2013 - 15:29
По-разному. ISP-manager помещает её в /webstat.awstats Если у вас статистика закрыта от просмотра неавторизованными пользователями, то можете не париться.
dopelherz
18.01.2013 - 16:18
Nikitian, большое вам спасибо!!!
FatCat
19.01.2013 - 03:22
| Цитата (Nikitian @ 18.01.2013 - 15:29) |
| можете не париться. |
У меня есть список заведомо полезных ботов. Всех остальных вычисляет алгоритм и бан в эйчтиакцесс. Если он мне не полезен, нефига сервер зря загружать.
Сейчас появился очень противный Ahrefs-бот. Если большой сайт, может создавать реальную проблему: молотит в полторы сотни потоков по 10-20 запросов в секунду с каждого айпишника. Итого до 3К запросов страниц в минуту.
_____________
Бесплатному сыру в дырки не заглядывают...
dopelherz
20.01.2013 - 05:12
FatCat Спасибо за ответ!
Ahrefs я запретил вот так
SetEnvIfNoCase User-Agent "AhrefsBot" bad_bots
Мне не понятно как запретить выше-упомянутые боты
Пытался вот так:
#RewriteCond %{HTTP_USER_AGENT} ru/?$ [OR]
#RewriteCond %{HTTP_USER_AGENT} ua/?$
#RewriteRule ^.* - [F,L]
однако не получилось.
Теперь попробую так
#RewriteCond %{HTTP_REFERER} ru/?$ [OR]
#RewriteCond %{HTTP_REFERER} ua/?$
#RewriteRule ^.* - [F,L]
и так
SetEnvIfNoCase Referer ru/?$ [NC]
Visman
20.01.2013 - 05:53
Вот так попробуй добавь к первой команде
SetEnvIfNoCase User-Agent "MSIE 2" bad_bots
dopelherz
20.01.2013 - 13:48
Visman Спасибо за совет, подумаю, но это слишком узкий случай, разные боты подписываются по-разному.
Visman
20.01.2013 - 14:29
Ответ дан на вопрос первого поста
FatCat
21.01.2013 - 04:52
Большинство шлам-ботов притворяются обычными пользователями, и имеют вполне человеческий юзерагент.
Закрываю доступ ботам по айпишнику через эйчтиакцесс.
Мои наблюдения за ботами позволили выявить 2 формальных признака: действия, которые никогда или почти никогда не совершают живые посетители сайта, но при этом регулярно совершают боты. Соответственно, средствами php эти действия выявляются, за каждое такое действие в сессии начисляется определенное число баллов. Как только балл достигнет критического значения, перезаписывается эйчтиакцесс.
Ahrefs-бота упомянул потому, что за 7 лет это первый бот, который не ловится моим алгоритмом - не совершает он тех действий, по которым я выявляю ботов. За ним сейчас особо пристально наблюдаю, пытаюсь найти какие-то особенности, по которым можно будет создать алгоритм выявления.
_____________
Бесплатному сыру в дырки не заглядывают...
dopelherz
21.01.2013 - 05:25
FatCat Круто! Я еще до создания такого алгоритма не дошел... Интересно было бы узнать для примера хотя бы одно действие, характерное для ботов.
Быстрый ответ:
Powered by dgreen
Здесь расположена полная версия этой страницы.