Качалки грузят сервер и этот эффект хочется уменьшить.
Идея такая - посетителя считать роботом:
- если интервал между двумя посещениями с одного IP меньше 2 секунд;
- если в течение часа просмотрено больше 20 страниц.
Такому посетителю давать запрет доступа на два часа.
Как полагаете, такой метод годится?
(Для роботов установить минимальный интервал сканирования 5 секунд, чтобы их не забанить. И не банить, если в юзер-агенте видно, что это робот).
Полная Версия: Как отличить поискового робота от качалок
Имхо - лучше ориентироваться по ip
| Цитата (Владимир55 @ 18.02.2016 - 22:11) |
| Идея такая - посетителя считать роботом: - если интервал между двумя посещениями с одного IP меньше 2 секунд; + - если в течение часа просмотрено больше 20 страниц. + |
| Цитата (Zzepish @ 18.02.2016 - 18:21) |
| лучше ориентироваться по ip |
Можете ещё уточнить Вашу мысль?
| Цитата (Invis1ble @ 18.02.2016 - 18:44) | ||
Я - робот  |
Это в порядке каламбура или действительно Вы попали бы в категорию роботов?
| Цитата (Владимир55 @ 18.02.2016 - 20:47) |
| если в течение часа просмотрено больше 20 страниц. + |
99% в роботы уйдут
_____________
[продано копирайтерам]
| Цитата (Владимир55 @ 18.02.2016 - 22:47) |
| Это в порядке каламбура или действительно Вы попали бы в категорию роботов? |
никакого каламбура, оба условия я выполняю регулярно и на множестве ресурсов
_____________
Профессиональная разработка на заказ
Я на GitHub | второй профиль
Для поисковых систем можно выставлять время сканирования
https://yandex.ru/support/webmaster/control...xml#crawl-delay
Смотрите метрику, вебвизор. Поймете среднего пользователя. Сколько он смотрит страниц и за какое время. Какой ему лимит ставит и т.д... ну это от лукавого...
https://yandex.ru/support/webmaster/control...xml#crawl-delay
Смотрите метрику, вебвизор. Поймете среднего пользователя. Сколько он смотрит страниц и за какое время. Какой ему лимит ставит и т.д... ну это от лукавого...
Не знаете, а Crawl-delay распространяется только на Яндекс?
Crawl-delay поддерживают все поисковые роботы! уже давным давно стандарты w3c.
прописывайте в robots.txt
прописывайте в robots.txt
Адекватные роботы представляются. Мысли в слух на уровне абстракции:
1. Проверяем (кукой например) бот или человек.
2. Поисковых ботов отсекаем по юзер агенту.
3. Остаются неадекватные поисковые боты и качалки.
4. Что то с ними делаем.
1. Проверяем (кукой например) бот или человек.
2. Поисковых ботов отсекаем по юзер агенту.
3. Остаются неадекватные поисковые боты и качалки.
4. Что то с ними делаем.
| Цитата (icedfox @ 19.02.2016 - 06:03) |
| 1. Проверяем (кукой например) бот или человек. |
Я не вполне уверен, что качалки не ставят кукисы.
| Цитата (Владимир55 @ 19.02.2016 - 12:39) |
| Я не вполне уверен, что качалки не ставят кукисы. |
я тоже, если честно, но пока не проверишь, не узнаешь.
icedfox
| Цитата |
| 1. Проверяем (кукой например) бот или человек. 2. Поисковых ботов отсекаем по юзер агенту. 3. Остаются неадекватные поисковые боты и качалки. 4. Что то с ними делаем. |
1. ФИгня идея. МОжно и ддос-программу с куками написать.
2. Юзерагент тоже можно подделать.
Здесь расположена полная версия этой страницы.