Правила     Закладки     Карма    Календарь    Журналы    Помощь    Поиск    PDA    Чат   
        СМС-ки
   
Пейджер выключен!
Страницы: (2) [1] 2  ( Перейти к первому непрочитанному сообщению )  
Фильтр авторов:    показать 
  скрыть
  Ответ в темуСоздание новой темыСоздание опроса

> Как отличить поискового робота от качалок
Владимир55  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Любопытный
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 1020
Пользователь №: 27293
На форуме: 6 лет, 3 месяца, 13 дней
Карма: -1




Качалки грузят сервер и этот эффект хочется уменьшить.

Идея такая - посетителя считать роботом:
- если интервал между двумя посещениями с одного IP меньше 2 секунд;
- если в течение часа просмотрено больше 20 страниц.

Такому посетителю давать запрет доступа на два часа.

Как полагаете, такой метод годится?

(Для роботов установить минимальный интервал сканирования 5 секунд, чтобы их не забанить. И не банить, если в юзер-агенте видно, что это робот).
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Zzepish  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: ★ЛжеЭксперт★
Завсегдатай форума
Сообщений: 5583
Пользователь №: 32538
На форуме: 5 лет, 1 месяц, 25 дней
Карма: 56




Имхо - лучше ориентироваться по ip
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Invis1ble  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме




******

Профиль
Группа: Эксперт
Группа переписки
Сообщений: 11966
Пользователь №: 23195
На форуме: 6 лет, 11 месяцев, 28 дней
Карма: 435

Трезвый :
7 лет, 10 месяцев, 28 дней


Цитата (Владимир55 @ 18.02.2016 - 22:11)
Идея такая - посетителя считать роботом:
- если интервал между двумя посещениями с одного IP меньше 2 секунд; +
- если в течение часа просмотрено больше 20 страниц. +

Я - робот sad.gif


--------------------
PMПисьмо на e-mail пользователюСайт пользователя
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Владимир55  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Любопытный
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 1020
Пользователь №: 27293
На форуме: 6 лет, 3 месяца, 13 дней
Карма: -1




Цитата (Zzepish @ 18.02.2016 - 18:21)
лучше ориентироваться по ip

Можете ещё уточнить Вашу мысль?
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Владимир55  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Любопытный
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 1020
Пользователь №: 27293
На форуме: 6 лет, 3 месяца, 13 дней
Карма: -1




Цитата (Invis1ble @ 18.02.2016 - 18:44)
Цитата (Владимир55 @ 18.02.2016 - 22:11)
Идея такая - посетителя считать роботом:
- если интервал между двумя посещениями с одного IP меньше 2 секунд; +
- если в течение часа просмотрено больше 20 страниц. +

Я - робот sad.gif

Это в порядке каламбура или действительно Вы попали бы в категорию роботов?
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
AllesKlar  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 3706
Пользователь №: 38635
На форуме: 3 года, 6 месяцев, 25 дней
Карма: 198




Цитата (Владимир55 @ 18.02.2016 - 20:47)
если в течение часа просмотрено больше 20 страниц. +

99% в роботы уйдут


--------------------
[продано копирайтерам]
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Invis1ble  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме




******

Профиль
Группа: Эксперт
Группа переписки
Сообщений: 11966
Пользователь №: 23195
На форуме: 6 лет, 11 месяцев, 28 дней
Карма: 435

Трезвый :
7 лет, 10 месяцев, 28 дней


Цитата (Владимир55 @ 18.02.2016 - 22:47)
Это в порядке каламбура или действительно Вы попали бы в категорию роботов?

никакого каламбура, оба условия я выполняю регулярно и на множестве ресурсов


--------------------
PMПисьмо на e-mail пользователюСайт пользователя
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Zzepish  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: ★ЛжеЭксперт★
Завсегдатай форума
Сообщений: 5583
Пользователь №: 32538
На форуме: 5 лет, 1 месяц, 25 дней
Карма: 56




PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
phz  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Будьте добрее, когда это возможно. А это возможно всегда.
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 776
Пользователь №: 16747
На форуме: 8 лет, 5 месяцев, 20 дней
Карма: 28

Трезвый :
4 года, 6 месяцев, 29 дней


Для поисковых систем можно выставлять время сканирования

https://yandex.ru/support/webmaster/control...xml#crawl-delay

Смотрите метрику, вебвизор. Поймете среднего пользователя. Сколько он смотрит страниц и за какое время. Какой ему лимит ставит и т.д... ну это от лукавого...
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Владимир55  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Любопытный
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 1020
Пользователь №: 27293
На форуме: 6 лет, 3 месяца, 13 дней
Карма: -1




Не знаете, а Crawl-delay распространяется только на Яндекс?
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
VELIK505  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 1515
Пользователь №: 25307
На форуме: 6 лет, 7 месяцев, 11 дней
Карма: 44




Crawl-delay поддерживают все поисковые роботы! уже давным давно стандарты w3c.
прописывайте в robots.txt
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
icedfox  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 396
Пользователь №: 41702
На форуме: 1 год, 11 месяцев, 8 дней
Карма: 13




Адекватные роботы представляются. Мысли в слух на уровне абстракции:
1. Проверяем (кукой например) бот или человек.
2. Поисковых ботов отсекаем по юзер агенту.
3. Остаются неадекватные поисковые боты и качалки.
4. Что то с ними делаем.
PM
    1   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Владимир55  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Любопытный
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 1020
Пользователь №: 27293
На форуме: 6 лет, 3 месяца, 13 дней
Карма: -1




Цитата (icedfox @ 19.02.2016 - 06:03)
1. Проверяем (кукой например) бот или человек.

Я не вполне уверен, что качалки не ставят кукисы.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
icedfox  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 396
Пользователь №: 41702
На форуме: 1 год, 11 месяцев, 8 дней
Карма: 13




Цитата (Владимир55 @ 19.02.2016 - 12:39)
Я не вполне уверен, что качалки не ставят кукисы.

я тоже, если честно, но пока не проверишь, не узнаешь.
PM
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Zzepish  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: ★ЛжеЭксперт★
Завсегдатай форума
Сообщений: 5583
Пользователь №: 32538
На форуме: 5 лет, 1 месяц, 25 дней
Карма: 56




icedfox
Цитата
1. Проверяем (кукой например) бот или человек.
2. Поисковых ботов отсекаем по юзер агенту.
3. Остаются неадекватные поисковые боты и качалки.
4. Что то с ними делаем.

1. ФИгня идея. МОжно и ддос-программу с куками написать.
2. Юзерагент тоже можно подделать.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
  Быстрый ответ
Информация о Госте
Введите Ваше имя
Кнопки кодов
Для вставки цитаты, выделите нужный текст и
НАЖМИТЕ СЮДА
Введите сообщение
Смайлики
:huh:  :o  ;) 
:P  :D  :lol: 
B)  :rolleyes:  <_< 
:)  :angry:  :( 
:unsure:  :blink:  :ph34r: 
     
Показать всё

Опции сообщения  Включить смайлики?
 Включить подпись?
 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:

Опции темыСтраницы: (2) [1] 2  Ответ в темуСоздание новой темыСоздание опроса