[ Поиск ] - [ Пользователи ] - [ Календарь ]
Полная Версия: Как отличить поискового робота от качалок
Страницы: 1, 2
drouZ
Цитата (Zzepish @ 19.02.2016 - 11:04)
icedfox
1. ФИгня идея. МОжно и ддос-программу с куками написать.
2. Юзерагент тоже можно подделать.

1. можно, только это уже не качалка, а дудос-бот
2. можно, но много кто затачивается?

пусть тс попробует по простым признакам, а потом уже, если не поможет, идти в сторону анализа поведения.
icedfox
Zzepish, подделать можно все, речь идет об обычных качалках.
Zzepish
drouZ
Цитата
2. можно, но много кто затачивается?

Ну хз. Я когда тренировался писать многопоточного бота с подобной тематикой - тупо брал заголовки хрома, и слал их! Там все предельно просто.

icedfox
обычные качалки не шлют заголовков браузерных) можно по ним ориентироватья)
FatCat
По большому счету, мне безразлично, поисковый бот или качалка. Если это бот гугла или яндекса, с которых приходят посетители - понятно, что я им разрешу шляться по сайту. А прочих в бан без разбора кто откуда.

_____________
Бесплатному сыру в дырки не заглядывают...
Arh
Шляются тут всякие)

_____________
Промокод предоставляет скидку на заказ домена и/или хостинга reg.ru
BFCC-3895-8804-9ED2
spomoni
Цитата (Zzepish @ 18.02.2016 - 22:21)
Имхо - лучше ориентироваться по ip

IP могут измениться, а в том же гуглвебмастер инфа о проблемах индексирования обновляется не сразу. Лучше наверное смотреть useragent + DNS, но бывали случаи что гуглобот зашел на сайт с нового IP, а его DNS еще не обновилось - в итоге попал под фильтр.
Быстрый ответ:

 Графические смайлики |  Показывать подпись
Здесь расположена полная версия этой страницы.
Invision Power Board © 2001-2024 Invision Power Services, Inc.