Правила     Закладки     Карма    Календарь    Журналы    Помощь    Поиск    PDA    Чат   
        СМС-ки
   
Пейджер выключен!
 
Фильтр авторов:    показать 
  скрыть
  Ответ в темуСоздание новой темыСоздание опроса

> Доступ поисковым ботам, белый или черный список?
FatCat  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Чеширский кот
******

Профиль
Журнал
Группа: Администратор
Почтальон группы
Сообщений: 5909
Пользователь №: 1
На форуме: 10 лет, 10 месяцев
Карма: 125

Не пью :
22 года, 3 месяца


Хочу посоветоваться.

С одной стороны, поисковые боты полезны: они индексируют сайт, и впоследствии обеспечивают появление на сайте посетителей из поиска; или же на страницах рейтингов появляются активные ссылки на сайт.
С другой стороны, они создают дополнительную нагрузку.

Есть безусловно полезные боты: яндекс, гугл, ремблер и т.п.
Есть безусловно вредные, как например AhrefsBot, создающий огромные нагрузки, при этом не приносящий никакой пользы, а продающий информацию о моем сайте.

Сейчас доступ ботам делаю черным списком: массив известных мне ботов, и массив "вредных" ботов, которым на любой запрос отдается страница авторизации.
Мой черный список ботов
	var $bad_bots	= array(
'ahrefsbot' => 'AhrefsBot',
'crawl16.lp' => 'BadBotFR',
'crawler.007ac9' => 'GutteraBot',
'mfibot' => 'mfisoftBot',
'OpenLinkProfiler.org/bot' => 'OpenLinkProfilerBot',
'ac9.net' => 'SpamBotFR',
);

Подумываю, не сделать ли белым списком? То есть, отдавать контент только тем ботам, кто в белом списке, а всем остальным отдавать страницу авторизации.


--------------------
Бесплатному сыру в дырки не заглядывают...
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
redreem  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 4258
Пользователь №: 29002
На форуме: 5 лет, 4 месяца, 6 дней
Карма: 147




вот прям такая нервирующая дилемма? smile.gif ты пишешь "создает нагрузку" и если именно эта причина - то решай вопрос по мере поступления проблемы. возросла нагрузка - вычисляй нарушителя - вноси в черный список. в белом списке всего "возможно нужного" не учтешь.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
FatCat  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Чеширский кот
******

Профиль
Журнал
Группа: Администратор
Почтальон группы
Сообщений: 5909
Пользователь №: 1
На форуме: 10 лет, 10 месяцев
Карма: 125

Не пью :
22 года, 3 месяца


Пока так и делаю.

Вопрос возник в связи с большим количеством "неясных" ботов. Пользы от них не вижу. Каждый по отдельности создает не большую нагрузку, но все вместе в совокупности дают вполне ощутимую нагрузку.


--------------------
Бесплатному сыру в дырки не заглядывают...
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
redreem  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 4258
Пользователь №: 29002
На форуме: 5 лет, 4 месяца, 6 дней
Карма: 147




ну да собственно в наших реалиях что еще нужно кроме гугла и яши? если проще создать белый список, чем ради 0.0001%, юзающих какие-нибудь "рамблеры" терпеть нагрузки - ну так сделай. вопрос только в балансе.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
FatCat  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Чеширский кот
******

Профиль
Журнал
Группа: Администратор
Почтальон группы
Сообщений: 5909
Пользователь №: 1
На форуме: 10 лет, 10 месяцев
Карма: 125

Не пью :
22 года, 3 месяца


Цитата (redreem @ 22.05.2016 - 15:21)
ради 0.0001%, юзающих какие-нибудь "рамблеры"

Поисковки все в белом списке должны быть.
Речь о других. Например HostTracker. Нафига он ко мне ломится? Какая мне с него польза?


--------------------
Бесплатному сыру в дырки не заглядывают...
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Invis1ble  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме




******

Профиль
Группа: Эксперт
Группа переписки
Сообщений: 11787
Пользователь №: 23195
На форуме: 6 лет, 4 месяца, 13 дней
Карма: 429

Трезвый :
7 лет, 3 месяца, 13 дней


А каким образом они создают нагрузку? Частые запросы идут?


--------------------
PMПисьмо на e-mail пользователюСайт пользователя
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
FatCat  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Чеширский кот
******

Профиль
Журнал
Группа: Администратор
Почтальон группы
Сообщений: 5909
Пользователь №: 1
На форуме: 10 лет, 10 месяцев
Карма: 125

Не пью :
22 года, 3 месяца


Цитата (Invis1ble @ 22.05.2016 - 21:07)
Частые запросы идут?

Да. Тот же AhrefsBot любит с нескольких десятков айпишников одновременно молотить; на круг несколько сотен запросов в минуту.


--------------------
Бесплатному сыру в дырки не заглядывают...
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Invis1ble  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме




******

Профиль
Группа: Эксперт
Группа переписки
Сообщений: 11787
Пользователь №: 23195
На форуме: 6 лет, 4 месяца, 13 дней
Карма: 429

Трезвый :
7 лет, 3 месяца, 13 дней


Цитата (FatCat @ 22.05.2016 - 22:24)
несколько сотен запросов в минуту

ну тогда белый/черный список, можно еще как вариант резать часть запросов, что-нибудь типа

if (!(time() % 10)) {
// статистически каждый 10-й запрос обрабатываем как обычно
} else {
// тут можно отдать другой код ответа, например 429
}


https://ru.wikipedia.org/wiki/%D0%A1%D0%BF%...%D1%8F_HTTP#429


--------------------
PMПисьмо на e-mail пользователюСайт пользователя
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Invis1ble  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме




******

Профиль
Группа: Эксперт
Группа переписки
Сообщений: 11787
Пользователь №: 23195
На форуме: 6 лет, 4 месяца, 13 дней
Карма: 429

Трезвый :
7 лет, 3 месяца, 13 дней


даже лучше вместо time() использовать microtime(true) * 1000, будет равномерней распределение


--------------------
PMПисьмо на e-mail пользователюСайт пользователя
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
FatCat  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Чеширский кот
******

Профиль
Журнал
Группа: Администратор
Почтальон группы
Сообщений: 5909
Пользователь №: 1
На форуме: 10 лет, 10 месяцев
Карма: 125

Не пью :
22 года, 3 месяца


Цитата (Invis1ble @ 22.05.2016 - 21:45)
резать часть запросов

Так не хочу.
Если бот полезный - пусть индексирует.
Если вредный - врагу ни байта.


--------------------
Бесплатному сыру в дырки не заглядывают...
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
spomoni  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Новичок
*

Профиль
Группа: Пользователь
Сообщений: 10
Пользователь №: 42266
На форуме: 11 месяцев, 20 дней
Карма: 1




Цитата (FatCat @ 22.05.2016 - 22:24)
Цитата (Invis1ble @ 22.05.2016 - 21:07)
Частые запросы идут?

Да. Тот же AhrefsBot любит с нескольких десятков айпишников одновременно молотить; на круг несколько сотен запросов в минуту.

Ahrefs можно отрубить в скрипте по useragent или подсовывать ему статическую страницу. От него особой пользы для сайта нет.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Planet  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Новичок
*

Профиль
Группа: Пользователь
Сообщений: 10
Пользователь №: 42995
На форуме: 6 месяцев, 12 дней
Карма:




Боты как бы есть очень надоедливые, но вот нагрузку на сайт они оказывают вообще мизерную. В основном это занимает 4 секунды.
Но то, что от непонятных лучше избавляться, сомнений нет.


--------------------
Анонимные прокси. 30 стран. Безлимитный трафик.
Прокси Россия, США, Европа, Украина, Беларусь, Казахстан, АОЭ, Индонезия, Сингапур, Япония и другие.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
GET  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



TERRAFORMING ENGINEER
******

Профиль
Журнал
Группа: ★ЛжеЭксперт★
Завсегдатай форума
Сообщений: 3846
Пользователь №: 21196
На форуме: 6 лет, 9 месяцев, 4 дня
Карма: 87




Мне кажется, предпочтительнее белый список. Полезных ботов можно пересчитать по пальцам, остальные зарабатывают на сайте ничего не отдавая взамен.

К тому же их легче определить не только по UserAgent, а возможно и даже отсеять по статичным IP, где-то читал что у них свои коридоры (http://www.iplists.com/), даже у Yandexa, но только за ними нужно внимательно следить конечно, апдейтить.


--------------------
Не тот велик, кто не падал, а тот кто падал и поднимался.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
FatCat  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Чеширский кот
******

Профиль
Журнал
Группа: Администратор
Почтальон группы
Сообщений: 5909
Пользователь №: 1
На форуме: 10 лет, 10 месяцев
Карма: 125

Не пью :
22 года, 3 месяца


Спасибо всем за обсуждение. В итоге сделал оба списка: и черный, и белый.
Выявив нового бота, я решаю в какой список его поместить. Позже могу переместить в другой.
Черный список перекрывает белый: если случайно я помещу бота в оба списка, он будет получать информацию с сайта как из черного списка.

	var $bot_names	= array(
'YandexBot' => 'YandexBot',
//
);
var $bad_bots = array(
'ahrefsbot' => 'AhrefsBot',
//
);

$this->bot_names = array_merge($this->bot_names, $this->bad_bots);

Дальше на по массиву $this->bot_names выявляются все боты.
Боты проверяются по массиву $this->bad_bots и выявленные получают страницу авторизации.


--------------------
Бесплатному сыру в дырки не заглядывают...
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
  Быстрый ответ
Информация о Госте
Введите Ваше имя
Кнопки кодов
Для вставки цитаты, выделите нужный текст и
НАЖМИТЕ СЮДА
Введите сообщение
Смайлики
:huh:  :o  ;) 
:P  :D  :lol: 
B)  :rolleyes:  <_< 
:)  :angry:  :( 
:unsure:  :blink:  :ph34r: 
     
Показать всё

Опции сообщения  Включить смайлики?
 Включить подпись?
 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:

Опции темы Ответ в темуСоздание новой темыСоздание опроса