Поделитесь скриптом определения поисковых роботов.
Только мне бы корректный с нормальной поддержкой. Допустим наличие в USER_AGENT строки "yandex" некорректное.
П.С. В гугле не забанили, но что-то найти не получается. Либо допишите сами, либо список не полный, либо некорректный, как выше указал.

_____________
Обучаю веб-программированию качественно и не дорого: http://school-php.com
Фрилансер, принимаю заказы: PHP, JS, AS (видео-чаты). Писать в ЛС (Личные сообщения на phpforum).

Очень упрощенно:

$s_user_agent = $_SERVER['HTTP_USER_AGENT']." ".@gethostbyaddr($ibforums->input['IP_ADDRESS']);
if ( preg_match( '/(YandexBlogs|googlebot|google-proxy|slurp@inktomi|ask jeeves|lycos|whatuseek|ia_archiver|aport|yandexbot|stackrambler|yahoo|msnbot|webalta|Mail.Ru|bingbot|  mj12bot|exabot|baiduspider|hosttracker|AhrefsBot|SputnikBot|BLEXBot)/i', $s_user_agent, $match ) )
{
// сессия поискового бота
}

Подумываю, не сократить ли этот список. Например мсн-бот - нафига он мне нужен; с этой поисковки нет нормальных посетителей. А поисковым ботам у нас есть ряд льгот...

_____________
Бесплатному сыру в дырки не заглядывают...

FatCat
https://yandex.ru/support/webmaster/robot-w...ndex-robots.xml
Вот USER_AGENTы:
Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots) — скачивает страницы для проверки их доступности пользователям, особым образом интерпретирует robots.txt.
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots) — робот, определяющий страницы с версткой, подходящей под мобильные устройства, особым образом интерпретирует robots.txt.

А вот пара вопросов:
1) Зачем Вам точное определение ботов? В чём смысл?
2) Как Вы сможете определить реальный это бот или фантом? (ибо любой параметр заголовка можно подделать)

_____________
Рекламка / ad.pesow.com Хрень / mr-1.ru

S.Chushkin
Выводить окно с просьбой зарегистрироваться обычным пользователям, перекрывающее часть контента на странице. Не хочу попасть в фильтры, так как контент будет находиться именно за всплывающем окне и поисковики могут расценить его как клоакинг

_____________
Обучаю веб-программированию качественно и не дорого: http://school-php.com
Фрилансер, принимаю заказы: PHP, JS, AS (видео-чаты). Писать в ЛС (Личные сообщения на phpforum).

Ах, ещё одно уточнение. Этот блок запихну в <noindex>, то есть разницы между контентом пользователя+контентом робота не будет, содержание будет одинаковым, но при этом защищусь от клокинга.

_____________
Обучаю веб-программированию качественно и не дорого: http://school-php.com
Фрилансер, принимаю заказы: PHP, JS, AS (видео-чаты). Писать в ЛС (Личные сообщения на phpforum).

FatCat
Возможно, но люди разные бывают и проекты тоже. Мне тоже подобные окна не очень нравятся, приходится идти в HTML-инспектор и вручную убирать его ради контента. Но всё же задача стоит, её необходимо реализовать.

_____________
Обучаю веб-программированию качественно и не дорого: http://school-php.com
Фрилансер, принимаю заказы: PHP, JS, AS (видео-чаты). Писать в ЛС (Личные сообщения на phpforum).

S.Chushkin
Вот я и говорю, что не могу найти стандартный список ботов. Придется колошматить всю документацию каждого из поисковиков и под каждого в отдельности писать, что, на мой взгляд, будет выглядеть как велосипед.

S.Chushkin
Глянул awstats, проверил по Яндексу, опять некорректно. Вот цитата: 'yandex', а это не подходит.

Как сказал выше, это "базовый список". Идеальных списков нет, в т.ч. список ботов часто пополняется. Кроме того, у каждого сайта свой набор роботов.
Например, мне пришлось добавить порядка 3-х сотен ботов и поправить десятки регулярок, чтобы более-менее корректно обрабатывать логи пары сайтов за последние 10 лет. И ежемесячно добавляется несколько новых роботов.
В общем, актуальная ("не кривая") это та база, которая обновляется фактически ежедневно. Вероятно есть такие сервисы, - я не знаю, не искал. И стоит учитывать, по статистике 99+% трафика роботов дают всего пара десятков ботов, остальные на уровне фона. Написать скрипт, которые будет эти 2 десятка отлавливать, день работы, - может это будет быстрее, чем долго и упорно искать халявы?

_____________
Рекламка / ad.pesow.com Хрень / mr-1.ru