Полная Версия: Googlebot спамит сайт. Что делать?
| Цитата (FatCat @ 28.03.2015 - 10:49) |
| ...сделаю такую же штуку на профили пользователей и прочие страницы, которые не хочу индексировать. |
| Цитата (inpost @ 28.03.2015 - 05:24) |
| Balancer73 nginx возвращает 503, когда не дожидается ответа от скриптов |
«504 Gateway Timeout», а не «503 Service Temporarily Unavailable». Почувствуйте разницу
>Кроме этого мне надо, чтобы он ходил в НОРМАЛЬНОМ русле по существующим страницам
Ну так отдавайте их нормально. Никто не мешает подходить к Гуглу индивидуально
_____________
... чтобы понять рекурсию, нужно сперва понять рекурсию ...
| Цитата (FatCat @ 28.03.2015 - 10:49) |
| Есть и еще одна проблема: "клоакинг". Если обычным посетителям я отдаю один контент, а гуглботу другой - это называется "клоакингом" - гуглбот обижается и сильно понижает рейтинг всего сайта. |
503 — это ни разу не клоакинг же. Это просто ответ о перегруженности сервера с просьбой зайти позже. Так что никакого криминала.
_____________
... чтобы понять рекурсию, нужно сперва понять рекурсию ...
| Цитата (S.Chushkin @ 28.03.2015 - 13:02) |
| А разве гуглобот не понимает noindex? |
Это лишь запрет на индексацию части страницы. И введённый Яндексом, так что Google на него не смотрит :) Google использует более валидное решение с комментариями:
<p>
Do index this text.
<!--googleoff: all-->
Don't index this text.
<!--googleon: all-->
</p>
Но, повторюсь, это не снизит нагрузку на сайт. Только уберёт часть текста из индекса.
_____________
... чтобы понять рекурсию, нужно сперва понять рекурсию ...
Впиши в .htaccess
RewriteCond %{REQUEST_URI} (/conf.php?id=) [NC]
RewriteRule ^(.*)$ - [L,R=404]
RewriteCond %{REQUEST_URI} (/conf.php?id=) [NC]
RewriteRule ^(.*)$ - [L,R=404]
Guru
Спустя полтора года не сильно полезно
_____________
Обучаю веб-программированию качественно и не дорого: http://school-php.com
Фрилансер, принимаю заказы: PHP, JS, AS (видео-чаты). Писать в ЛС (Личные сообщения на phpforum).
Спустя полтора года не сильно полезно
_____________
Обучаю веб-программированию качественно и не дорого: http://school-php.com
Фрилансер, принимаю заказы: PHP, JS, AS (видео-чаты). Писать в ЛС (Личные сообщения на phpforum).
Здесь расположена полная версия этой страницы.