Правила     Закладки     Карма    Календарь    Журналы    Помощь    Поиск    PDA    Чат   
        СМС-ки
   
Пейджер выключен!
Страницы: (2) 1 [2]  ( Перейти к первому непрочитанному сообщению )  
Фильтр авторов:    показать 
  скрыть
  Ответ в темуСоздание новой темыСоздание опроса

> Googlebot спамит сайт. Что делать?
S.Chushkin  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Пофигист
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 777
Пользователь №: 36058
На форуме: 3 года, 11 месяцев, 6 дней
Карма: 40




Цитата (FatCat @ 28.03.2015 - 10:49)
...сделаю такую же штуку на профили пользователей и прочие страницы, которые не хочу индексировать.

А разве гуглобот не понимает noindex?


--------------------
PM
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Balancer73  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Новичок
*

Профиль
Группа: Пользователь
Сообщений: 7
Пользователь №: 40607
На форуме: 1 год, 11 месяцев, 26 дней
Карма:




Цитата (inpost @ 28.03.2015 - 05:24)
Balancer73
nginx возвращает 503, когда не дожидается ответа от скриптов

«504 Gateway Timeout», а не «503 Service Temporarily Unavailable». Почувствуйте разницу smile.gif

>Кроме этого мне надо, чтобы он ходил в НОРМАЛЬНОМ русле по существующим страницам

Ну так отдавайте их нормально. Никто не мешает подходить к Гуглу индивидуально smile.gif


--------------------
... чтобы понять рекурсию, нужно сперва понять рекурсию ...
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Balancer73  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Новичок
*

Профиль
Группа: Пользователь
Сообщений: 7
Пользователь №: 40607
На форуме: 1 год, 11 месяцев, 26 дней
Карма:




Цитата (FatCat @ 28.03.2015 - 10:49)
Есть и еще одна проблема: "клоакинг". Если обычным посетителям я отдаю один контент, а гуглботу другой - это называется "клоакингом" - гуглбот обижается и сильно понижает рейтинг всего сайта.

503 — это ни разу не клоакинг же. Это просто ответ о перегруженности сервера с просьбой зайти позже. Так что никакого криминала.


--------------------
... чтобы понять рекурсию, нужно сперва понять рекурсию ...
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Balancer73  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Новичок
*

Профиль
Группа: Пользователь
Сообщений: 7
Пользователь №: 40607
На форуме: 1 год, 11 месяцев, 26 дней
Карма:




Цитата (S.Chushkin @ 28.03.2015 - 13:02)
А разве гуглобот не понимает noindex?

Это лишь запрет на индексацию части страницы. И введённый Яндексом, так что Google на него не смотрит :) Google использует более валидное решение с комментариями:

<p>
Do index this text.
<!--googleoff: all-->
Don't index this text.
<!--googleon: all-->
</p>


Но, повторюсь, это не снизит нагрузку на сайт. Только уберёт часть текста из индекса.

Это сообщение отредактировал Balancer73 - 28.03.2015 - 13:40


--------------------
... чтобы понять рекурсию, нужно сперва понять рекурсию ...
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Guru  
Дата
Цитировать сообщение


Гость пожелал остаться неизвестным

Unregistered









Впиши в .htaccess
RewriteCond %{REQUEST_URI} (/conf.php?id=) [NC]
RewriteRule ^(.*)$ - [L,R=404]
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
inpost  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Помагите Здесь живу!!!
******

Профиль
Группа: Эксперт
Группа переписки
Сообщений: 22688
Пользователь №: 20039
На форуме: 6 лет, 11 месяцев, 26 дней
Карма: 599




Guru
Спустя полтора года не сильно полезно laugh.gif


--------------------
Обучаю веб-программированию качественно и не дорого: http://school-php.com
Фрилансер, принимаю заказы: PHP, JS, AS (видео-чаты). Писать в ЛС (Личные сообщения на phpforum).
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
  Быстрый ответ
Информация о Госте
Введите Ваше имя
Кнопки кодов
Для вставки цитаты, выделите нужный текст и
НАЖМИТЕ СЮДА
Введите сообщение
Смайлики
:huh:  :o  ;) 
:P  :D  :lol: 
B)  :rolleyes:  <_< 
:)  :angry:  :( 
:unsure:  :blink:  :ph34r: 
     
Показать всё

Опции сообщения  Включить смайлики?
 Включить подпись?
 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:

Опции темыСтраницы: (2) 1 [2]  Ответ в темуСоздание новой темыСоздание опроса