Правила     Закладки     Карма    Календарь    Журналы    Помощь    Поиск    PDA    Чат   
        СМС-ки
   
Пейджер выключен!
 
Фильтр авторов:    показать 
  скрыть
  Ответ в темуСоздание новой темыСоздание опроса

> Санкции за обман бота
GET  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



TERRAFORMING ENGINEER
******

Профиль
Журнал
Группа: ★ЛжеЭксперт★
Завсегдатай форума
Сообщений: 3846
Пользователь №: 21196
На форуме: 6 лет, 8 месяцев, 29 дней
Карма: 87




Привет.

Есть страничка, на ней генерация сложного контента (структура из 30 ссылок, неслучайная выборка из несколько тысяч вариантов), у нее есть прямой вход с поисковика. Придумал способ закешировать контент и отдавать через javascript.

Проблема в том, что на страница отдается как бы в лайт версии, а потом незаметно для юзера дорисовывается JS-ом, лайт версия отличается универсальными элементами в ссылках, которые потом подменяются, кому давать какую версию ориентирусь по куке. Есть кука - человек, отдаем из кеша, нет куки - бот или только зашёл генерим обычным образом.

Читал, что время от времени бот google заходит, как обычный юзер, с обычным юзер агентом браузера и возможно даже с сохранением куки - проверка на черный SEO. Как думаете может быть санкция когда он обнаружит, что версия страницы с кукой отличается от той, что без. Конкретно из-за других (хоть и с той же структурой) ссылок?

Спасибо.

user posted image


--------------------
Не тот велик, кто не падал, а тот кто падал и поднимался.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
inpost  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Помагите Здесь живу!!!
******

Профиль
Группа: Эксперт
Группа переписки
Сообщений: 22688
Пользователь №: 20039
На форуме: 6 лет, 11 месяцев, 25 дней
Карма: 599




GET
Если отличается, то будет. И от гугла, и от яндекса. Целый букет тебе штрафов. Если не полный бан, то значительное понижение в результатах выдачи твоего сайта.
И ты это должен был читать не "где-то", а в документациях гугла и яндекса wink.gif


--------------------
Обучаю веб-программированию качественно и не дорого: http://school-php.com
Фрилансер, принимаю заказы: PHP, JS, AS (видео-чаты). Писать в ЛС (Личные сообщения на phpforum).
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
GET  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



TERRAFORMING ENGINEER
******

Профиль
Журнал
Группа: ★ЛжеЭксперт★
Завсегдатай форума
Сообщений: 3846
Пользователь №: 21196
На форуме: 6 лет, 8 месяцев, 29 дней
Карма: 87




Цитата
И ты это должен был читать не "где-то", а в документациях гугла и яндекса 


Ну ты разумеется прочитал, можешь дать ссылку на то, что наличие кук у пользователя не должно менять контент сайта?


--------------------
Не тот велик, кто не падал, а тот кто падал и поднимался.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
GET  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



TERRAFORMING ENGINEER
******

Профиль
Журнал
Группа: ★ЛжеЭксперт★
Завсегдатай форума
Сообщений: 3846
Пользователь №: 21196
На форуме: 6 лет, 8 месяцев, 29 дней
Карма: 87




Почитал, скорее всего санкций не будет, т.к. ключевики страницы не меняются и ссылки по структуре тоже, меняются только значение GET параметров, хотя риск есть - всё таки это совсем ненормальное поведение, но и это используется сплошь и рядом, например когда на ходе есть геотаргетирование.


--------------------
Не тот велик, кто не падал, а тот кто падал и поднимался.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
bestxp  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



орангутанг
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 2004
Пользователь №: 36605
На форуме: 3 года, 9 месяцев, 14 дней
Карма: 111




а вы не забыли что google умеет давно выполнять js и что различие страницы при наличие и отсутвии куки это норм, авторизация или что-то еще

если итоговая страница = странице собранной через js то о каких проблемах может быть речи

если бы по окончании загрузки полной включая js у тебя отличарались бы страницы для робота и для пользователя было странно и тогда понижение или санкции

+ есть еще #! и конвертирование параметров и тд


--------------------
PMПисьмо на e-mail пользователюСайт пользователяICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
inpost  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Помагите Здесь живу!!!
******

Профиль
Группа: Эксперт
Группа переписки
Сообщений: 22688
Пользователь №: 20039
На форуме: 6 лет, 11 месяцев, 25 дней
Карма: 599




GET
Что в твоём понимании: "какую версию ориентирусь"? Что такое версия? И чем страницы будут отличаться?
Может ты таким образом пытаешься мультиязычность сделать? Тогда сразу мимо. Или мобильную версию? Тоже мимо.


--------------------
Обучаю веб-программированию качественно и не дорого: http://school-php.com
Фрилансер, принимаю заказы: PHP, JS, AS (видео-чаты). Писать в ЛС (Личные сообщения на phpforum).
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
GET  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



TERRAFORMING ENGINEER
******

Профиль
Журнал
Группа: ★ЛжеЭксперт★
Завсегдатай форума
Сообщений: 3846
Пользователь №: 21196
На форуме: 6 лет, 8 месяцев, 29 дней
Карма: 87




inpost

Да ладно, спасибо, разобрался уже.


--------------------
Не тот велик, кто не падал, а тот кто падал и поднимался.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
inpost  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Помагите Здесь живу!!!
******

Профиль
Группа: Эксперт
Группа переписки
Сообщений: 22688
Пользователь №: 20039
На форуме: 6 лет, 11 месяцев, 25 дней
Карма: 599




GET
Как знаешь.


--------------------
Обучаю веб-программированию качественно и не дорого: http://school-php.com
Фрилансер, принимаю заказы: PHP, JS, AS (видео-чаты). Писать в ЛС (Личные сообщения на phpforum).
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
FatCat  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Чеширский кот
******

Профиль
Журнал
Группа: Администратор
Почтальон группы
Сообщений: 5902
Пользователь №: 1
На форуме: 10 лет, 9 месяцев, 23 дня
Карма: 125

Не пью :
22 года, 2 месяца, 26 дней


Цитата (GET @ 11.11.2015 - 03:32)
Есть кука - человек, отдаем из кеша, нет куки - бот или только зашёл генерим обычным образом.

У нас на форуме тоже. Есть кука зарегистрированного пользователя - определяется группа доступа и отдается то, что полагается по правам доступа, без формы авторизации; нет куки - гостевой интерфейс с формой авторизации.


Цитата (inpost @ 11.11.2015 - 03:53)
Целый букет тебе штрафов. Если не полный бан

На мой взгляд, весьма маловероятно. Клоакинг - это не только разный контент для людей и ботов, но и СЕО-контент для бота. То есть, чтобы заработать штраф, нужно как минимум отдавать боту больше, чем обычному посетителю.


--------------------
Бесплатному сыру в дырки не заглядывают...
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
GET  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



TERRAFORMING ENGINEER
******

Профиль
Журнал
Группа: ★ЛжеЭксперт★
Завсегдатай форума
Сообщений: 3846
Пользователь №: 21196
На форуме: 6 лет, 8 месяцев, 29 дней
Карма: 87




FatCat
Спасибо.


--------------------
Не тот велик, кто не падал, а тот кто падал и поднимался.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
icedfox  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 395
Пользователь №: 41702
На форуме: 1 год, 3 месяца, 19 дней
Карма: 13




Для ботов можно отдавать отдельную кешированую страницу без скриптов, для этого нужно указывать ссылку на ее в коде. Тогда бот будет знать, что сайт работает на js и и что полная версия этой страницы там то.
Я как то изучал данный вопрос про индексацию сайтов на AJAXе
PM
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
spomoni  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Новичок
*

Профиль
Группа: Пользователь
Сообщений: 10
Пользователь №: 42266
На форуме: 11 месяцев, 15 дней
Карма: 1




Цитата (icedfox @ 12.11.2015 - 21:02)
Для ботов можно отдавать отдельную кешированую страницу без скриптов, для этого нужно указывать ссылку на ее в коде. Тогда бот будет знать, что сайт работает на js и и что полная версия этой страницы там то.

Наверное нужно указать метатег со ссылкой. Какой метатег за это отвечает?
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
GET  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



TERRAFORMING ENGINEER
******

Профиль
Журнал
Группа: ★ЛжеЭксперт★
Завсегдатай форума
Сообщений: 3846
Пользователь №: 21196
На форуме: 6 лет, 8 месяцев, 29 дней
Карма: 87






--------------------
Не тот велик, кто не падал, а тот кто падал и поднимался.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
  Быстрый ответ
Информация о Госте
Введите Ваше имя
Кнопки кодов
Для вставки цитаты, выделите нужный текст и
НАЖМИТЕ СЮДА
Введите сообщение
Смайлики
:huh:  :o  ;) 
:P  :D  :lol: 
B)  :rolleyes:  <_< 
:)  :angry:  :( 
:unsure:  :blink:  :ph34r: 
     
Показать всё

Опции сообщения  Включить смайлики?
 Включить подпись?
 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:

Опции темы Ответ в темуСоздание новой темыСоздание опроса