FatCat
а ты не думал, что это могут не краулеры ПС щимиться, а чьи-то парсеры например под них косят?
_____________
Профессиональная разработка на заказ
Я на GitHub | второй профиль
Полная Версия: Запрет индексации своих страниц
| Цитата (FatCat @ 1.03.2015 - 19:27) | ||
За клоакинг? Выкидывает. А вот насчет закрытия страниц, закрытых в "роботсе" - не уверен... |
Видимо
_____________
Принимаю заказы, писать в ЛС
Сейчас курлом представимся YandexBlogs и сделаем полную копия любимого форума 
P.S. г.к. тоже
работает
_____________
Принимаю заказы, писать в ЛС
P.S. г.к. тоже
работает
_____________
Принимаю заказы, писать в ЛС
| Цитата (Invis1ble @ 1.03.2015 - 18:33) |
| ты не думал, что это могут не краулеры ПС щимиться, а чьи-то парсеры например под них косят? |
Думал.
И когда первый раз увидел яндекс-бота в профилях, проверил по айпишнику. Он, мерзавец, Яков Платонович...
_____________
Бесплатному сыру в дырки не заглядывают...
Здесь расположена полная версия этой страницы.