И так. У есть сайт скажем site.ru
Суть вопроса в том что в настоящий момент я данный сайт немного переделал. Исходя из это я поменял адреса страниц...
т.е.
Раньше было так
http://site.ru/?page=1
сейчас выглядит вот так
http://site.ru/?mode=1
Так вот, робот Яндекса все время долбится по старым ссылка http://site.ru/?page=1 и когда он проходит по старой ссылке то попадает на главную страницу. при этом загружено роботом страниц 1 ы поиске одна.
вот мой robots.txt
Свернутый текст
Host: www.site.ru
User-agent: Yandex
Disallow:
Clean-param: page /index.php //Возможно здесь косяк..
Disallow: /dmn
User-agent: *
Allow: /
Disallow: /dmn
Sitemap: http://site.ru/sitemap.xml
Здесь я пытаюсь запретить Яндексу просматривать странице page=1 .. N
но он все равно долбится по этим страницам :angry:
Кто силен в robots.txt помогите товарищу :rolleyes:
Спустя 36 минут, 41 секунда (19.06.2012 - 20:54) medvedeva написал(а):
А при чем здесь robots.txt?
Лучше сделать так, чтобы страницы были доступны или производился редирект,
.htaccess
Лучше сделать так, чтобы страницы были доступны или производился редирект,
.htaccess
RewriteEngine On
RewriteRule ^\?page\=([^/]*)$ /?mode=$1 [L]
Спустя 4 минуты, 48 секунд (19.06.2012 - 20:59) medvedeva написал(а):
как-то так мона редиректить, я не сильно разбираюсь((
RewriteEngine on
RewriteCond %{http_host} ^www\.site\.ru [NC]
RewriteRule ^\?page\=([^/]*)$ /?mode=$1 [R=301,NC]
Спустя 12 минут (19.06.2012 - 21:11) Kuliev написал(а):
| Цитата (medvedeva @ 19.06.2012 - 21:54) |
| А при чем здесь robots.txt? |
Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Я не уверен, Ваш способ поможет (вдруг робот обидится на редирект и не станет обрабатывать страницу)
Спустя 7 минут, 23 секунды (19.06.2012 - 21:18) alexbel2404 написал(а):
Нужно делать 301 редирект, ПС не обидятся. Через роботс этого не сделаешь
Спустя 25 минут, 35 секунд (19.06.2012 - 21:44) Kuliev написал(а):
| Цитата (alexbel2404 @ 19.06.2012 - 22:18) |
| Нужно делать 301 редирект, ПС не обидятся. Через роботс этого не сделаешь |
Мне ненадо перенаправлять робота через редирект.
Фишка в том что есть деректива запрещающая роботу просматривать данную страницу с динамическими параметрами.
Вот что мне ответеля техподдержка ЯНДЕКСА
| Цитата |
Если Вы не хотите, чтобы робот запрашивал старые страницы Вашего сайта, то рекомендуем Вам запретить их индексирование в файле robots.txt. Что касается новых страниц, то они известны роботу и смогут появиться в поиске, когда Ваш сайт по совокупности факторов будет признан нашими алгоритмами достаточно качественным. Подробнее о нашем понимании качественных сайтов читайте на страницах Помощи: |
Спустя 19 минут, 59 секунд (19.06.2012 - 22:04) FatCat написал(а):
| Цитата (Kuliev @ 19.06.2012 - 22:44) |
| Вот что мне ответеля |
Отписка.
Поддерживаю совет про 301-й редирект, а уж потом через пару месяцев закрыть и в "роботсе":
Disallow: /?page=или вот так:
Disallow: /*page=
Спустя 3 минуты, 58 секунд (19.06.2012 - 22:08) Kuliev написал(а):
Спасибо всем, буду пробывать с редиректом 301
Спустя 29 минут, 25 секунд (19.06.2012 - 22:37) vital написал(а):
| Цитата |
| Я не уверен, Ваш способ поможет (вдруг робот обидится на редирект и не станет обрабатывать страницу) |
Лениво гуглить пруф, но например гугл у себя в хелпе пишет наоборот, что правильно в таких случаях делать именно редирект, и бот все правильно сам поймет, не создаст дубликаты, етк.
Спустя 12 минут, 58 секунд (19.06.2012 - 22:50) alexbel2404 написал(а):
У меня с дубликатами были раньше проблемы, пока 301 редиректы не поставил. При таких редиректах, передается "вес" страницы и т.д.
Спустя 3 часа, 38 минут, 38 секунд (20.06.2012 - 02:29) Эли4ка написал(а):
по идее ПС должны же файл robots.txt хоть иногда обновлять..должны были увидеть..может у Вас в приложенном sitemap.xml cтарые ссылки остались?
Спустя 4 часа, 16 минут, 29 секунд (20.06.2012 - 06:45) medvedeva написал(а):
| Цитата (Эли4ка @ 19.06.2012 - 23:29) |
| по идее ПС должны же файл robots.txt хоть иногда обновлять |
Где-то читала, что нечасто это происходит, особенно когда сайт старый, эффект от изменений в роботс наступает спустя не меньше месяца...
Спустя 6 часов, 53 минуты, 2 секунды (20.06.2012 - 13:39) Kuliev написал(а):
| Цитата (Эли4ка @ 20.06.2012 - 03:29) |
| по идее ПС должны же файл robots.txt хоть иногда обновлять..должны были увидеть..может у Вас в приложенном sitemap.xml cтарые ссылки остались? |
Как только сменил структуру сайта так сразу поменял sitemap.xml
Спустя 1 минута, 27 секунд (20.06.2012 - 13:40) Kuliev написал(а):
В общем я сделал щас редирект 301. Буду наблюдать за роботами в логах.
Еще раз всем спасибо за ответы...
Еще раз всем спасибо за ответы...
Спустя 2 минуты, 15 секунд (20.06.2012 - 13:42) Игорь_Vasinsky написал(а):
Kuliev
создай карту сайта xml - укажи период обновлений. всё.
создай карту сайта xml - укажи период обновлений. всё.
Спустя 11 минут, 31 секунда (20.06.2012 - 13:54) Kuliev написал(а):
| Цитата (Игорь_Vasinsky @ 20.06.2012 - 14:42) |
| Kuliev создай карту сайта xml - укажи период обновлений. всё. |
Пожалуйста поподробней про период обновления!
Спустя 4 минуты, 56 секунд (20.06.2012 - 13:59) Игорь_Vasinsky написал(а):
https://www.google.ru/webhp?hl=ru&tab=ww#hl...iw=1497&bih=705
указываешь период обновлеления неделя, например и каждую неделю идед сканирования поисковиками.. даже с моим в > 600к страниц пс справляються.
меняешь структуры сайта, поисковик раз в неделю проскакивает и обновляет индекс.
указываешь период обновлеления неделя, например и каждую неделю идед сканирования поисковиками.. даже с моим в > 600к страниц пс справляються.
меняешь структуры сайта, поисковик раз в неделю проскакивает и обновляет индекс.
Спустя 4 часа, 1 минута, 14 секунд (20.06.2012 - 18:00) medvedeva написал(а):
| Цитата (Kuliev @ 20.06.2012 - 10:40) |
| В общем я сделал щас редирект 301. |
Если не секрет, как именно? Интересует .htaccess Ваш.
Спустя 3 часа, 6 минут, 37 секунд (20.06.2012 - 21:07) Kuliev написал(а):
| Цитата (medvedeva @ 20.06.2012 - 19:00) | ||
Если не секрет, как именно? Интересует .htaccess Ваш. |
Нет не секрет!
<?php
header("HTTP/1.1 301 Moved Permanently");
header("Location: http://www.newdomain.ru/newdir/newpage.htm");
exit();
?>
Информацию по редиректу можно посмотреть тут!
Если не поможет попробую .htaccess
Спустя 17 минут, 5 секунд (20.06.2012 - 21:24) medvedeva написал(а):
| Цитата (Kuliev @ 20.06.2012 - 18:07) |
| Нет не секрет! |
Ааа, ну это слишком просто =)
Думала Вы сделали что-то наподобие
| Цитата (medvedeva @ 19.06.2012 - 17:59) |
| RewriteEngine on RewriteCond %{http_host} ^www\.site\.ru [NC] RewriteRule ^\?page\=([^/]*)$ /?mode=$1 [R=301,NC] |
хотела посмотреть
Спустя 1 час, 58 минут, 17 секунд (20.06.2012 - 23:22) Sergen написал(а):
| Цитата (medvedeva @ 20.06.2012 - 18:24) | ||||
Ааа, ну это слишком просто =) Думала Вы сделали что-то наподобие
хотела посмотреть |
Зачем такие сложности...
Redirect 301 /straniza1/ http://site.ru//straniza2/
Главное потом не забыть проверить какой код отдает сервер.
Спустя 4 минуты (20.06.2012 - 23:26) Sergen написал(а):
| Цитата (Игорь_Vasinsky @ 20.06.2012 - 10:59) |
| указываешь период обновлеления неделя, например и каждую неделю идед сканирования поисковиками.. даже с моим в > 600к страниц пс справляються. меняешь структуры сайта, поисковик раз в неделю проскакивает и обновляет индекс. |
И это всего лишь рекомендации для ПМ... Так как же и robots
Спустя 9 часов, 8 минут, 28 секунд (21.06.2012 - 08:34) medvedeva написал(а):
| Цитата (Sergen @ 20.06.2012 - 20:22) |
| Зачем такие сложности... Redirect 301 /straniza1/ http://site.ru//straniza2/ Главное потом не забыть проверить какой код отдает сервер. |
А если страниц больше 10к?
Спустя 1 час, 44 минуты, 41 секунда (21.06.2012 - 10:19) Sergen написал(а):
| Цитата (medvedeva @ 21.06.2012 - 05:34) | ||
А если страниц больше 10к? |
А если page на mode то тогда Ваш вариант конечно лучше. Просто смотрел вечером, не очень внимательно
Спустя 6 часов, 1 минута, 21 секунда (21.06.2012 - 16:20) Kuliev написал(а):
| Цитата (Sergen @ 21.06.2012 - 11:19) | ||||
А если page на mode то тогда Ваш вариант конечно лучше. Просто смотрел вечером, не очень внимательно |
И так, кому интересно...
Сегодня боролся с редиректом вместе со суппортом хостинга
Пробывали различные вариант...
Первое это в панели хостинга есть настройки для редиректа, НО с динамическими данными она не заработала (я имею ввиду /?page=1 на /?mode=1). Работает только с конкретными файлами т.е. скажем site.ru/aaa.php перенаправить на site.ru/bbb.php
Второй вариант это .htaccess предложенный рание. Он также не помог (так как и в первом случае Апач не хочет воспринимать динамические данные).
Так что я использую в данный момент редирект с помощью заголовка. Вроде работает. Посмотрим логи в понедельник (вскрытие покажет).