Если указать
Disallow: /?page=impressum
страничка с адресом
http://site.com/?page=impressum
выпадет из перечня по которым лазит робот?
Через слэш обычно указывают папку. А если URL динамически формируется?
Спустя 1 день, 6 минут, 46 секунд (3.02.2011 - 22:56) VELIK505 написал(а):
Выпадет
Спустя 1 час, 49 минут, 20 секунд (4.02.2011 - 00:45) Zerstoren написал(а):
И не мечтайте)
Роботу порой пофиг на роботс.тхт и на мета тег роботс.
У меня на сайте попадают в индекс страницы с закрытым роботом.
Роботу порой пофиг на роботс.тхт и на мета тег роботс.
У меня на сайте попадают в индекс страницы с закрытым роботом.
Спустя 11 часов, 41 минута, 33 секунды (4.02.2011 - 12:27) VELIK505 написал(а):
| Цитата (Zerstoren @ 3.02.2011 - 21:45) |
| И не мечтайте) Роботу порой пофиг на роботс.тхт и на мета тег роботс. У меня на сайте попадают в индекс страницы с закрытым роботом. |
Ему не пофигу он просто не сразу начнёт слушаться robots.txt
Спустя 11 минут, 31 секунда (4.02.2011 - 12:38) Zerstoren написал(а):
| Цитата (VELIK505 @ 4.02.2011 - 09:27) | ||
Ему не пофигу он просто не сразу начнёт слушаться robots.txt |
Гугл веб мастер давно увидел мой роботс и я ему уже запрещал одну из страниц.
Теперь ему снова стало пох на роботс.тхт и роботс.мета
Спустя 14 минут, 11 секунд (4.02.2011 - 12:52) VELIK505 написал(а):
роботс мета вообще удали тег такой оставь только robots.txt
а во вторых то что он увидел а через 2 месяца он только может его послушаться!
А 3их проверь нет ли ссылки на эту страницу в sitemap.xml
а во вторых то что он увидел а через 2 месяца он только может его послушаться!
А 3их проверь нет ли ссылки на эту страницу в sitemap.xml