[ Поиск ] - [ Пользователи ] - [ Календарь ]
Полная Версия: robots.txt
DmitryOpalev
Нельзя ли сделать запрет на индексацию всех страниц, но кроме таких которых я укажу.
Суть - не показывать запрещенные старничкию
???



Спустя 1 час, 10 минут, 29 секунд (3.10.2010 - 13:39) DmitryOpalev написал(а):
Никто не занком с этим? blink.gif

Спустя 34 минуты, 57 секунд (3.10.2010 - 14:14) Админ написал(а):
сделай в базе пользователей поле с уровнем доступа чё тут думать то просто вроде.

Спустя 3 минуты, 10 секунд (3.10.2010 - 14:17) DmitryOpalev написал(а):
Это не от пользователей, а то поисковых машин blink.gif

Спустя 1 час, 12 минут, 49 секунд (3.10.2010 - 15:30) inpost написал(а):
DmitryOpalev
Вроде там наоборот, прописывать надо запретные страницы

Спустя 4 минуты, 18 секунд (3.10.2010 - 15:34) DmitryOpalev написал(а):
Вот и суть, чтобы их смотреть неьзя было biggrin.gif

Спустя 2 часа, 49 минут, 23 секунды (3.10.2010 - 18:24) Invis1ble написал(а):
DmitryOpalev
думаю Админ правильное решение изложил
Цитата
Это не от пользователей, а то поисковых машин
насколько я понимаю, разницы нет..

Спустя 1 час, 24 минуты, 49 секунд (3.10.2010 - 19:49) DmitryOpalev написал(а):
.htacce или как то там от пользователей

Спустя 1 час, 35 минут, 28 секунд (3.10.2010 - 21:24) Invis1ble написал(а):
DmitryOpalev
.htaccess , но это катит тоолько если Apache стоит

Спустя 44 минуты, 40 секунд (3.10.2010 - 22:09) Ice написал(а):
запрети вообще всю индексацию
Disallow *

Спустя 1 час, 24 минуты, 41 секунда (3.10.2010 - 23:33) arvitaly написал(а):
Цитата
запрети вообще всю индексацию


Осторожно! Если запретить всю индексации и разрешить несколько некоторые поисковые системы перестают весь сайт сканировать (например, Rambler), гугл и яндекс вроде адекватно воспринимают

Спустя 15 часов, 22 минуты, 10 секунд (4.10.2010 - 14:56) Bot написал(а):
Если вы хотите чтобы другие пользователи не заходили на вашу страницу это скриптом надо делать а если только от поисковых машин то пропишите в robot.txt
User-agent: *
Disallow: /private/
, эо означает что бот не может просматривать все файлы находящиеся в папке private, если запрет на индексацию всех страниц то
User-agent: *
Disallow: /
Есче можно запретить определенным сайтам индекс ваших сайтов, это надо вместо * поставить Yandex - бот яндекса, googlebot - бот гула, рамблера я незнаю

Спустя 2 дня, 4 часа, 4 минуты (6.10.2010 - 19:00) DmitryOpalev написал(а):
Цитата
Если вы хотите чтобы другие пользователи не заходили на вашу страницу это скриптом надо делать а если только от поисковых машин то пропишите в robot.txt
User-agent: *
Disallow: /private/
, эо означает что бот не может просматривать все файлы находящиеся в папке private, если запрет на индексацию всех страниц то
User-agent: *
Disallow: /
Есче можно запретить определенным сайтам индекс ваших сайтов, это надо вместо * поставить Yandex - бот яндекса, googlebot - бот гула, рамблера я незнаю

Я это знаю smile.gif rolleyes.gif biggrin.gif

Спустя 59 минут, 59 секунд (6.10.2010 - 20:00) olex0731 написал(а):
ну, сделайте disallow на все страницы, и allow на те, которые можно индексировать. Правда, allow понимают не все боты... гугловский точно панимает, яндекс - не могу сказать, не знаю.

Спустя 3 минуты, 53 секунды (6.10.2010 - 20:03) inpost написал(а):
olex0731
В том то и дело, что большинство роботов не понимают allow, это и есть основная причина, почему надо указывать, что запрещать.

Спустя 5 минут, 56 секунд (6.10.2010 - 20:09) olex0731 написал(а):
inpost
ну так я и написал поэтому - сначала disallow все... В худшем случае не проиндексируется ничего...

Спустя 1 день, 18 часов, 14 минут, 21 секунда (8.10.2010 - 14:24) LRCenter написал(а):
Нафиг вам этот robots.txt сдался?
Используйте лучше на страницах метатег с параметром noindex user posted image

Спустя 14 минут, 56 секунд (8.10.2010 - 14:39) Dingo написал(а):
inpost фига ли ты бздишь, как бабка старая. dry.gif
на жуй
http://help.yandex.ru/webmaster/?id=996567
http://www.google.com/support/webmasters/b...u&answer=156449
DmitryOpalev
Читай пля.

Спустя 19 минут, 23 секунды (8.10.2010 - 14:58) inpost написал(а):
Dingo
Если бы ты не был на столько ***, то понимал бы, что одними Yandex & Google поисковые системы не ограничиваются.

А теперь для остальных, чтоб не путались из-за неопытности Dingo, он же Kafe, он же уже 4 аккаунта забаненных за грубости и некомпетентность:
Деректива была введена allowed совсем недавно, ранее её не существовало! Гугл и Яндекс совсем недавно её ввели в эксплуатацию, но это не говорит, что rambler, yahoo, meta и другие будут её поддерживать! Делать упор на какие-то поисковики - глупо. Человек должен иметь возможность попасть на сайт при любых обстоятельствах.

Спустя 3 часа, 14 минут, 6 секунд (8.10.2010 - 18:12) Dingo написал(а):
inpost бля просто иди ....., с тобой общаться бесполезно, ты меня вымораживаешь. Если ты не можешь изучить справку поисковиков, то это не означает что они это не поддерживают.

Спустя 10 минут, 10 секунд (8.10.2010 - 18:22) arvitaly написал(а):
Цитата
inpost бля просто иди ....., с тобой общаться бесполезно, ты меня вымораживаешь. Если ты не можешь изучить справку поисковиков, то это не означает что они это не поддерживают.


Чушь

Спустя 2 минуты, 40 секунд (8.10.2010 - 18:25) Dingo написал(а):
Цитата (arvitaly @ 8.10.2010 - 15:22)
Чушь

Какая жестокая самооценка своих постов biggrin.gif

Спустя 18 минут, 45 секунд (8.10.2010 - 18:44) DmitryOpalev написал(а):
Dingo, тебе походу что-то на голову упало huh.gif

Спустя 6 дней, 2 часа, 45 минут, 7 секунд (14.10.2010 - 21:29) aH6y написал(а):
Цитата (DmitryOpalev @ 3.10.2010 - 12:29)
Нельзя ли сделать запрет на индексацию всех страниц, но кроме таких которых я укажу.
Суть - не показывать запрещенные старничкию
???

просто сделай через php проверку на доступ с помощью формы:
логин: ...
пароль: ...
кнопка войти

без входа и успешной авторизации не показывай страницу. и не нужно никаких неиндексаций)

Спустя 3 минуты, 5 секунд (14.10.2010 - 21:32) DmitryOpalev написал(а):
Надо от РО-О-О-ОБОТОВ

Спустя 13 минут, 1 секунда (14.10.2010 - 21:45) aH6y написал(а):
DmitryOpalev
ну смотри: как какой-то робот прочитает эту инфу если он не ввёл пароль и логин? никак.

Спустя 2 минуты, 57 секунд (14.10.2010 - 21:48) DmitryOpalev написал(а):
xD так он так вообще сайт не проиндексует laugh.gif laugh.gif laugh.gif

Спустя 13 минут, 32 секунды (14.10.2010 - 22:01) aH6y написал(а):
DmitryOpalev
не нужно форму эту выставлять на каждой странице. и какие это страницы? админка? иль что?

Спустя 15 минут, 11 секунд (14.10.2010 - 22:17) DmitryOpalev написал(а):
Да, админка...
Т.е. ты предлагаешь поставить авторизацию на админку blink.gif ???

Спустя 11 минут, 53 секунды (14.10.2010 - 22:29) aH6y написал(а):
DmitryOpalev
естественно!

Спустя 1 минута, 12 секунд (14.10.2010 - 22:30) DmitryOpalev написал(а):
Вааууу laugh.gif laugh.gif laugh.gif laugh.gif laugh.gif
rolleyes.gif

Спустя 5 часов, 33 минуты, 49 секунд (15.10.2010 - 04:04) arvitaly написал(а):
Достаточно прописать запрещенные страницы в роботсе, либо на каждой выводить meta robots noindex,nofollow

Спустя 2 часа, 48 минут, 45 секунд (15.10.2010 - 06:52) DmitryOpalev написал(а):
Тогда их все равно прочитать можно

Спустя 4 минуты, 51 секунда (15.10.2010 - 06:57) arvitaly написал(а):
Цитата
Тогда их все равно прочитать можно


И что? в индексе то их не будет. Ну можно чисто от роботов exit прописать

$_SERVER['HTTP_USER_AGENT']


_____________
Курс валют
Быстрый ответ:

 Графические смайлики |  Показывать подпись
Здесь расположена полная версия этой страницы.
Invision Power Board © 2001-2024 Invision Power Services, Inc.