Форум PHP программистов > Как заблокировать сайт для посетителей,

[ Поиск ] - [ Пользователи ] - [ Календарь ]

Полная Версия: Как заблокировать сайт для посетителей,

MrBrown

18.02.2014 - 23:28

Здравствуйте! Мне надо временно закрыть доступ к сайту всех посетителей, но одновременно продолжить индексацию его роботами. Подскажите, правильно ли я сделал изменения в файлах:
.htaccess -

deny from all

robots.txt -

User-agent: *
Disallow: /files/

User-agent: Yandex
Disallow: /files/
Host: mysite.ru

Я хочу, чтобы роботы индексировали текстовые файлы и не индексировали картинки и фотографии в папке /files.
Я спрашиваю потому, что не полностью понимаю разницу между этими файлами. Влияет ли файл .htaccess на индексацию роботами? Дайте, пожалуйста ссылку, где хорошо разжёвано про них, с кучей примеров.
Спасибо.

zelenuy

19.02.2014 - 00:43

Закрыть то можно все файлы но и роботу тоже будет перекрыта дорога боюсь

тут надо знатоков спрашивать, если у тебя MVC движок то там можно фильтр нарисовать и пускать тока робота

killer8080

19.02.2014 - 01:09

Цитата (MrBrown @ 18.02.2014 - 21:28)

закрыть доступ к сайту всех посетителей, но одновременно продолжить индексацию его роботами

не стоит так делать, сайт может попасть в бан

Цитата (MrBrown @ 18.02.2014 - 21:28)

Подскажите, правильно ли я сделал изменения в файлах:

нет, ты перекрыл доступ всем

Цитата (MrBrown @ 18.02.2014 - 21:28)

Я спрашиваю потому, что не полностью понимаю разницу между этими файлами.

.htaccess - файл динамической конфигурации апача
robots.txt - простой текстовик с рекомендациями для ботов, следовать им, или нет они решают сами.

MrBrown

19.02.2014 - 01:20

killer8080, спасибо за разъяснение. Получается, что файл .htaccess закрыл доступ и роботам.

Быстрый ответ:

Здесь расположена полная версия этой страницы.