Форум PHP программистов

zvezda_t

29.07.2013 - 07:56

Всем привет!
Скажите, пожалуйста, что за файл robots.txt ?
У меня в логах выходит ошибка:

Цитата

File does not exist: /var/www/my_site/forum/robots.txt

_____________

Что ты сделал сегодня - для завтра?
"Приидите ко Мне вси труждающиеся и обремененнии и Аз упокою вы, возмите иго Мое на себе и научитеся от Мене яко кроток есмь и смирен сердцем и обрящете покой душам вашим, иго бо Мое благо и бремя Мое легко есть."(Мф. 11:28-30)

Valick

29.07.2013 - 08:09

Хм

https://www.google.ru/search?q=robots.txt&i...fox-a&gws_rd=cr
Ну а ошибка говорит что у вас его нет по указанному адресу

_____________
Стимулятор ~yoomoney - 41001303250491

zvezda_t

29.07.2013 - 09:08

Да, я поняла что его нет

А он обязательно нужен?
Если я пока не хочу ограничивать поисковые боты, самый простой файл robots.txt как должен выглядеть по умолчанию?

_____________

Что ты сделал сегодня - для завтра?
"Приидите ко Мне вси труждающиеся и обремененнии и Аз упокою вы, возмите иго Мое на себе и научитеся от Мене яко кроток есмь и смирен сердцем и обрящете покой душам вашим, иго бо Мое благо и бремя Мое легко есть."(Мф. 11:28-30)

Игорь_Vasinsky

29.07.2013 - 09:10

Цитата

А он обязательно нужен?

та же вики говорит:

Цитата

Данный файл дополняет стандарт Sitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому.

http://ru.wikipedia.org/wiki/%D0%A1%D1%82%...%82%D0%BE%D0%B2

_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker

zvezda_t

29.07.2013 - 09:24

Покажите пожалуйста, пример файла по умолчанию - без всяких запретов

_____________

Что ты сделал сегодня - для завтра?
"Приидите ко Мне вси труждающиеся и обремененнии и Аз упокою вы, возмите иго Мое на себе и научитеся от Мене яко кроток есмь и смирен сердцем и обрящете покой душам вашим, иго бо Мое благо и бремя Мое легко есть."(Мф. 11:28-30)

Игорь_Vasinsky

29.07.2013 - 09:54

http://robotstxt.org.ru/

_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker

zvezda_t

29.07.2013 - 09:57

Игорь, видела я эти ссылки, нету там примера файла. У тебя у самого нету этого файла что ли?

Кто знает как выглядит этот файл - покажите код файлика пожалуйста.

_____________

Что ты сделал сегодня - для завтра?
"Приидите ко Мне вси труждающиеся и обремененнии и Аз упокою вы, возмите иго Мое на себе и научитеся от Мене яко кроток есмь и смирен сердцем и обрящете покой душам вашим, иго бо Мое благо и бремя Мое легко есть."(Мф. 11:28-30)

Игорь_Vasinsky

29.07.2013 - 10:02

есть)

User-agent: *
Disallow: /admin
Disallow: /webstats
Disallow: /css
Disallow: /js
Disallow: /libs
Disallow: /images
HOST: hdkinozavr.ru

закрытов всё что должно быть закрыто или не нужно

_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker

zvezda_t

29.07.2013 - 10:22

Игорь_Vasinsky, наконец-то) Благодарю!

_____________

Что ты сделал сегодня - для завтра?
"Приидите ко Мне вси труждающиеся и обремененнии и Аз упокою вы, возмите иго Мое на себе и научитеся от Мене яко кроток есмь и смирен сердцем и обрящете покой душам вашим, иго бо Мое благо и бремя Мое легко есть."(Мф. 11:28-30)

Игорь_Vasinsky

29.07.2013 - 10:25

так он у всех в корне если есть)

http://habrahabr.ru/robots.txt
https://www.google.ru/robots.txt
http://www.kremlin.ru/robots.txt
http://mail.ru/robots.txt
http://yandex.ru/robots.txt

_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker

zvezda_t

29.07.2013 - 10:27

Игорь_Vasinsky, Буду знать, спасибо

_____________

Что ты сделал сегодня - для завтра?
"Приидите ко Мне вси труждающиеся и обремененнии и Аз упокою вы, возмите иго Мое на себе и научитеся от Мене яко кроток есмь и смирен сердцем и обрящете покой душам вашим, иго бо Мое благо и бремя Мое легко есть."(Мф. 11:28-30)

zvezda_t

29.07.2013 - 12:52

Скажите, пожалуйста, а папку /cache нужно закрывать???

_____________

Что ты сделал сегодня - для завтра?
"Приидите ко Мне вси труждающиеся и обремененнии и Аз упокою вы, возмите иго Мое на себе и научитеся от Мене яко кроток есмь и смирен сердцем и обрящете покой душам вашим, иго бо Мое благо и бремя Мое легко есть."(Мф. 11:28-30)

Игорь_Vasinsky

29.07.2013 - 13:09

а тебе нужно чтоб она индексировалась?

_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker

zvezda_t

29.07.2013 - 13:15

Игорь_Vasinsky а я не знаю

_____________

Что ты сделал сегодня - для завтра?
"Приидите ко Мне вси труждающиеся и обремененнии и Аз упокою вы, возмите иго Мое на себе и научитеся от Мене яко кроток есмь и смирен сердцем и обрящете покой душам вашим, иго бо Мое благо и бремя Мое легко есть."(Мф. 11:28-30)

Игорь_Vasinsky

29.07.2013 - 13:17

)))
ну этож кэш... если ты его в этом виде выводишь - что хранишь - то индексируй, если ты его куда то инклудишь - то нет.

_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker