Перейти к содержимому


Вопрос По Robots.txt


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 9

#1 Cancerva

Cancerva

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 160 сообщений

Отправлено 03 Август 2015 - 12:18

здраствуйте. В файле robot.txt прописан запрет доступа для роботов
User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare

Как изменить правильно запись, чтобы добавить разрешение доступа для РОБОТА ЯНДЕКСА к определенному файлу (rss.xml, сам файл добавлен через админку), но чтобы остальные запреты не слетели при этом

#2 Firefly

Firefly

    Активный участник

  • Модераторы
  • 3 810 сообщений

Отправлено 03 Август 2015 - 12:39

Просмотр сообщенияCancerva (03 Август 2015 - 12:18) писал:

здраствуйте. В файле robot.txt прописан запрет доступа для роботов
User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare

Как изменить правильно запись, чтобы добавить разрешение доступа для РОБОТА ЯНДЕКСА к определенному файлу (rss.xml, сам файл добавлен через админку), но чтобы остальные запреты не слетели при этом

Здравствуйте.
Для того, чтобы разрешить индексацию данного файла только для робота Яндекс:
Зайдите в админ. панель -> Сайт -> Robots.txt -> Добавьте в конце кода строки:
User-agent: Yandex
Allow: /rss.xml

Для разрешения индексации для всех роботов, включая Google, MSN и других вместо User-agent: Yandex пропишите User-agent: *
Более подробно про заполнение Robots.txt Вы можете прочитать здесь.

#3 Cancerva

Cancerva

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 160 сообщений

Отправлено 06 Август 2015 - 22:20

Цитата

Более подробно про заполнение Robots.txt Вы можете прочитать здесь.

Да вот меня там и смутил ряд моментов, в частности...

Цитата

Если обнаружена строка User-agent: Yandex, директивы для User-agent: * не учитываются.

Или там по порядку строк идет выполнение? Типо сначала выполнится запрет для всех роботов, а потом разрешение для Яндекса на доступ к rss.xml?

И вот еще ...

Цитата

В соответствии со стандартом перед каждой директивой User-agent рекомендуется вставлять пустой перевод строки.

Вообщем давайте еще раз, как будет правильно... Сейчас запись такая:

User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Host: site.ru
Sitemap: http://site.ru/sitemap

Куда и как добавить

User-agent: Yandex
Allow: /rss.xml

#4 Firefly

Firefly

    Активный участник

  • Модераторы
  • 3 810 сообщений

Отправлено 07 Август 2015 - 09:56

Просмотр сообщенияCancerva (06 Август 2015 - 22:20) писал:

Да вот меня там и смутил ряд моментов, в частности...


Или там по порядку строк идет выполнение? Типо сначала выполнится запрет для всех роботов, а потом разрешение для Яндекса на доступ к rss.xml?

И вот еще ...


Вообщем давайте еще раз, как будет правильно... Сейчас запись такая:

User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Host: site.ru
Sitemap: http://site.ru/sitemap

Куда и как добавить

User-agent: Yandex
Allow: /rss.xml

Здравствуйте.
Данные строки Вы можете расположить, как перед Host, так и в самом конце Robots.txt

#5 Cancerva

Cancerva

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 160 сообщений

Отправлено 07 Август 2015 - 17:21

Просмотр сообщенияFirefly (07 Август 2015 - 09:56) писал:

Здравствуйте.
Данные строки Вы можете расположить, как перед Host, так и в самом конце Robots.txt

Проверяю в вебмастере...

robot.png

Если я правильно понял то при такой записи строки до User-agent: Yandex игнорятся роботом, что неприемлимо...

#6 Cancerva

Cancerva

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 160 сообщений

Отправлено 08 Август 2015 - 09:56

придумался такой вариант...

User-agent: *
Disallow:  /cart
Disallow:  /order
Disallow:  /user
Disallow:  /search
Disallow:  /compare

User-agent: Yandex
Allow: /rss.xml
Disallow:  /cart
Disallow:  /order
Disallow:  /user
Disallow:  /search
Disallow:  /compare

Host:  site.ru
Sitemap:  http://site.ru/sitemap

Как вам такой вариант написания? Правильно ли?

#7 Firefly

Firefly

    Активный участник

  • Модераторы
  • 3 810 сообщений

Отправлено 08 Август 2015 - 10:53

Просмотр сообщенияCancerva (08 Август 2015 - 09:56) писал:

придумался такой вариант...

User-agent: *
Disallow:  /cart
Disallow:  /order
Disallow:  /user
Disallow:  /search
Disallow:  /compare

User-agent: Yandex
Allow: /rss.xml
Disallow:  /cart
Disallow:  /order
Disallow:  /user
Disallow:  /search
Disallow:  /compare

Host:  site.ru
Sitemap:  http://site.ru/sitemap

Как вам такой вариант написания? Правильно ли?

Здравствуйте.
В данном случае User-agent: * запрещает доступ всем роботам к каталогам cart, order, user, search и compare.
Запрещать повторно для робота яндекса доступ к тем же каталогам не имеет смысла, т.к. в первом случае он уже запрещен для всех.

Проверка файла robots.txt при помощи сервиса яндекса будет выделять приоритетной именно запись User-agent: Yandex, если она присутствует.
Попробуйте составить файл robots.txt таким образом:
User-agent: Yandex
Allow: /rss.xml

User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Host: http://site.ru
Sitemap: /sitemap

Вместо site.ru пропишите название Вашего сайта.

#8 Cancerva

Cancerva

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 160 сообщений

Отправлено 08 Август 2015 - 14:25

Просмотр сообщенияFirefly (08 Август 2015 - 10:53) писал:

Здравствуйте.
В данном случае User-agent: * запрещает доступ всем роботам к каталогам cart, order, user, search и compare.
Запрещать повторно для робота яндекса доступ к тем же каталогам не имеет смысла, т.к. в первом случае он уже запрещен для всех.

Проверка файла robots.txt при помощи сервиса яндекса будет выделять приоритетной именно запись User-agent: Yandex, если она присутствует.
Попробуйте составить файл robots.txt таким образом:
User-agent: Yandex
Allow: /rss.xml

User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Host: http://site.ru
Sitemap: /sitemap

Вместо site.ru пропишите название Вашего сайта.


Хех, именно такую запись я и сделал в своем robots.txt когда понадобилось открыть доступ к файлику для Яндекса... В результате через пару недель ЯВебмастер сообщил о проблеме и оказалось что он уже проиндексировал и /cart и /user, заодно выдав кучу ссылок на несуществующие страницы по ссылкам типа add?cart....

Цитата

на 31.07.2015 Страница была проиндексирована роботом и присутствует в поиске.
это он про корзину  ...

Так что дую теперь на воду и кстати я уже писал ранее что в справке Яндекса по robots.txt написано

Цитата

Если обнаружена строка User-agent: Yandex, директивы для User-agent: * не учитываются.
, то есть я так понимаю что директивы Disalow прописанные для User-agent: * Яндексом не учитываются, тоесть игнорируются....

Вообщем вопрос остается открытым... Хелп)

#9 Firefly

Firefly

    Активный участник

  • Модераторы
  • 3 810 сообщений

Отправлено 08 Август 2015 - 15:01

Просмотр сообщенияCancerva (08 Август 2015 - 14:25) писал:

Хех, именно такую запись я и сделал в своем robots.txt когда понадобилось открыть доступ к файлику для Яндекса... В результате через пару недель ЯВебмастер сообщил о проблеме и оказалось что он уже проиндексировал и /cart и /user, заодно выдав кучу ссылок на несуществующие страницы по ссылкам типа add?cart....

это он про корзину  ...

Так что дую теперь на воду и кстати я уже писал ранее что в справке Яндекса по robots.txt написано
, то есть я так понимаю что директивы Disalow прописанные для User-agent: * Яндексом не учитываются, тоесть игнорируются....

Вообщем вопрос остается открытым... Хелп)

Прошу прощения, уточнил информацию по Вашему вопросу, вариант написания из сообщения выше должен работать, только в нем нужно будет исправить путь к загруженному файлу rss.xml
Найдите строку:
Allow: /rss.xml

Замените ее на:
Allow: /design/rss.xml

Но, так же и без прописанного правила для робота Яндекса данный файл должен проходить индексацию, т.к. в правилах отсутствует запрет на индексирование каталога design.
Если Вы загрузили данный файл недавно, то должно пройти какое-то время (от 2 недель до 1 месяца), пока робот Яндекса увидит и проиндексирует данный файл.

#10 Cancerva

Cancerva

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 160 сообщений

Отправлено 08 Август 2015 - 16:51

да проиндексировать то он проиндексировал rss.xml, только помимо него еще и /user и /cart проиндексировал




Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных