Вопрос По Robots.txt
#1
Отправлено 03 Август 2015 - 12:18
User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Как изменить правильно запись, чтобы добавить разрешение доступа для РОБОТА ЯНДЕКСА к определенному файлу (rss.xml, сам файл добавлен через админку), но чтобы остальные запреты не слетели при этом
#2
Отправлено 03 Август 2015 - 12:39
Cancerva (03 Август 2015 - 12:18) писал:
User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Как изменить правильно запись, чтобы добавить разрешение доступа для РОБОТА ЯНДЕКСА к определенному файлу (rss.xml, сам файл добавлен через админку), но чтобы остальные запреты не слетели при этом
Здравствуйте.
Для того, чтобы разрешить индексацию данного файла только для робота Яндекс:
Зайдите в админ. панель -> Сайт -> Robots.txt -> Добавьте в конце кода строки:
User-agent: Yandex Allow: /rss.xml
Для разрешения индексации для всех роботов, включая Google, MSN и других вместо User-agent: Yandex пропишите User-agent: *
Более подробно про заполнение Robots.txt Вы можете прочитать здесь.
#3
Отправлено 06 Август 2015 - 22:20
Цитата
Да вот меня там и смутил ряд моментов, в частности...
Цитата
Или там по порядку строк идет выполнение? Типо сначала выполнится запрет для всех роботов, а потом разрешение для Яндекса на доступ к rss.xml?
И вот еще ...
Цитата
Вообщем давайте еще раз, как будет правильно... Сейчас запись такая:
User-agent: * Disallow: /cart Disallow: /order Disallow: /user Disallow: /search Disallow: /compare Host: site.ru Sitemap: http://site.ru/sitemap
Куда и как добавить
User-agent: Yandex
Allow: /rss.xml
#4
Отправлено 07 Август 2015 - 09:56
Cancerva (06 Август 2015 - 22:20) писал:
Или там по порядку строк идет выполнение? Типо сначала выполнится запрет для всех роботов, а потом разрешение для Яндекса на доступ к rss.xml?
И вот еще ...
Вообщем давайте еще раз, как будет правильно... Сейчас запись такая:
User-agent: * Disallow: /cart Disallow: /order Disallow: /user Disallow: /search Disallow: /compare Host: site.ru Sitemap: http://site.ru/sitemap
Куда и как добавить
User-agent: Yandex
Allow: /rss.xml
Здравствуйте.
Данные строки Вы можете расположить, как перед Host, так и в самом конце Robots.txt
#5
Отправлено 07 Август 2015 - 17:21
Firefly (07 Август 2015 - 09:56) писал:
Данные строки Вы можете расположить, как перед Host, так и в самом конце Robots.txt
Проверяю в вебмастере...
Если я правильно понял то при такой записи строки до User-agent: Yandex игнорятся роботом, что неприемлимо...
#6
Отправлено 08 Август 2015 - 09:56
User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
User-agent: Yandex
Allow: /rss.xml
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Host: site.ru
Sitemap: http://site.ru/sitemap
Как вам такой вариант написания? Правильно ли?
#7
Отправлено 08 Август 2015 - 10:53
Cancerva (08 Август 2015 - 09:56) писал:
User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
User-agent: Yandex
Allow: /rss.xml
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Host: site.ru
Sitemap: http://site.ru/sitemap
Как вам такой вариант написания? Правильно ли?
Здравствуйте.
В данном случае User-agent: * запрещает доступ всем роботам к каталогам cart, order, user, search и compare.
Запрещать повторно для робота яндекса доступ к тем же каталогам не имеет смысла, т.к. в первом случае он уже запрещен для всех.
Проверка файла robots.txt при помощи сервиса яндекса будет выделять приоритетной именно запись User-agent: Yandex, если она присутствует.
Попробуйте составить файл robots.txt таким образом:
User-agent: Yandex Allow: /rss.xml User-agent: * Disallow: /cart Disallow: /order Disallow: /user Disallow: /search Disallow: /compare Host: http://site.ru Sitemap: /sitemap
Вместо site.ru пропишите название Вашего сайта.
#8
Отправлено 08 Август 2015 - 14:25
Firefly (08 Август 2015 - 10:53) писал:
В данном случае User-agent: * запрещает доступ всем роботам к каталогам cart, order, user, search и compare.
Запрещать повторно для робота яндекса доступ к тем же каталогам не имеет смысла, т.к. в первом случае он уже запрещен для всех.
Проверка файла robots.txt при помощи сервиса яндекса будет выделять приоритетной именно запись User-agent: Yandex, если она присутствует.
Попробуйте составить файл robots.txt таким образом:
User-agent: Yandex Allow: /rss.xml User-agent: * Disallow: /cart Disallow: /order Disallow: /user Disallow: /search Disallow: /compare Host: http://site.ru Sitemap: /sitemap
Вместо site.ru пропишите название Вашего сайта.
Хех, именно такую запись я и сделал в своем robots.txt когда понадобилось открыть доступ к файлику для Яндекса... В результате через пару недель ЯВебмастер сообщил о проблеме и оказалось что он уже проиндексировал и /cart и /user, заодно выдав кучу ссылок на несуществующие страницы по ссылкам типа add?cart....
Цитата
Так что дую теперь на воду и кстати я уже писал ранее что в справке Яндекса по robots.txt написано
Цитата
Вообщем вопрос остается открытым... Хелп)
#9
Отправлено 08 Август 2015 - 15:01
Cancerva (08 Август 2015 - 14:25) писал:
это он про корзину ...
Так что дую теперь на воду и кстати я уже писал ранее что в справке Яндекса по robots.txt написано
, то есть я так понимаю что директивы Disalow прописанные для User-agent: * Яндексом не учитываются, тоесть игнорируются....
Вообщем вопрос остается открытым... Хелп)
Прошу прощения, уточнил информацию по Вашему вопросу, вариант написания из сообщения выше должен работать, только в нем нужно будет исправить путь к загруженному файлу rss.xml
Найдите строку:
Allow: /rss.xml
Замените ее на:
Allow: /design/rss.xml
Но, так же и без прописанного правила для робота Яндекса данный файл должен проходить индексацию, т.к. в правилах отсутствует запрет на индексирование каталога design.
Если Вы загрузили данный файл недавно, то должно пройти какое-то время (от 2 недель до 1 месяца), пока робот Яндекса увидит и проиндексирует данный файл.
#10
Отправлено 08 Август 2015 - 16:51
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных