Здравствуйте, проверьте плиз, корректно ли составлен robots:
User-agent: Yandex
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin
Host: avtodrug66.ru
User-agent: Googlebot
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin
User-agent: Googlebot
Crawl-delay: 30
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin
Sitemap: http://avtodrug66.ru/sitemap.xml
1
Сообщений в теме: 3
#1
Отправлено 21 Июль 2014 - 11:26
#2
Отправлено 21 Июль 2014 - 11:33
malroz (21 Июль 2014 - 11:26) писал:
Здравствуйте, проверьте плиз, корректно ли составлен robots:
User-agent: Yandex
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin
Host: avtodrug66.ru
User-agent: Googlebot
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin
User-agent: Googlebot
Crawl-delay: 30
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin
Sitemap: http://avtodrug66.ru/sitemap.xml
User-agent: Yandex
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin
Host: avtodrug66.ru
User-agent: Googlebot
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin
User-agent: Googlebot
Crawl-delay: 30
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin
Sitemap: http://avtodrug66.ru/sitemap.xml
Мы советуем использовать стандартный Robots.txt
User-agent: * Disallow: /cart Disallow: /order Disallow: /user Disallow: /search Disallow: /compare [color=#282828][font=helvetica, arial, sans-serif]Sitemap: [/font][/color][url="http://avtodrug66.ru/sitemap.xml"]http://avtodrug66.ru/sitemap.xml[/url][color=#282828][font=helvetica, arial, sans-serif] [/font][/color]
Тот код, который у Вас, он запрещает индексацию только Яндексу и Гугл, но есть и еще много поисковых систем. User-agent: * - применяет инструкции для всех поисковых роботов.
#3
Отправлено 21 Июль 2014 - 11:42
User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Host: avtodrug66.ru
Sitemap: http://avtodrug66.ru/sitemap.xml
так пойдет? ни чего больше закрывать не нужно?
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Host: avtodrug66.ru
Sitemap: http://avtodrug66.ru/sitemap.xml
так пойдет? ни чего больше закрывать не нужно?
#4
Отправлено 21 Июль 2014 - 12:06
malroz (21 Июль 2014 - 11:42) писал:
User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Host: avtodrug66.ru
Sitemap: http://avtodrug66.ru/sitemap.xml
так пойдет? ни чего больше закрывать не нужно?
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Host: avtodrug66.ru
Sitemap: http://avtodrug66.ru/sitemap.xml
так пойдет? ни чего больше закрывать не нужно?
Да, все нормально
Темы с аналогичным тегами robots
Повышение продаж, продвижение →
SEO →
Robots Txt,Автор Гость_Dmitry_G_* , 15 окт. 2020 SEO, Robots |
|
|||
Вопросы работы сервиса StoreLand →
Дизайн →
Шаблон Лето →
В Файле Robots.txt Задана Противоречивая Директива HostАвтор Гость_polosatoff_* , 23 февр. 2016 host, robots |
|
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных