Перейти к содержимому


Robots

robots

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 3

#1 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 21 Июль 2014 - 11:26

Здравствуйте, проверьте плиз, корректно ли составлен robots:

User-agent: Yandex
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin
Host: avtodrug66.ru

User-agent: Googlebot
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin

User-agent: Googlebot
Crawl-delay: 30
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin

Sitemap: http://avtodrug66.ru/sitemap.xml

#2 MikDark

MikDark

    Активный участник

  • Модераторы
  • 6 460 сообщений

Отправлено 21 Июль 2014 - 11:33

Просмотр сообщенияmalroz (21 Июль 2014 - 11:26) писал:

Здравствуйте, проверьте плиз, корректно ли составлен robots:

User-agent: Yandex
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin
Host: avtodrug66.ru

User-agent: Googlebot
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin

User-agent: Googlebot
Crawl-delay: 30
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /admin

Sitemap: http://avtodrug66.ru/sitemap.xml

Мы советуем использовать стандартный Robots.txt
User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
[color=#282828][font=helvetica, arial, sans-serif]Sitemap: [/font][/color][url="http://avtodrug66.ru/sitemap.xml"]http://avtodrug66.ru/sitemap.xml[/url][color=#282828][font=helvetica, arial, sans-serif] [/font][/color]

Тот код, который у Вас, он запрещает индексацию только Яндексу и Гугл, но есть и еще много поисковых систем. User-agent: * - применяет инструкции для всех поисковых роботов.

#3 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 21 Июль 2014 - 11:42

User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Host: avtodrug66.ru
Sitemap: http://avtodrug66.ru/sitemap.xml

так пойдет? ни чего больше закрывать не нужно?

#4 MikDark

MikDark

    Активный участник

  • Модераторы
  • 6 460 сообщений

Отправлено 21 Июль 2014 - 12:06

Просмотр сообщенияmalroz (21 Июль 2014 - 11:42) писал:

User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Host: avtodrug66.ru
Sitemap: http://avtodrug66.ru/sitemap.xml

так пойдет? ни чего больше закрывать не нужно?

Да, все нормально





Темы с аналогичным тегами robots

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных