Перейти к содержимому


Дубли Страниц


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 104

#101 metry

metry

    Активный участник

  • Модераторы
  • 847 сообщений

Отправлено 19 Октябрь 2021 - 09:35

Добрый день. На данный момент в разделе Сайт-->Robots.txt вышеуказанная инструкция выполнена только частично:

krd.png

Пожалуйста, зайдите в  разделе Сайт-->Robots.txt и найдите:

# Документация по файлу доступна по адресу:
# http://help.yandex.ru/webmaster/?id=996567

после него вставьте:

# Последующие строки написаны для роботов Yandex
User-agent: Yandex

# Не индексировать корзину
Disallow: /cart
# Не индексировать страницы оформленных заказов
Disallow: /order
# Не индексировать личный кабинет
Disallow: /user
# Не индексировать результаты поиска по сайту
Disallow: /search
# Не индексировать страницу сравнения товаров
Disallow: /compare
# Не индексировать страницу установки cookie файлов на не основных доменах магазина
Disallow: /setcookie
# Не индексировать страницу установки cookie файлов на не основных доменах магазина
Disallow: /favorites

Disallow: /*?from*
Disallow: /*?mod_id*
Disallow: /*?form*
Clean-param: mod_id&from /goods/

Сообщение отредактировал metry: 23 Октябрь 2021 - 11:58


#102 Minna

Minna

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 148 сообщений

Отправлено 19 Октябрь 2021 - 09:41

Если страницы с GET-параметрами в URL являются дублями, Яндекс предлагает решить удаление дублей директивой Clean-param, который укажет роботу Яндекса, что это идентичные страницы и обходить будет только правильный урл. Не нужно дополнительно закрывать директивой Disallow!
Можно собрать все параметры, находящиеся после ?, в записи Clean-param типа: someTrash&otherTrash. Знак & является разделителями между параметрами. [color=#282828"span style="font-size: 10px][font=Yandex Sans Text Web", Arial, Helvetica, sans-serif"span style="font-size: 14px][background=rgb(248, 248, 248)"/goods//span/span/spanspan style="color: #000000"span style="font-family: Yandex Sans Text Web", Arial, Helvetica, sans-serif]) указывать необязательно, в этом случае правило будет применяться для всех страниц сайта.[/background][/font][/color]
Сделайте это именно именно для робота Яндекса.
Смотрите блог Яндекса https://webmaster.ya...t-parametrami/?
и его справку https://yandex.ru/su...tml#clean-param
Рекомендую также воспользоваться инструментом проверки файла robots.txt. Непосредственно в инструменте вы можете корректировать указания и проверять, запрещены или разрешены необходимые вам страницы к индексированию.
Гугл не рекомендует использование файла robots.txt, чтобы скрыть страницу из результатов Google Поиска. Для Гугла нужно поработать search console: Прежние инструменты и отчеты - Параметры URL
Надеюсь была полезна, за сим откланиваюсь...

#103 metry

metry

    Активный участник

  • Модераторы
  • 847 сообщений

Отправлено 19 Октябрь 2021 - 11:07

Просмотр сообщенияMinna (19 Октябрь 2021 - 09:41) писал:

Если страницы с GET-параметрами в URL являются дублями, Яндекс предлагает решить удаление дублей директивой Clean-param, который укажет роботу Яндекса, что это идентичные страницы и обходить будет только правильный урл. Не нужно дополнительно закрывать директивой Disallow!
Можно собрать все параметры, находящиеся после ?, в записи Clean-param типа: someTrash&otherTrash. Знак & является разделителями между параметрами. [color=#282828"span style="font-size: 10px][font=Yandex Sans Text Web", Arial, Helvetica, sans-serif"span style="font-size: 14px][background=rgb(248, 248, 248)"/goods//span/span/spanspan style="color: #000000"span style="font-family: Yandex Sans Text Web", Arial, Helvetica, sans-serif]) указывать необязательно, в этом случае правило будет применяться для всех страниц сайта.[/background][/font][/color]
Сделайте это именно именно для робота Яндекса.
Смотрите блог Яндекса https://webmaster.ya...t-parametrami/?
и его справку https://yandex.ru/su...tml#clean-param
Рекомендую также воспользоваться инструментом проверки файла robots.txt. Непосредственно в инструменте вы можете корректировать указания и проверять, запрещены или разрешены необходимые вам страницы к индексированию.
Гугл не рекомендует использование файла robots.txt, чтобы скрыть страницу из результатов Google Поиска. Для Гугла нужно поработать search console: Прежние инструменты и отчеты - Параметры URL
Надеюсь была полезна, за сим откланиваюсь...

Спасибо за информацию. Инструкцию исправили.

#104 Minna

Minna

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 148 сообщений

Отправлено 19 Октябрь 2021 - 12:14

Просмотр сообщенияmetry (19 Октябрь 2021 - 11:07) писал:

Спасибо за информацию. Инструкцию исправили.
Если есть указания для других роботов, они также должны быть прописаны в разделе для робота яндекса. Иначе Яндекс не будет их обрабатывать.
Исправленный файл из вашего предыдущего сообщения должен выглядеть так:
# Последующие строки написаны для роботов Yandex
User-agent: Yandex
Clean-param: mod_id&from&form

#105 status321

status321

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 357 сообщений

Отправлено 19 Октябрь 2021 - 12:36

Просмотр сообщенияmetry (19 Октябрь 2021 - 09:35) писал:

Добрый день. На данный момент в разделе Сайт-->Robots.txt вышеуказанная инструкция выполнена только частично:

Прикрепленный файл krd.png

Пожалуйста, зайдите в  разделе Сайт-->Robots.txt и найдите:

# Документация по файлу доступна по адресу:
# http://help.yandex.ru/webmaster/?id=996567

после него вставьте:

# Последующие строки написаны для роботов Yandex
User-agent: Yandex
Disallow: /*?from*
Disallow: /*?mod_id*
Disallow: /*?form*
Clean-param: mod_id&from /goods/
Спасибо.Посмотрим что будет.




Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных