metry (19 Октябрь 2021 - 11:07) писал:

Если есть указания для других роботов, они также должны быть прописаны в разделе для робота яндекса. Иначе Яндекс не будет их обрабатывать.
Исправленный файл из вашего предыдущего сообщения должен выглядеть так:
# Последующие строки написаны для роботов Yandex
User-agent: Yandex
Clean-param: mod_id&from&form

Если страницы с GET-параметрами в URL являются дублями, Яндекс предлагает решить удаление дублей директивой Clean-param, который укажет роботу Яндекса, что это идентичные страницы и обходить будет только правильный урл. Не нужно дополнительно закрывать директивой Disallow!
Можно собрать все параметры, находящиеся после ?, в записи Clean-param типа: someTrash&otherTrash. Знак & является разделителями между параметрами. [color=#282828"span style="font-size: 10px][font=Yandex Sans Text Web", Arial, Helvetica, sans-serif"span style="font-size: 14px][background=rgb(248, 248, 248)"/goods//span/span/spanspan style="color: #000000"span style="font-family: Yandex Sans Text Web", Arial, Helvetica, sans-serif]) указывать необязательно, в этом случае правило будет применяться для всех страниц сайта.[/background][/font][/color]
Сделайте это именно именно для робота Яндекса.
Смотрите блог Яндекса https://webmaster.ya...t-parametrami/?
и его справку https://yandex.ru/su...tml#clean-param
Рекомендую также воспользоваться инструментом проверки файла robots.txt. Непосредственно в инструменте вы можете корректировать указания и проверять, запрещены или разрешены необходимые вам страницы к индексированию.
Гугл не рекомендует использование файла robots.txt, чтобы скрыть страницу из результатов Google Поиска. Для Гугла нужно поработать search console: Прежние инструменты и отчеты - Параметры URL
Надеюсь была полезна, за сим откланиваюсь...