Перейти к содержимому


Блокировка Индексирования Страниц В Гугл


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 4

#1 Милый Мишка

Милый Мишка

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 247 сообщений
  • ГородНижний Новгород

Отправлено 27 Февраль 2019 - 13:08

Добрый день. Аккаунт SL-283354

В отчете Гугл об индексации моего сайта указано огромное количество страниц сайта (несколько тысяч лишних страниц), проиндексированных, несмотря на запрет в robots.txt.
Это страницы вида:
- с окончаниями вида ?mod_id=
- содержащими в адресе favorites/add?id
- содержащими в адресе compare/add?id=
- содержащими в адресе cart/add/?hash


И Гугл пишет: Страница была проиндексирована, несмотря на блокировку файлом robots.txt (Google всегда следует предписаниям этого файла, однако если на других сайтах есть ссылки на вашу страницу, то robots.txt не поможет). Файл robots.txt не является корректным способом избежать индексирования. Чтобы страница не индексировалась, необходимо использовать тег noindex.

Но! Также Гугл поясняет, что Поисковый робот не обнаружит директиву noindex, если страница заблокирована в файле robots.txt. Такая страница может быть представлена в результатах поиска (например, если на нее есть ссылка на другой странице).

То есть, поскольку указанные страницы заблокированы в robots.txt, добавление тега noindex не вариант.
Но убрать эти страницы из robots.txt тоже не могу - их тогда проиндексирует Яндекс.

Подскажите, пожалуйста, что нужно сделать.

#2 Милый Мишка

Милый Мишка

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 247 сообщений
  • ГородНижний Новгород

Отправлено 04 Март 2019 - 10:49

Ответ будет?

#3 Vaccina

Vaccina

    Активный участник

  • Модераторы
  • 24 353 сообщений

Отправлено 05 Март 2019 - 02:35

Здравствуйте.

Зайдите в раздел Сайт - Robots.txt - найдите:
# Не индексировать
Disallow: */?goods_search_field_id=*
# Не индексировать
Disallow: /*?

после него вставьте:
User-agent: Googlebot
Disallow: /*?
Disallow: /*page=
Disallow: /*?mod_id=


#4 Милый Мишка

Милый Мишка

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 247 сообщений
  • ГородНижний Новгород

Отправлено 05 Март 2019 - 19:48

Если еще раз перечитать мой первый пост, там указал, что Гугл пишет - страницы уже заблокированы в robots. И проиндексированы, несмотря на блокировку в файле robots.txt.
Гугл говорит о том, что в даном случае блокировка в robots не вариант. И выходом может быть проставление в коде тега noindex.
Тех поддержка Storeland дала инструкцию, по которой данный тег вставляется с ошибкой -  а именно, ошибка в коде обозначается напротив тега /noindex. Я тогда данный тег проставил в виде --noindex-- и --/noindex--. Все в скобках. Где-то на форумах прочитал о таком варианте проставления тега. Но не знаю, правильно ли сделал.

Пока в Гугл количество дублей меньше не стало.

Нет ли еще каких вариантов избавления от дублирования именно в Гугл, в тч, правильного проставления noindex.

#5 MilanDI

MilanDI

    Пользователь

  • Пользователи
  • PipPip
  • 10 сообщений

Отправлено 27 Март 2019 - 16:16

странно, что так происходит




Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных