Перейти к содержимому


Документ Запрещен В Файле Robots.txt


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 33

#21 Котуся

Котуся

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 118 сообщений

Отправлено 20 Май 2016 - 10:05

Нет, почему страницы так долго не индексируются. Домен старый 6.5 лет. Может со страницами что не так?

#22 MikDark

MikDark

    Активный участник

  • Модераторы
  • 6 468 сообщений

Отправлено 20 Май 2016 - 11:36

Просмотр сообщенияКотуся (20 Май 2016 - 10:05) писал:

Нет, почему страницы так долго не индексируются. Домен старый 6.5 лет. Может со страницами что не так?

К сожалению, ответ на это знают только сами разработчики поисковых систем. Обычно чем сайт популярнее и чем больше на него народу заходит, тем индексация быстрее. Еще влияет скорость смены контента. Если у Вас часто появляется новые контент, то поисковик видит это и старается более часто заходить. Если у Вас сайт с одной и той же информацией висит длительное время без обновлений, то поисковик не сочтет нужным его столь часто посещать.

#23 Котуся

Котуся

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 118 сообщений

Отправлено 20 Май 2016 - 11:46

в том то и дело, что сайт делается до сих пор, и на него постоянно что то добавляется, а после последнего апа в индекс попало только 60 с небольшим страниц, а в гугле 900.

#24 support 2.0

support 2.0

    Активный участник

  • Модераторы
  • 4 950 сообщений

Отправлено 23 Май 2016 - 14:51

Просмотр сообщенияКотуся (20 Май 2016 - 11:46) писал:

в том то и дело, что сайт делается до сих пор, и на него постоянно что то добавляется, а после последнего апа в индекс попало только 60 с небольшим страниц, а в гугле 900.
Здравствуйте, извините за долгий ответ. В нашей системе Вы зарегистрировали интернет-магазина 17.03.16. В этом случае, если Ваш сайт уже работал с этим доменом, но на другом движке и Вам хотелось бы сохранить позиции в поисковой выдаче, то необходимо в разделе Сайт -> Редиректы -> прописать старые ссылки на сайт (предыдущего движка) и новые ссылки (с нашего движка). У Вас скорее всего раньше по-другому выглядели ссылки на товары, страницы с новостями и прочее. Если Вы это не сделали, то поисковик не найдя рабочими те ссылки поставить у них 404 ошибку и в скором времени эти ссылки удаляются из поисковой выдачи. Таким образом, сайт начинает терять позиции. В разделе Редиректы Вашего сайта я не увидела старые ссылки измененные на новые. Вероятно, это и послужило причиной тому, что сайт потерял позиции. Поисковик начал индексацию Вашего сайта с этим же доменом заново, т.е. для него это как новый зарегистрированный адрес.
Домену может быть и 10 лет. но если он не использовался, то для поисковика это будет как новый адрес.

Также не видела у Вас настроенное сео для сайта. Пропишите для топовых товаров ключевые слова и пару предложений в описании с этими ключевыми словами. Позиции ссылок данных товаров заметно поднимутся, если правильно оформить эти предложения. Так же расположите на сайте пару статей с тематикой по Вашим товарам. Например, как выбрать качественную фанеру, как ее проверить на качество, какой материал для каких работ больше подходит и т.п. Эти статьи будут выходить в поисковике по соответствующим запросам, но при этом эти пользователи будут сразу попадать на Ваш интернет-магазин и смогут тут же и понять как выбрать нужный материал и купить его на одном сайте.

#25 Котуся

Котуся

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 118 сообщений

Отправлено 23 Май 2016 - 16:34

Спасибо за ответ. Теперь хоть какое то понимание появилось.

#26 status321

status321

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 497 сообщений

Отправлено 01 Январь 2019 - 11:01

Доброе утро.С Новым Годом. У меня возникла проблема,при проверке мой домен/robots.txt. пишет страница не найдена внутренняя ошибка сервера.Как это исправить?

#27 Vaccina

Vaccina

    Активный участник

  • Модераторы
  • 24 353 сообщений

Отправлено 03 Январь 2019 - 09:25

Здравствуйте.

Файл robots.txt доступен по ссылке: https://site.ru/robots.txt
Вместо site.ru ваш домен.

#28 Новичок Ю

Новичок Ю

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 326 сообщений

Отправлено 24 Июнь 2020 - 11:21

Добрый день! В вебмастер пришло уведомление по статусу "важных" страниц.
Старый статус: В поиске Новый статус: Запрет в robots.txt (страница).
Мне кажется, сайт выпал из индекса. Помогите, пожалуйста. Что это значит? В чем может быть проблема? В робот ТХТ изменений не вносила. Спасибо!!!

#29 ID.Repin

ID.Repin

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 78 сообщений
  • ГородРязань

Отправлено 25 Июнь 2020 - 14:04

Добрый день. Аналогичная ситуация. Акк SL-380057 22 мая, все страницы (в вебмастере написано 5487 штук) выпали из поиска. Изменений в robots.txt  не вносил.

#30 metry

metry

    Активный участник

  • Модераторы
  • 884 сообщений

Отправлено 25 Июнь 2020 - 14:28

Добрый день. Вам необходимо в Яндекс.Вебмастер файл robots.txt в разделе Инструменты-->Анализ robots.txt  и файл Sitemap в разделе Индексирование-->Файлы Sitemap отправить на переобход. После сканирования ошибка пропадет.

photo_2020-06-25_14-18-19.jpg   sitemap.png

#31 status321

status321

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 497 сообщений

Отправлено 03 Октябрь 2021 - 21:43

Добрый вечер.Гугл ругается на запрет в robots.txt. Фото прикрепил.

Прикрепленные изображения

  • Безымянный.png


#32 status321

status321

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 497 сообщений

Отправлено 23 Октябрь 2021 - 09:05

Доброе утро в robots.txt стоит запрет ни индексирование корзины:# Не индексировать корзину
Disallow: /cart,прикрепил фото поясните что это?

Прикрепленные изображения

  • Безымянный.png


#33 metry

metry

    Активный участник

  • Модераторы
  • 884 сообщений

Отправлено 23 Октябрь 2021 - 11:56

Для Яндекса необходимо продублировать директивы которые написаны для общего робота, поэтому в разделе Сайт-->Robots.txt найдите:

# Последующие строки написаны для роботов Yandex
User-agent: Yandex
Disallow: /*?from*
Disallow: /*?mod_id*
Disallow: /*?form*
Clean-param: mod_id&from /goods/

замените на:

# Последующие строки написаны для роботов Yandex
User-agent: Yandex

# Не индексировать корзину
Disallow: /cart
# Не индексировать страницы оформленных заказов
Disallow: /order
# Не индексировать личный кабинет
Disallow: /user
# Не индексировать результаты поиска по сайту
Disallow: /search
# Не индексировать страницу сравнения товаров
Disallow: /compare
# Не индексировать страницу установки cookie файлов на не основных доменах магазина
Disallow: /setcookie
# Не индексировать страницу установки cookie файлов на не основных доменах магазина
Disallow: /favorites

Disallow: /*?from*
Disallow: /*?mod_id*
Disallow: /*?form*
Clean-param: mod_id&from /goods/

Сообщение отредактировал metry: 23 Октябрь 2021 - 11:59


#34 status321

status321

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 497 сообщений

Отправлено 23 Октябрь 2021 - 12:52

Спасибо




Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных