Перейти к содержимому


Документ Запрещен В Файле Robots.txt


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 26

#1 pilot

pilot

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 170 сообщений

Отправлено 05 Февраль 2014 - 07:21

Вебмастер говорит, что таких страниц у меня на сайте уже больше 12-ти тысяч, и каждый раз увеличивается. Посмотрел - это все корзина, причем одна и та же пустая страница. Как-то мне кажется то это не совсем гуд. посмотрите пожалуйста аккаунт SL-197762  


#2 Сake

Сake

    Активный участник

  • Модератоpы
  • 5 979 сообщений

Отправлено 06 Февраль 2014 - 01:52

В вашем файле robots.txt заданы корректные записи. Корзину поисковому роботу нет смысла индексировать, так как там могут находиться как персональные данные, так и данные для продвижения попросту отсутствовать. Аналогичная ситуация и с адресом заказа. Подобные адреса должны быть закрыты от поисковой индексации.

#3 pilot

pilot

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 170 сообщений

Отправлено 06 Февраль 2014 - 09:57

Я понимаю, что корзину индексировать не нужно. Вопрос в другом - робот видит на сайте больше 12-ти тысяч страниц с этой корзиной. Это нормально, такое количество страниц? У меня товаров то и сотни нет, заказов и подавно.

#4 Сake

Сake

    Активный участник

  • Модератоpы
  • 5 979 сообщений

Отправлено 07 Февраль 2014 - 01:43

Возможно у вас имеются ссылки на страницу корзины, а так же в качестве кнопок добавления товара в корзину используется ссылка /cart/add. Если да, то это нормально и ничего страшного в таком числе дублей нет. Так же у вас может быть и большое число дублей страниц /order/info в зависимости от числа заказов в вашем магазине.

#5 Scor

Scor

    Новичок

  • Пользователи
  • Pip
  • 3 сообщений

Отправлено 11 Февраль 2014 - 09:37

Просмотр сообщенияpilot (05 Февраль 2014 - 07:21) писал:

Вебмастер говорит, что таких страниц у меня на сайте уже больше 12-ти тысяч, и каждый раз увеличивается. Посмотрел - это все корзина, причем одна и та же пустая страница. Как-то мне кажется то это не совсем гуд. посмотрите пожалуйста аккаунт SL-197762  

Можете показать пжлста ссылку на роботс.txt или привести текст его здесь? Проанализирую и скажу точно.

#6 pilot

pilot

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 170 сообщений

Отправлено 12 Февраль 2014 - 07:27

# Документация по файлу доступна по адресу:
# http://help.yandex.r...ster/?id=996567

# Последующие строки написаны для всех роботов
User-agent: *
# Не индексировать корзину
Disallow: /cart
# Не индексировать страницы оформленных заказов
Disallow: /orderров
Disallow: /compare
# Информация о том где находится карта сайта
Sitemap: http://xn--80adffphm...n--p1ai/sitemap
# Не индексировать личный кабинет
Disallow: /user
# Не индексировать результаты поиска по сайту
Disallow: /search
# Не индексировать страницу сравнения това

#7 pilot

pilot

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 170 сообщений

Отправлено 20 Февраль 2014 - 08:36


Scor  Вы здесь?


#8 Castiel

Castiel

    Активный участник

  • Модераторы
  • 3 519 сообщений
  • ГородНижний Новгород

Отправлено 22 Февраль 2014 - 09:24

Просмотр сообщенияScor (11 Февраль 2014 - 09:37) писал:

Можете показать пжлста ссылку на роботс.txt или привести текст его здесь? Проанализирую и скажу точно.

Стандартный robot.txt используемый для наших магазинов
# Документация по файлу доступна по адресу:
# http://help.yandex.ru/webmaster/?id=996567
# Последующие строки написаны для всех роботов
User-agent: *
# Не индексировать корзину
Disallow: /cart
# Не индексировать страницы оформленных заказов
Disallow: /order
# Не индексировать личный кабинет
Disallow: /user
# Не индексировать результаты поиска по сайту
Disallow: /search
# Не индексировать страницу сравнения товаров
Disallow: /compare
# Информация о том где находится карта сайта
Sitemap: http://yoursite.ru/sitemap


#9 Наталья11111

Наталья11111

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 397 сообщений

Отправлено 19 Июль 2014 - 18:19

День добрый!
У меня такая же проблема. . Документ запрещен  и выдает количество ошибок - 1204. Как это поправить?

#10 MikDark

MikDark

    Активный участник

  • Модераторы
  • 6 345 сообщений

Отправлено 19 Июль 2014 - 18:27

Просмотр сообщенияНаталья11111 (19 Июль 2014 - 18:19) писал:

День добрый!
У меня такая же проблема. . Документ запрещен  и выдает количество ошибок - 1204. Как это поправить?

У нас закрыты от индексации страницы пользователей, корзины, заказов и т.д. Вероятно он сообщает об ошибках при попытке обработать эти страницы.

#11 Наталья11111

Наталья11111

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 397 сообщений

Отправлено 19 Июль 2014 - 18:45

То есть этим не нужно заморачиваться?

#12 batta

batta

    Активный участник

  • Модератоpы
  • 1 142 сообщений
  • ГородНижний Новгород

Отправлено 19 Июль 2014 - 18:51

Просмотр сообщенияНаталья11111 (19 Июль 2014 - 18:45) писал:

То есть этим не нужно заморачиваться?
Здравствуйте.
Да можете не обращать внимания.

#13 Котуся

Котуся

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 118 сообщений

Отправлено 16 Май 2016 - 15:25

День добрый!

Веб мастер выдает тоже самое, но у меня другая проблема. Был перенос старого престарого сайта на Ваш движок. Гугл проиндексировал страницы сразу же, а с яндексом беда - в поиске 30 страниц, из них половина со старого сайта.
Как закрыть для индексации старые страницы и как то разобраться с причиной неиндексирования новых.

Вот robots.txt

# Документация по файлу доступна по адресу:
# http://help.yandex.r...ster/?id=996567

# Последующие строки написаны для всех роботов
User-agent: *
# Главное зеркало сайта
Host: fanera003.ru
# Не индексировать корзину
Disallow: /cart
# Не индексировать страницы оформленных заказов
Disallow: /order
# Не индексировать личный кабинет
Disallow: /user
# Не индексировать результаты поиска по сайту
Disallow: /search
# Не индексировать страницу сравнения товаров
Disallow: /compare
# Не индексировать страницу установки cookie файлов на не основных доменах магазина
Disallow: /setcookie
# Не индексировать страницу установки cookie файлов на не основных доменах магазина
Disallow: /favorites
# Информация о том где находится карта сайта
Sitemap: http://fanera003.ru/sitemap

#14 Юля123

Юля123

    Активный участник

  • Модератоpы
  • 2 567 сообщений

Отправлено 17 Май 2016 - 11:06

Просмотр сообщенияКотуся (16 Май 2016 - 15:25) писал:

День добрый!

Веб мастер выдает тоже самое, но у меня другая проблема. Был перенос старого престарого сайта на Ваш движок. Гугл проиндексировал страницы сразу же, а с яндексом беда - в поиске 30 страниц, из них половина со старого сайта.
Как закрыть для индексации старые страницы и как то разобраться с причиной неиндексирования новых.

Вот robots.txt

# Документация по файлу доступна по адресу:
# http://help.yandex.r...ster/?id=996567

# Последующие строки написаны для всех роботов
User-agent: *
# Главное зеркало сайта
Host: fanera003.ru
# Не индексировать корзину
Disallow: /cart
# Не индексировать страницы оформленных заказов
Disallow: /order
# Не индексировать личный кабинет
Disallow: /user
# Не индексировать результаты поиска по сайту
Disallow: /search
# Не индексировать страницу сравнения товаров
Disallow: /compare
# Не индексировать страницу установки cookie файлов на не основных доменах магазина
Disallow: /setcookie
# Не индексировать страницу установки cookie файлов на не основных доменах магазина
Disallow: /favorites
# Информация о том где находится карта сайта
Sitemap: http://fanera003.ru/sitemap


Здравствуйте, Вы можете прислать пример ссылок со старого сайта, которые были проиндексированы и прикрепить скриншот с проиндексированными и исключенными страницами?

#15 Котуся

Котуся

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 118 сообщений

Отправлено 17 Май 2016 - 17:46

Добрый день!

Ссылки со старого сайта вот такого вида
fanera003.ru/page13/


fanera003.ru/page13/

#16 Юля123

Юля123

    Активный участник

  • Модератоpы
  • 2 567 сообщений

Отправлено 18 Май 2016 - 09:27

Просмотр сообщенияКотуся (17 Май 2016 - 17:46) писал:

Добрый день!

Ссылки со старого сайта вот такого вида
fanera003.ru/page13/


fanera003.ru/page13/

Как давно была индексация Вашего сайта?

#17 Котуся

Котуся

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 118 сообщений

Отправлено 18 Май 2016 - 14:45

вчера, в поиск добавилось еще 33 страницы

итого 69

#18 Ирина345

Ирина345

    Активный участник

  • Модераторы
  • 5 673 сообщений

Отправлено 19 Май 2016 - 17:30

Просмотр сообщенияКотуся (18 Май 2016 - 14:45) писал:

вчера, в поиск добавилось еще 33 страницы

итого 69
Здравствуйте, уточните как давно Вы перенесли домен на новый магазин. Что бы старые ссылки ушли необходимо дождаться полной индексации сайта.

#19 Котуся

Котуся

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 118 сообщений

Отправлено 20 Май 2016 - 09:00

Добрый день!

Домен перенесла на сторланд где то в середине апреля. Потом вебмастер еще долгое время ставил главным зеркалом старый сайт с доменом www.
Буквально с неделю зеркала поменялись.

#20 MikDark

MikDark

    Активный участник

  • Модераторы
  • 6 345 сообщений

Отправлено 20 Май 2016 - 09:43

Просмотр сообщенияКотуся (20 Май 2016 - 09:00) писал:

Добрый день!

Домен перенесла на сторланд где то в середине апреля. Потом вебмастер еще долгое время ставил главным зеркалом старый сайт с доменом www.
Буквально с неделю зеркала поменялись.

Вам нужно вернуть, чтобы главным был домен с www?




Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных