Сообщений в теме: 6

[August2]

Куча страниц из корзины не проиндексированы, но загружены



Что прописать в robots.txt, чтобы робот яндекса не страдал ерундой?


Фаел роботов

User-agent: *
# Не индексировать корзину
Disallow: /cart
# Не индексировать страницы оформленных заказов
Disallow: /order
# Не индексировать личный кабинет
Disallow: /user
# Не индексировать результаты поиска по сайту
Disallow: /search
# Не индексировать страницу сравнения товаров
Disallow: /compare
# Информация о том где находится карта сайта
Sitemap: http://sitename.ru/sitemap

[miyako]

August2 (13 Июль 2013 - 13:41) писал:

Куча страниц из корзины не проиндексированы, но загружены



Что прописать в robots.txt, чтобы робот яндекса не страдал ерундой?


Фаел роботов

User-agent: *
# Не индексировать корзину
Disallow: /cart
# Не индексировать страницы оформленных заказов
Disallow: /order
# Не индексировать личный кабинет
Disallow: /user
# Не индексировать результаты поиска по сайту
Disallow: /search
# Не индексировать страницу сравнения товаров
Disallow: /compare
# Информация о том где находится карта сайта
Sitemap: http://sitename.ru/sitemap

В роботе у Вас запрет на индексировании корзины -

# Не индексировать корзину
Disallow: /cart

Не совсем понятно зачем Вам нужно индексировать корзину?

[August2]

Дык я не хочу, чтобы робот загружал эти страницы! Как сделать, чтобы он вообще их не различал?

[support]

August2 (13 Июль 2013 - 23:59) писал:

Дык я не хочу, чтобы робот загружал эти страницы! Как сделать, чтобы он вообще их не различал?

Возможно поможет вставить ref="nofollow", но он на самом деле на них смотрит лишь в рекомендательных целях, мы бы и сами рады, чтобы поисковик отключил постоянные запросы на добавление товаров в корзину, они генерят порядка 10-15 запросов ежесекундно по этому модулю. Простые методы с запретом индексаций и переходов не помогают

[Nogami]

Такая же ситуация, в файле роботс запретил индексирование корзины, но вебмастер показывает постоянный рост загрузки страниц cart/ и насколько я понимаю данный факт отрицательно влияет на общае позиции сайта в поисковой системе ?

[Сake]

У вас наблюдается поисковая выдача страницы корзины? Правила указанные в файле robots.txt не запрещают поисковому роботу посещать данные страницы. Правила лишь просят поискового робота не индексировать содержимое и не использовать его в качестве выдачи. Если у вас используются счетчики на странице (метрика и т.д), то активность будет наблюдаться в любом случае, так как пользователи переходят в раздел корзины при оформлении заказа - что собственно в панели веб-мастера и регистрируется.

[Nogami]

Понятно..