Перейти к содержимому


Дубли Страниц


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 104

#1 wild_mind

wild_mind

    Новичок

  • Пользователи
  • Pip
  • 5 сообщений

Отправлено 08 Апрель 2011 - 11:40

Подскажите, пожалуйста, как справляться с дублями страниц. Создал товары, которые надо поместить в несколько категорий(для облегчения поиска). Яша проиндексировал, в результате, у меня по 7 дублей товара. Насколько я знаю, подобное явно негативно повлияет на продвижение :(

#2 support

support

    Активный участник

  • Модераторы
  • 3 686 сообщений
  • ГородМосква

Отправлено 08 Апрель 2011 - 14:11

Рассмотрим на примере, почему это происходит.
Например Вы продаёте телефоны и у Вас среди сотен категорий есть 3 категории:
  • Nokia
  • Телефоны от 1000 до 2000 руб
  • Сотовые телефоны

А так же у Вас есть товар "Сотовый телефон NOKIA" за 1500 рублей. Вы естественно размещаете его в этих 3х категориях.

Далее пользователь бродит по вашему сайту, заходит в категорию "Nokia" и нажимает на товар "Сотовый телефон NOKIA". Какая категория должна гореть выделенной? Естественно та, с которой пришёл пользователь, поэтому у пользователя в списке категорий получится такая картина:
  • Nokia
  • Телефоны от 1000 до 2000 руб
  • Сотовые телефоны

Для второго случая, пользователь ходит по категории "Сотовые телефоны" и опять же нажал на товар "Сотовый телефон NOKIA". В этом случае должна быть выделена другая категория, чтобы не путать посетителя, вот так:
  • Nokia
  • Телефоны от 1000 до 2000 руб
  • Сотовые телефоны

Для того чтобы такая логика работала и пользователю отображалась именно та категория в которой он находится используется эта пресловутая переменная from в которой передается код категории. Из-за этого возникает несколько дублей страницы товара, но согласитесь, это лучше для пользователя, когда он не путается, чем определение поисковой системы зеркал. Если разместить товар в одной категории, то переменная from не будет появляться в адресе и для адреса страницы будет использоваться один "правильный" адрес.

Т.е варианта тут получилось 2:
  • думать об удобстве пользователя,
  • либо думать об индексации поисковика и о том склеет ли он правильно страницы или нет.

Лично моё мнение что поисковик страницы со временем склеит, и в этом ничего страшного нет, лишь бы пользователю было удобно. Поисковику ведь и эту логику можно объяснить, тем более что есть варианты решения, с запрещением индексации страниц с текстом в адресе страницы: "?from=" например через robots.txt. Работа в нашей панели управления с файлом robotx.txt производится в разделе "Сайт" > "Robots.txt" только будьте с этой настройкой поосторожней.

Описание принципов работы Robots.txt на Яндекс.Вебмастере, и информация о Robotx.txt на Википедии

#3 pasha00

pasha00

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 143 сообщений

Отправлено 17 Апрель 2011 - 19:04

На самом деле проблема не в том, что поисковики "неправильно склеют дубли", а в том, что поисковики в принципе к дублям относятся негативно, и могут наложить санкции на сайт.
К тому же, вариант с запрещением в robots ?from не совсем удачный, т.к. закроются от индексации все адреса, ведущие на данный товар - т.к. адреса без ?from на этот товар нет на сайте.
Поэтому этот вопрос может быть очень важным, и хотелось бы иметь возможность выключать применение ?from

#4 Bardin

Bardin

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 700 сообщений
  • ГородМосква

Отправлено 17 Апрель 2011 - 22:06

Просмотр сообщенияpasha00 (17 Апрель 2011 - 19:04) писал:

На самом деле проблема не в том, что поисковики "неправильно склеют дубли", а в том, что поисковики в принципе к дублям относятся негативно, и могут наложить санкции на сайт.
К тому же, вариант с запрещением в robots ?from не совсем удачный, т.к. закроются от индексации все адреса, ведущие на данный товар - т.к. адреса без ?from на этот товар нет на сайте.
Поэтому этот вопрос может быть очень важным, и хотелось бы иметь возможность выключать применение ?from

Согласен дубли очень сильно мешают продвижению

#5 support

support

    Активный участник

  • Модераторы
  • 3 686 сообщений
  • ГородМосква

Отправлено 19 Апрель 2011 - 21:32

Просмотр сообщенияpasha00 (17 Апрель 2011 - 19:04) писал:

хотелось бы иметь возможность выключать применение ?from
Создайте пожалуйста задачу на реформале: storeland.reformal.ru , во внутреннем задачнике задачу продублировал

#6 pasha00

pasha00

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 143 сообщений

Отправлено 20 Май 2011 - 15:09

Просмотр сообщенияsupport (19 Апрель 2011 - 21:32) писал:

Создайте пожалуйста задачу на реформале: storeland.reformal.ru , во внутреннем задачнике задачу продублировал
А как можно будет узнать о внедрении данного изменения? Есть ли какие-нибудь новости о нововведениях?

#7 support

support

    Активный участник

  • Модераторы
  • 3 686 сообщений
  • ГородМосква

Отправлено 23 Май 2011 - 19:45

Просмотр сообщенияpasha00 (20 Май 2011 - 15:09) писал:

А как можно будет узнать о внедрении данного изменения? Есть ли какие-нибудь новости о нововведениях?
1) Функциональные изменения, если это что-то новое, то мы пишем на главной.
2) Если это ошибка, то отвечаем тому кто заметил
3) Если это улучшение удобства того или иного раздела, например есть задача:
При указании в настройках использования тех или иных путей для товаров/страниц/категорий выдавать уведомление на странице  товара/страницы/категории о том что изменив путь к товару он не изменится из-за настроек магазина в разделе "Настройки" > "Основные"
О таких нововведения мы не пишем.
4) Если мы оптимизируем тот или иной раздел и он стал работать в 2-3 раза быстрее чем прежде, то об этом мы не пишем. Если конечно в 20 раз ускорим работу всего магазина то напишем обязательно, но это наверное исключение из правил :)
5) О нововведениях в системе безопасности, ядре системы и прочих "не видимых" вещах мы не пишем.

В случае с переменной &from мы пока задачу не решили, ибо до сих пор так и не понятно какую категорию отображать пользователю если товар лежит в 2х и более категориях, с точки зрения пользователя точность навигации важнее. Дельного решения пока никто не предложил.

Задачу склеивания и установки 301 редиректа с shop.storeland.ru на shop.ru мы решили доработкой раздела "Настройки" > "Домены", теперь это делается еще проще, всего одним кликом по галочке "Перекидывать на основной домен"

#8 pasha00

pasha00

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 143 сообщений

Отправлено 27 Май 2011 - 09:28

Просмотр сообщенияsupport (23 Май 2011 - 19:45) писал:

В случае с переменной &from мы пока задачу не решили, ибо до сих пор так и не понятно какую категорию отображать пользователю если товар лежит в 2х и более категориях, с точки зрения пользователя точность навигации важнее. Дельного решения пока никто не предложил.
Решение данного вопроса предложил Яндекс: http://webmaster.ya....l?item_no=10371
Использование атрибута canonical позволит и пользовательскую навигацию оставить как есть, и сообщить поисковикам, какая страница является "канонической". Т.о. необходимо для "основной" страницы (которая в адресе не имеет form) установить атрибут canonical, а для остальных страниц этот атрибут не устанавливать.

#9 support

support

    Активный участник

  • Модераторы
  • 3 686 сообщений
  • ГородМосква

Отправлено 27 Май 2011 - 13:30

Просмотр сообщенияpasha00 (27 Май 2011 - 09:28) писал:

Решение данного вопроса предложил Яндекс: http://webmaster.ya....l?item_no=10371
Использование атрибута canonical позволит и пользовательскую навигацию оставить как есть, и сообщить поисковикам, какая страница является "канонической". Т.о. необходимо для "основной" страницы (которая в адресе не имеет form) установить атрибут canonical, а для остальных страниц этот атрибут не устанавливать.
Да, довольно удобное решение проблемы, записали в задачник

#10 pasha00

pasha00

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 143 сообщений

Отправлено 31 Май 2011 - 16:35

Просмотр сообщенияsupport (27 Май 2011 - 13:30) писал:

Да, довольно удобное решение проблемы, записали в задачник
А появится ли это решение в уже действующих магазинах автоматически? Или только при установке нового магазина?

#11 support

support

    Активный участник

  • Модераторы
  • 3 686 сообщений
  • ГородМосква

Отправлено 14 Июнь 2011 - 17:28

Просмотр сообщенияpasha00 (31 Май 2011 - 16:35) писал:

А появится ли это решение в уже действующих магазинах автоматически? Или только при установке нового магазина?
В дополнение к решению задачи мы обновили все стандартные шаблоны в галерее тем, а в этой ветке выложим небольшую инструкцию по решению данной проблемы. Для старых шаблонов в разделе "Сайт" > "Редактор тем" шаблон "html" в теге <head> вставляем следующий код:
  <!-- SEO параметр определяющий главную страницу для фильтрации её дублей -->
  {% IF PAGE_CANONICAL %}
	<link rel="canonical" href="{PAGE_CANONICAL}" />
  {% ENDIF %}
И на странице товара будет отображаться правильное значение адреса, как просит яндекс в указанной статье.

Итоговое начало файла html у меня получилось такое:
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ru" lang="ru">
<head>
  <title>{PAGE_TITLE}</title>
  <meta name="keywords" content="{PAGE_META_KEYWORDS}" />
  <meta name="description" content="{PAGE_META_DESCRIPTION}" />
  <meta http-equiv="X-UA-Compatible" content="IE=7" />
  <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
  <meta http-equiv="Content-Language" content="ru" />
  <link rel="icon" href="{ASSETS_IMAGES_PATH}favicon.ico" type="image/x-icon" />
  <link rel="shortcut icon" href="{ASSETS_IMAGES_PATH}favicon.ico" type="image/x-icon">
  
  <!-- SEO параметр определяющий главную страницу для фильтрации её дублей -->
  {% IF PAGE_CANONICAL %}
	<link rel="canonical" href="{PAGE_CANONICAL}" />
  {% ENDIF %}
  
  <!-- Стили которые не нужно менять, грузятся из папки общих файлов -->


#12 Bardin

Bardin

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 700 сообщений
  • ГородМосква

Отправлено 27 Октябрь 2011 - 18:24

Сегодня обнаружил что каждая страница сайта доступна по двум адресам

http://site.ru/page/oplata
http://site.ru/page/oplata/

А это дубли. Итог санкции со стороны пс. Что предложите сделать ? Как устранить ?

#13 Flor@@@

Flor@@@

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 822 сообщений
  • Городмосква

Отправлено 24 Ноябрь 2011 - 06:26

вставила код
<!-- SEO параметр определяющий главную страницу для фильтрации её дублей -->
  {% IF PAGE_CANONICAL %}
    <link rel="canonical" href="{PAGE_CANONICAL}" />
  {% ENDIF %}

подскажите, все ли теперь правильно? и как мне сообщить яндексу о том, что проблема решена?

вот дубли:
/goods/Ариадна-1?from=OTE2
4.11.2011 4.11.2011
/goods/Ариадна-1?from=OTE2&mod_id=3324697
4.11.2011 4.11.2011
/goods/Гектор-1?from=OTE2
4.11.2011 4.11.2011
/goods/Гектор-1?from=OTE2&mod_id=3324734
4.11.2011 4.11.2011
/goods/Круглый-матрас-ВЕСТА-1?mod_id=3325103
3.11.2011 14.11.2011
/goods/Круглый-матрас-Гермес-1?mod_id=3325119
3.11.2011 13.11.2011
/goods/Ламельное-основание-буковое-1?mod_id=3392766
3.11.2011 13.11.2011
/goods/Матрас-Амур-1?from=YTZl
6.11.2011 6.11.2011
/goods/Матрас-Амур-1?from=YTZl&mod_id=3325093
6.11.2011 6.11.2011
/goods/Матрас-Гектор-1?mod_id=3325112
3.11.2011 13.11.2011
/goods/Матрас-Гелиос-1?mod_id=3325097
3.11.2011 3.11.2011
/goods/Матрас-Гелла-1?from=OTE2
4.11.2011 4.11.2011
/goods/Матрас-Гелла-1?from=OTE2&mod_id=3324591
4.11.2011 4.11.2011
/goods/Матрас-Орфей-1?from=OTE2
4.11.2011 4.11.2011
/goods/Матрас-Орфей-1?from=OTE2&mod_id=3324634
4.11.2011 4.11.2011
/goods/Матрас-Орфей-1?from=YTZl
6.11.2011 6.11.2011
/goods/Матрас-Орфей-1?from=YTZl&mod_id=3324634
6.11.2011 6.11.2011
/goods/Матрас-Орфей-1?mod_id=3676943
11.11.2011 11.11.2011
/goods/Матрас-Орфей-1?mod_id=3676944
11.11.2011 11.11.2011
/goods/Юнона-1?mod_id=3321595
3.11.2011 3.11.2011
/goods/матрас-Сигма-1?mod_id=3320910
3.11.2011 3.11.2011
/goods/матрас-Ювента-1?from=OTE2
4.11.2011 4.11.2011
/goods/матрас-Ювента-1?from=OTE2&mod_id=3321256
4.11.2011 4.11.2011
/goods/матрас-леда-1
12.11.2011 13.11.2011
/goods/матрас-ювента-1
12.11.2011 13.11.2011



Просмотр сообщенияBardin (27 Октябрь 2011 - 18:24) писал:

Сегодня обнаружил что каждая страница сайта доступна по двум адресам

http://site.ru/page/oplata
http://site.ru/page/oplata/

А это дубли. Итог санкции со стороны пс. Что предложите сделать ? Как устранить ?

Простите за глупый вопрос, а где здесь вы видите дубли???

#14 vadim_3383

vadim_3383

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 94 сообщений

Отправлено 24 Ноябрь 2011 - 09:17

Просмотр сообщенияkatteee (24 Ноябрь 2011 - 06:26) писал:

вставила код
<!-- SEO параметр определяющий главную страницу для фильтрации её дублей -->
  {% IF PAGE_CANONICAL %}
    <link rel="canonical" href="{PAGE_CANONICAL}" />
  {% ENDIF %}

подскажите, все ли теперь правильно? и как мне сообщить яндексу о том, что проблема решена?

вот дубли:
/goods/Ариадна-1?from=OTE2
4.11.2011 4.11.2011
/goods/Ариадна-1?from=OTE2&mod_id=3324697
4.11.2011 4.11.2011
/goods/Гектор-1?from=OTE2
4.11.2011 4.11.2011
/goods/Гектор-1?from=OTE2&mod_id=3324734
4.11.2011 4.11.2011
/goods/Круглый-матрас-ВЕСТА-1?mod_id=3325103
3.11.2011 14.11.2011
/goods/Круглый-матрас-Гермес-1?mod_id=3325119
3.11.2011 13.11.2011
/goods/Ламельное-основание-буковое-1?mod_id=3392766
3.11.2011 13.11.2011
/goods/Матрас-Амур-1?from=YTZl
6.11.2011 6.11.2011
/goods/Матрас-Амур-1?from=YTZl&mod_id=3325093
6.11.2011 6.11.2011
/goods/Матрас-Гектор-1?mod_id=3325112
3.11.2011 13.11.2011
/goods/Матрас-Гелиос-1?mod_id=3325097
3.11.2011 3.11.2011
/goods/Матрас-Гелла-1?from=OTE2
4.11.2011 4.11.2011
/goods/Матрас-Гелла-1?from=OTE2&mod_id=3324591
4.11.2011 4.11.2011
/goods/Матрас-Орфей-1?from=OTE2
4.11.2011 4.11.2011
/goods/Матрас-Орфей-1?from=OTE2&mod_id=3324634
4.11.2011 4.11.2011
/goods/Матрас-Орфей-1?from=YTZl
6.11.2011 6.11.2011
/goods/Матрас-Орфей-1?from=YTZl&mod_id=3324634
6.11.2011 6.11.2011
/goods/Матрас-Орфей-1?mod_id=3676943
11.11.2011 11.11.2011
/goods/Матрас-Орфей-1?mod_id=3676944
11.11.2011 11.11.2011
/goods/Юнона-1?mod_id=3321595
3.11.2011 3.11.2011
/goods/матрас-Сигма-1?mod_id=3320910
3.11.2011 3.11.2011
/goods/матрас-Ювента-1?from=OTE2
4.11.2011 4.11.2011
/goods/матрас-Ювента-1?from=OTE2&mod_id=3321256
4.11.2011 4.11.2011
/goods/матрас-леда-1
12.11.2011 13.11.2011
/goods/матрас-ювента-1
12.11.2011 13.11.2011





Простите за глупый вопрос, а где здесь вы видите дубли???
Ничего больше делать не требуется, Яша сам все поймет :)

#15 Bardin

Bardin

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 700 сообщений
  • ГородМосква

Отправлено 24 Ноябрь 2011 - 09:49

Просмотр сообщенияkatteee (24 Ноябрь 2011 - 06:26) писал:

Простите за глупый вопрос, а где здесь вы видите дубли???

/ - это дубль

Проблема решена уже.

#16 Flor@@@

Flor@@@

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 822 сообщений
  • Городмосква

Отправлено 01 Декабрь 2011 - 22:47

Просмотр сообщенияvadim_3383 (24 Ноябрь 2011 - 09:17) писал:

Ничего больше делать не требуется, Яша сам все поймет :)

у меня получилось что не очень-то он понял:

в поддержке яндекса мне ответили следующее:
"Страницы, информация о которых представлена в разделе http://webmaster.yan...13948&code=2025 , содержат атрибут rel="canonical" тега <link>, указывающий, по какому адресу нужно индексировать страницы.
Например, страница otdyh-i-son.r...?mod_id=3324697 содержит тег:
  <link rel="canonical" href="http://otdyh-i-son.r...ods/Ариадна-1"; />"

но по ссылке: otdyh-i-son.ru/goods/Ариадна-1 находится страница:
otdyh-i-son.r...ds/Ариадна-1%22 с сообщением: "Внутренняя ошибка сервера. Товар не найден".

Правда, может быть все просто и данная ссылка ведет на несуществующую страницу из-за кавычек не отделенных от ссылки пробелом?

#17 Bardin

Bardin

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 700 сообщений
  • ГородМосква

Отправлено 02 Декабрь 2011 - 11:26

По ссылке: http://otdyh-i-son.ru/goods/Ариадна-1 находится страница http://otdyh-i-son.ru/goods/Ариадна-1

#18 Flor@@@

Flor@@@

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 822 сообщений
  • Городмосква

Отправлено 02 Декабрь 2011 - 12:32

Просмотр сообщенияBardin (02 Декабрь 2011 - 11:26) писал:


ну просто когда я переходила из ссылки втом абзаце то попадала на страницу с ошибкой, почему не знаю.

#19 Ideapower

Ideapower

    Пользователь

  • Пользователи
  • PipPip
  • 14 сообщений

Отправлено 06 Апрель 2012 - 13:00

Такой вопрос.

В списке страниц, исключенных яндексом из индекса есть страницы вида

101tea.ru/goods/Бай-Му-Дань-Белый-пион#?modification=5855054
101tea.ru/goods/Бай-Му-Дань-Белый-пион#?modification=5897097

Причина - документ не является каноническим.
Это понятное дело - дубли страницы-оригинала 101tea.ru/goods/Бай-Му-Дань-Белый-пион, о чем свидетельствует в т.ч. строка <link rel="canonical" href="http://101tea.ru/goo...ань-Белый-пион" /> в коде этих страниц. Ок.

Но почему страница-оригинал 101tea.ru/goods/Бай-Му-Дань-Белый-пион не проиндексирована? В файле sitemap она прописана, причем не кириллицей, а как положено.
Контент страниц уникальный, описания писались "ручками".
В чем может быть проблема? Кто-нибудь сталкивался?
У нас 99% товарных позиций в такой ситуации. Т.е. дубли исключены яндексом из поиска, но и оригиналов нет.
Причем в списке исключенных из поиска страниц оригиналов нет..


Заранее спасибо!

#20 Playton

Playton

    Новичок

  • Пользователи
  • Pip
  • 9 сообщений

Отправлено 04 Апрель 2013 - 18:11

Солидарен с вопросом от
Ideapower!!




Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных