Перейти к содержимому


Наити Дубли, Битые Ссылки

xenu

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 25

#1 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 18 Сентябрь 2014 - 10:20

Здравствуйте, решил прогнать сайт (в подписи) через программу Xenu наити дубли, битые ссылки и т.д., но сервер постоянно перегружается! В самой программе по окончанию проверки все в "красной зоне", такое ощущение, что все ссылки битые! В настройках Xenu выставлял - запрос=1, все равно выдает ошибку "500".
Вопросы:
1. Как проверить сайт в программе Xenu корректно? Есть подозрение, что дублей просто полно!!! Программка нашла более 16000 ссылок, при размещенном товаре чуть более 300 позиций (в поиске яндекса 256).

2. На этой платформе не давно, поэтому не знаю откуда дубли генерируются. Что нужно закрыть в robots? Мой robots сейчас выглядит так:
User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare

Host: avtodrug66.ru 

Sitemap: http://avtodrug66.ru/sitemap.xml

P.S. Выкладываю отчет Xenu, может кто глянет, что-нибудь подскажет?

Заранее благодарен за ответ.

#2 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 18 Сентябрь 2014 - 13:40

Неужели ни кто не пользовался Xenu??? Может как то по другому избавлялись от дублей и битых ссылок??? Поделитесь плиз...

Еще вот такой вопрос: не знаю с какого времени (но раньше, когда у меня был другой шаблон - все было ОК!) главная страница в поиске показывается с каким то странным адресом (и в добавок еще и без сниппета и фавикона)! Как это исправить???
Скрин:
Снимок экрана 2014-09-18 в 16.25.03.jpg

P.S. фавикон, кстати, валидатор показал, что он по адресу http://design.avtodr....ru/favicon.ico не доступен (его устанавливали, когда был старый шаблон)! Куда в этом шаблоне его правильно установить???

#3 AnnaM

AnnaM

    Активный участник

  • Модератоpы
  • 1 040 сообщений

Отправлено 18 Сентябрь 2014 - 13:56

Просмотр сообщенияmalroz (18 Сентябрь 2014 - 13:40) писал:

Неужели ни кто не пользовался Xenu??? Может как то по другому избавлялись от дублей и битых ссылок??? Поделитесь плиз...

Еще вот такой вопрос: не знаю с какого времени (но раньше, когда у меня был другой шаблон - все было ОК!) главная страница в поиске показывается с каким то странным адресом (и в добавок еще и без сниппета и фавикона)! Как это исправить???
Скрин:
Прикрепленный файл Снимок экрана 2014-09-18 в 16.25.03.jpg

P.S. фавикон, кстати, валидатор показал, что он по адресу http://design.avtodr....ru/favicon.ico не доступен (его устанавливали, когда был старый шаблон)! Куда в этом шаблоне его правильно установить???
на поддомене i3 хранятся изображения для сайтов.
Фавикон можно загрузить в Сайт-->Редактор шаблонов-->Добавить файл. название должно быть favicon.ico и он будет доступен по адресу http://avtodrug66.ru/favicon.ico . В поисковиках он будет отображаться только после обновления индексации вашего сайта самим поисковиком.

#4 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 18 Сентябрь 2014 - 14:10

спасибо фавикон добавил, но что с главной делать? Как сделать что бы главная показывала корректный адрес без i3? Куда вообще сниппет делся (тайтл и дескрипшен прописан)?

#5 bobby fisher

bobby fisher

    Пользователь

  • Пользователи
  • PipPip
  • 45 сообщений

Отправлено 18 Сентябрь 2014 - 14:23

я бы в robots еще вот эти строки добавил

Disallow: /catalog/*?form[filter]*
Disallow: /catalog/*?goods_search_field_id=*

#6 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 18 Сентябрь 2014 - 14:26

Просмотр сообщенияbobby fisher (18 Сентябрь 2014 - 14:23) писал:

я бы в robots еще вот эти строки добавил

Disallow: /catalog/*?form[filter]*
Disallow: /catalog/*?goods_search_field_id=*
спасибо, но можно пояснить, это что я закрою?

#7 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 18 Сентябрь 2014 - 15:14

Помимо того, что предложили добавить в robots выше (есть предположение что это закроет, но все-таки хотелось узнать точно!), подскажите плиз, что прописать, что бы не было такого:

http://avtodrug66.ru...-NEW#show_tab_1

http://avtodrug66.ru...S-NEW?from=N2Uz

http://avtodrug66.ru...-Delta-PLUS-NEW - вот этот адрес нормальный, остальные дубли!

http://avtodrug66.ru...mod_id=28655253

http://avtodrug66.ru...S-NEW?from=ZThi

Один товар открывается по пяти адресам!!! И так во всех товарах!!! (Может дубли еще генерируются когда, например, товар помещается в "избранное" или в "сравнение"?) Помогите, плиз, закрыть все эти дубли...

#8 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 18 Сентябрь 2014 - 16:33

Почитав на форуме, дополнил robots, решит ли это проблему, которую я указал выше (открытие товара по пяти разным адресам) или еще нужно что-нить добавить:

User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /favorites
Disallow: /catalog/*?form[filter]*
Disallow: /catalog/*?goods_search_field_id=*

Host: avtodrug66.ru 

Sitemap: http://avtodrug66.ru/sitemap.xml


#9 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 18 Сентябрь 2014 - 18:21

Кто-нибудь может ответит??? Плиз...

#10 Сake

Сake

    Активный участник

  • Модератоpы
  • 5 979 сообщений

Отправлено 19 Сентябрь 2014 - 00:04

У вас в файле robots.txt правила дополнены только для категорий. Для товаров можно использовать дополнительные правила

Disallow: /goods/*?from=*
Disallow: /goods/*#*


#11 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 19 Сентябрь 2014 - 08:26

спасибо! а что по поводу главной страницы почему она открывается по адресу http://i3.avtodrug66.ru/ (см.скрин), как это исправить?
Снимок экрана 2014-09-18 в 16.25.03.jpg

#12 Castiel

Castiel

    Активный участник

  • Модераторы
  • 3 519 сообщений
  • ГородНижний Новгород

Отправлено 19 Сентябрь 2014 - 08:44

Просмотр сообщенияmalroz (19 Сентябрь 2014 - 08:26) писал:

спасибо! а что по поводу главной страницы почему она открывается по адресу http://i3.avtodrug66.ru/ (см.скрин), как это исправить?

Здравствуйте, проверили в яндексе ваш сайт (ввели в поиск) и результаты на скриншоте отличатся от выдачи.

Прикрепленные изображения

  • pic130.jpg


#13 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 19 Сентябрь 2014 - 09:21

странно, спасибо, но я же скрин тоже не сам рисовал, сейчас тоже проверил... да выдача другая, сегодня было поисковое обновление, видимо поправилось все...)

#14 bobby fisher

bobby fisher

    Пользователь

  • Пользователи
  • PipPip
  • 45 сообщений

Отправлено 19 Сентябрь 2014 - 15:08

Просмотр сообщенияСake (19 Сентябрь 2014 - 00:04) писал:

У вас в файле robots.txt правила дополнены только для категорий. Для товаров можно использовать дополнительные правила

[u][b]Disallow: /goods/*#*[/b][/u]

не рекомендовал бы использовать вот эту строку, т.к в некоторых случаях (не знаю почему) она блокирует прямую ссылку на товар.
Для эксперимента проверил сейчас у себя.

#15 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 19 Сентябрь 2014 - 15:14

спасибо, убрал...

#16 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 19 Сентябрь 2014 - 19:17

Похоже что то не то мне подсказали с robots !!! В вэб мастере Яндекса вылезло больше 400 ошибок, причем в исключенные страницы попали нормальные страницы с каталога начиная с http://avtodrug66.ru/catalog (см. скрин)

Изображение

Сейчас у меня robots выглядит так:

User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /favorites
Disallow: /catalog/*?form[filter]*
Disallow: /catalog/*?goods_search_field_id=*
Disallow: /goods/*?from=*

Host: avtodrug66.ru 

Sitemap: http://avtodrug66.ru/sitemap.xml

Есть ли в тех.поддержке человек или не в тех.поддержке, который реально понимает эту платформу, который правильно подскажет! Че то не хочется эксперементы проводить, сайт должен работать... Заранее благодарен за помощь!

#17 Yurren

Yurren

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 1 415 сообщений
  • ГородСамара

Отправлено 19 Сентябрь 2014 - 20:28

Просмотр сообщенияmalroz (19 Сентябрь 2014 - 19:17) писал:

Похоже что то не то мне подсказали с robots !!! В вэб мастере Яндекса вылезло больше 400 ошибок, причем в исключенные страницы попали нормальные страницы с каталога начиная с http://avtodrug66.ru/catalog (см. скрин)

Изображение

Сейчас у меня robots выглядит так:

User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Disallow: /favorites
Disallow: /catalog/*?form[filter]*
Disallow: /catalog/*?goods_search_field_id=*
Disallow: /goods/*?from=*

Host: avtodrug66.ru

Sitemap: http://avtodrug66.ru/sitemap.xml

Есть ли в тех.поддержке человек или не в тех.поддержке, который реально понимает эту платформу, который правильно подскажет! Че то не хочется эксперементы проводить, сайт должен работать... Заранее благодарен за помощь!
Это у Вас не от Ваших действий а от общих ошибках системы! Почитайте тему: http://forum.storela...996-ошибка-403/ ближе к концу - многое станет более понятным :)

#18 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 19 Сентябрь 2014 - 21:00

спасибо, понятно, т.е. robots правильный, либо все-таки нужно что то править?

И еще вопрос: также в вэбмастере 245 страниц являются неканоническими, в коде которых прописан rel="canonical", но они не являются дублями (большинство)! В основном все страницы опять же каталога:
Изображение

это тоже ошибка системы??? И главный вопрос: когда все это исправят???????????????

#19 bobby fisher

bobby fisher

    Пользователь

  • Пользователи
  • PipPip
  • 45 сообщений

Отправлено 19 Сентябрь 2014 - 22:16

Колонка последнее посещение - это как раз когда робот и добавил ссылку в исключенные, файл robots, как я понимаю, вы меняли на днях.

Можно также в разделе яндекса, Анализ robots , прежде чем что-то менять и ждать обновления, там вбить url и настройки robots, нажать проверить и увидеть, будет ли обходить ту или иную страницу.

#20 malroz

malroz

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 311 сообщений
  • ГородЕкатеринбург

Отправлено 20 Сентябрь 2014 - 09:50

спасибо понятно, только не понятно почему тех.поддержка молчит! Т.к. почти весь каталог является неканоническим (хотя, в какой то теме я читал, что rel="canonical" присутствует в коде по умолчанию что бы не было в дублей), выходит, что этот шаблон не попал под исправление? Вопрос: как все это исправить? или все-таки поддержка это исправит? Ну и вопрос с ошибкой 403 также актуален! Жду помощи от тех.поддержки!




Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных