Перейти к содержимому


Индексация Яндексом


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 13

#1 Flagman86@mail.ru

Flagman86@mail.ru

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 130 сообщений
  • ГородМосква

Отправлено 24 Июль 2012 - 20:49

Яндекс выдает такую ошибку: Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление. И индексирует всего лишь одну страницу сайта
Роботс у меня выглядит так:
User-agent: *
Disallow: /cart
Sitemap: http://gytalin.ru/sitemap
Disallow: /order

Сайт в яндексе регистрировал как www.gytalin.ru, потому что при регистрации gytalin.ru Яндекс определяет мой сайт как зеркало Storeland и добавляет не мой сайт а сайт Storeland. Что делать?

#2 Flagman86@mail.ru

Flagman86@mail.ru

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 130 сообщений
  • ГородМосква

Отправлено 24 Июль 2012 - 20:58

при проверке сайта Яндекс роботом пишет:
Код статуса HTTP: "301 Moved Permanently"  
Время ответа сервера: 17мс
IP сайта: 92.241.177.72
Заголовки:
Transfer-Encoding: chunked
Date: Tue, 24 Jul 2012 17:56:17 GMT
Location: http://gytalin.ru/
Connection: keep-alive
Content-Type: text/html
X-Powered-By: PHP/5.3.10
Server: nginx/1.0.14
Кодировка: UTF-8
Размер страницы: 0Кб

Тобишь сайт перемещен навсегда, проверяю я www.gytalin.ru.   Как тогда надо регистрировать сайт в яндексе? с каким адресом?

#3 Wo lf

Wo lf

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 461 сообщений

Отправлено 25 Июль 2012 - 21:04

Я вот не пойму, ВЫ зачем файл robots.txt пере коверкали весь.

Вот должно стоять по умолчанию

User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Sitemap: http://ваш-сайт.ru/sitemap

Смотреть картинку и дальше перевод "У этого файла XML, кажется, нет информации о стиле, связанной с ним. Дерево документа показывают ниже."

Сперва сами что то на шаманите , сделать все как указано по умолчанию и все и отправить ему повторный запрос, и никаких проблем не будет с Яндексом...
И еще поставить Зеркало на усмотрение Робота

#4 Flagman86@mail.ru

Flagman86@mail.ru

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 130 сообщений
  • ГородМосква

Отправлено 25 Июль 2012 - 21:38

Robots вобще не трогал, я в нем не понимаю и туда не лазию. Значит он изначально такой был. Спасибо за правильный Роботс, сейчас всё поправлю. А про не правильный XML можно чуть подробней....что надо поменять? или вобще вернуться к стандартным настройкам сайта?

#5 Flagman86@mail.ru

Flagman86@mail.ru

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 130 сообщений
  • ГородМосква

Отправлено 25 Июль 2012 - 22:07

Не понимаю я что не так и как исправлять....Кто обьяснит подробно в чем ошибка?

#6 support

support

    Активный участник

  • Модераторы
  • 3 686 сообщений
  • ГородМосква

Отправлено 31 Июль 2012 - 06:12

Не так давно отвечал на подобный вопрос в почте, видимо эта тема-дубликат вопроса...
В вашем случае оптимальный вариант - подождать переиндексации, либо написать в техподдержку яндекса, чтобы расклеили сайт. Проблема возникает по той причине что магазин был какое-то время заблокирован, яндекс увидел редирект с заблокированного домена на storeland.ru и поэтому склеил домен с нашим доменом. Лечится либо временем, либо письмами в техподдержку яндекса:
https://feedback.yandex.ru/webmaster/

Добавляя домен с www яндекс видит редирект на сайт без WWW, т.к. этот поддомен - атавизм, пережиток прошлого. С него в системе стоит 301 редирект и яндекс при запросе на robots.txt видит что его перенаправляют на сайт без www и поэтому ругается что не смог получить роботс.тхт сразу. В вашем robots.txt всё прописано верно, проблема лишь в том что при регистрации используется домен с www, его нужно убрать. А тот что является зеркалом - расклеить временем, либо письмами. После этого всё заработает как надо.

#7 Flagman86@mail.ru

Flagman86@mail.ru

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 130 сообщений
  • ГородМосква

Отправлено 19 Август 2012 - 17:32

Спасибо, буду ждать расклейки

#8 didroi

didroi

    Пользователь

  • Пользователи
  • PipPip
  • 11 сообщений

Отправлено 30 Август 2012 - 13:57

Переломатил несколько тем не нашел вопрос на свой ответ.
Подскажите:
Странице в моем магазине имеют вид:
http://rukzaki.store...s/Grizzly_M1010
НО если зайти на страницу этого товара из любого каталога, URL страницы становится таким:
http://rukzaki.store...M1010?from=NzYx
или
http://rukzaki.store...M1010?from=NDk3
Насколько я знаю - такие дубли страниц не Айс для Яндекса и рекомендуется их исключить в роботе, оставив только страницу указанную в начале.
Я сам не имею каких-то познаний в области программирования, поэтому robots для меня темный лес.
Что вы можете порекомендовать по этому поводу.

И в догонку:
Я знаю, что яндекс может долго индексировать.
Но на нсегодняшний день у меня под 100 стрниц - большая часть из них с товаром. Стараюсь везде писать уникальный контент.
На сегодняшний день яша проиндексировал только 2 страницы. Несмотря даже на то, что робот был у меня вчера. А не меньше трети страниц были созданы одновременно с теми двумя, которые он уже проиндексировал...
Я паонимаю, что можно долго индексировать, но если страницы одинаковые (по принцыпу), созданы одновременно - то почему он две проиндексировал, а остальные нет?
И не связанна ли эта проблема с проблемой, указанной в первом пункте моего вопроса?!
Спасибо!

#9 Serg83

Serg83

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 530 сообщений
  • Городсанкт-петербург

Отправлено 31 Август 2012 - 19:40

 didroi (30 Август 2012 - 13:57) писал:

Переломатил несколько тем не нашел вопрос на свой ответ.
Подскажите:
Странице в моем магазине имеют вид:
http://rukzaki.store...s/Grizzly_M1010
НО если зайти на страницу этого товара из любого каталога, URL страницы становится таким:
http://rukzaki.store...M1010?from=NzYx
или
http://rukzaki.store...M1010?from=NDk3
Насколько я знаю - такие дубли страниц не Айс для Яндекса и рекомендуется их исключить в роботе, оставив только страницу указанную в начале.
Я сам не имею каких-то познаний в области программирования, поэтому robots для меня темный лес.
Что вы можете порекомендовать по этому поводу.

И в догонку:
Я знаю, что яндекс может долго индексировать.
Но на нсегодняшний день у меня под 100 стрниц - большая часть из них с товаром. Стараюсь везде писать уникальный контент.
На сегодняшний день яша проиндексировал только 2 страницы. Несмотря даже на то, что робот был у меня вчера. А не меньше трети страниц были созданы одновременно с теми двумя, которые он уже проиндексировал...
Я паонимаю, что можно долго индексировать, но если страницы одинаковые (по принцыпу), созданы одновременно - то почему он две проиндексировал, а остальные нет?
И не связанна ли эта проблема с проблемой, указанной в первом пункте моего вопроса?!
Спасибо!

1) аналогичная проблема с адресами товаров
при чем часть товаров открывается по ссылкам, которые я лично прописывал в настройках страниц, а часть отображается так: BH-5201?from=YWEw
подскажите в чем проблема и как от этого избавиться?

2) Яндекс и Гугл видят только главную страницу, что меня очень печалит...

#10 didroi

didroi

    Пользователь

  • Пользователи
  • PipPip
  • 11 сообщений

Отправлено 10 Сентябрь 2012 - 18:47

а в ответ тишина.... И мертвые с косами стоят!

#11 JOSSELINE

JOSSELINE

    Пользователь

  • Пользователи
  • PipPip
  • 36 сообщений

Отправлено 26 Декабрь 2016 - 15:32

Добрый день,

Яндекс на индексировал мне 206 000 страниц, 195 000 исключил и сделал это за пару недель. Все это не мой контент. Не знаю к Вам это вопрос или нет, надеюсь, что поможете.
Как это остановить, по-моему это все плохо (((

скрин

Прикрепленные изображения

  • 1.jpg
  • 2.jpg


#12 Egik

Egik

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 659 сообщений
  • ГородМосква

Отправлено 26 Декабрь 2016 - 22:42

Пишите яндексу они помогут (у меня в индексации было аж 2 000 000 страниц, сейчас жду изменений)

#13 JOSSELINE

JOSSELINE

    Пользователь

  • Пользователи
  • PipPip
  • 36 сообщений

Отправлено 28 Декабрь 2016 - 14:32

 Egik (26 Декабрь 2016 - 22:42) писал:

Пишите яндексу они помогут (у меня в индексации было аж 2 000 000 страниц, сейчас жду изменений)

спасибо

#14 Томочка

Томочка

    Пользователь

  • Пользователи
  • PipPip
  • 19 сообщений
  • ГородУфа

Отправлено 10 Январь 2017 - 00:23

Я с такой проблемой еще не сталкивалась, но теперь вижу, что она очень актуальна. Только немного не могу разобраться, каким образом она возникает, при регистрации что-ли? Нужно внимательно почитать предыдущие посты, чтобы не совершать подобных ошибок.




Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных