4
Индексация Яндексом
Автор Flagman86@mail.ru, 24 июля 2012 20:49
Сообщений в теме: 13
#1
Отправлено 24 Июль 2012 - 20:49
Яндекс выдает такую ошибку: Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление. И индексирует всего лишь одну страницу сайта
Роботс у меня выглядит так:
User-agent: *
Disallow: /cart
Sitemap: http://gytalin.ru/sitemap
Disallow: /order
Сайт в яндексе регистрировал как www.gytalin.ru, потому что при регистрации gytalin.ru Яндекс определяет мой сайт как зеркало Storeland и добавляет не мой сайт а сайт Storeland. Что делать?
Роботс у меня выглядит так:
User-agent: *
Disallow: /cart
Sitemap: http://gytalin.ru/sitemap
Disallow: /order
Сайт в яндексе регистрировал как www.gytalin.ru, потому что при регистрации gytalin.ru Яндекс определяет мой сайт как зеркало Storeland и добавляет не мой сайт а сайт Storeland. Что делать?
#2
Отправлено 24 Июль 2012 - 20:58
при проверке сайта Яндекс роботом пишет:
Код статуса HTTP: "301 Moved Permanently"
Время ответа сервера: 17мс
IP сайта: 92.241.177.72
Заголовки:
Transfer-Encoding: chunked
Date: Tue, 24 Jul 2012 17:56:17 GMT
Location: http://gytalin.ru/
Connection: keep-alive
Content-Type: text/html
X-Powered-By: PHP/5.3.10
Server: nginx/1.0.14
Кодировка: UTF-8
Размер страницы: 0Кб
Тобишь сайт перемещен навсегда, проверяю я www.gytalin.ru. Как тогда надо регистрировать сайт в яндексе? с каким адресом?
Код статуса HTTP: "301 Moved Permanently"
Время ответа сервера: 17мс
IP сайта: 92.241.177.72
Заголовки:
Transfer-Encoding: chunked
Date: Tue, 24 Jul 2012 17:56:17 GMT
Location: http://gytalin.ru/
Connection: keep-alive
Content-Type: text/html
X-Powered-By: PHP/5.3.10
Server: nginx/1.0.14
Кодировка: UTF-8
Размер страницы: 0Кб
Тобишь сайт перемещен навсегда, проверяю я www.gytalin.ru. Как тогда надо регистрировать сайт в яндексе? с каким адресом?
#3
Отправлено 25 Июль 2012 - 21:04
Я вот не пойму, ВЫ зачем файл robots.txt пере коверкали весь.
Вот должно стоять по умолчанию
User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Sitemap: http://ваш-сайт.ru/sitemap
Смотреть картинку и дальше перевод "У этого файла XML, кажется, нет информации о стиле, связанной с ним. Дерево документа показывают ниже."
Сперва сами что то на шаманите , сделать все как указано по умолчанию и все и отправить ему повторный запрос, и никаких проблем не будет с Яндексом...
И еще поставить Зеркало на усмотрение Робота
Вот должно стоять по умолчанию
User-agent: *
Disallow: /cart
Disallow: /order
Disallow: /user
Disallow: /search
Disallow: /compare
Sitemap: http://ваш-сайт.ru/sitemap
Смотреть картинку и дальше перевод "У этого файла XML, кажется, нет информации о стиле, связанной с ним. Дерево документа показывают ниже."
Сперва сами что то на шаманите , сделать все как указано по умолчанию и все и отправить ему повторный запрос, и никаких проблем не будет с Яндексом...
И еще поставить Зеркало на усмотрение Робота
#4
Отправлено 25 Июль 2012 - 21:38
Robots вобще не трогал, я в нем не понимаю и туда не лазию. Значит он изначально такой был. Спасибо за правильный Роботс, сейчас всё поправлю. А про не правильный XML можно чуть подробней....что надо поменять? или вобще вернуться к стандартным настройкам сайта?
#5
Отправлено 25 Июль 2012 - 22:07
Не понимаю я что не так и как исправлять....Кто обьяснит подробно в чем ошибка?
#6
Отправлено 31 Июль 2012 - 06:12
Не так давно отвечал на подобный вопрос в почте, видимо эта тема-дубликат вопроса...
В вашем случае оптимальный вариант - подождать переиндексации, либо написать в техподдержку яндекса, чтобы расклеили сайт. Проблема возникает по той причине что магазин был какое-то время заблокирован, яндекс увидел редирект с заблокированного домена на storeland.ru и поэтому склеил домен с нашим доменом. Лечится либо временем, либо письмами в техподдержку яндекса:
https://feedback.yandex.ru/webmaster/
Добавляя домен с www яндекс видит редирект на сайт без WWW, т.к. этот поддомен - атавизм, пережиток прошлого. С него в системе стоит 301 редирект и яндекс при запросе на robots.txt видит что его перенаправляют на сайт без www и поэтому ругается что не смог получить роботс.тхт сразу. В вашем robots.txt всё прописано верно, проблема лишь в том что при регистрации используется домен с www, его нужно убрать. А тот что является зеркалом - расклеить временем, либо письмами. После этого всё заработает как надо.
В вашем случае оптимальный вариант - подождать переиндексации, либо написать в техподдержку яндекса, чтобы расклеили сайт. Проблема возникает по той причине что магазин был какое-то время заблокирован, яндекс увидел редирект с заблокированного домена на storeland.ru и поэтому склеил домен с нашим доменом. Лечится либо временем, либо письмами в техподдержку яндекса:
https://feedback.yandex.ru/webmaster/
Добавляя домен с www яндекс видит редирект на сайт без WWW, т.к. этот поддомен - атавизм, пережиток прошлого. С него в системе стоит 301 редирект и яндекс при запросе на robots.txt видит что его перенаправляют на сайт без www и поэтому ругается что не смог получить роботс.тхт сразу. В вашем robots.txt всё прописано верно, проблема лишь в том что при регистрации используется домен с www, его нужно убрать. А тот что является зеркалом - расклеить временем, либо письмами. После этого всё заработает как надо.
#7
Отправлено 19 Август 2012 - 17:32
Спасибо, буду ждать расклейки
#8
Отправлено 30 Август 2012 - 13:57
Переломатил несколько тем не нашел вопрос на свой ответ.
Подскажите:
Странице в моем магазине имеют вид:
http://rukzaki.store...s/Grizzly_M1010
НО если зайти на страницу этого товара из любого каталога, URL страницы становится таким:
http://rukzaki.store...M1010?from=NzYx
или
http://rukzaki.store...M1010?from=NDk3
Насколько я знаю - такие дубли страниц не Айс для Яндекса и рекомендуется их исключить в роботе, оставив только страницу указанную в начале.
Я сам не имею каких-то познаний в области программирования, поэтому robots для меня темный лес.
Что вы можете порекомендовать по этому поводу.
И в догонку:
Я знаю, что яндекс может долго индексировать.
Но на нсегодняшний день у меня под 100 стрниц - большая часть из них с товаром. Стараюсь везде писать уникальный контент.
На сегодняшний день яша проиндексировал только 2 страницы. Несмотря даже на то, что робот был у меня вчера. А не меньше трети страниц были созданы одновременно с теми двумя, которые он уже проиндексировал...
Я паонимаю, что можно долго индексировать, но если страницы одинаковые (по принцыпу), созданы одновременно - то почему он две проиндексировал, а остальные нет?
И не связанна ли эта проблема с проблемой, указанной в первом пункте моего вопроса?!
Спасибо!
Подскажите:
Странице в моем магазине имеют вид:
http://rukzaki.store...s/Grizzly_M1010
НО если зайти на страницу этого товара из любого каталога, URL страницы становится таким:
http://rukzaki.store...M1010?from=NzYx
или
http://rukzaki.store...M1010?from=NDk3
Насколько я знаю - такие дубли страниц не Айс для Яндекса и рекомендуется их исключить в роботе, оставив только страницу указанную в начале.
Я сам не имею каких-то познаний в области программирования, поэтому robots для меня темный лес.
Что вы можете порекомендовать по этому поводу.
И в догонку:
Я знаю, что яндекс может долго индексировать.
Но на нсегодняшний день у меня под 100 стрниц - большая часть из них с товаром. Стараюсь везде писать уникальный контент.
На сегодняшний день яша проиндексировал только 2 страницы. Несмотря даже на то, что робот был у меня вчера. А не меньше трети страниц были созданы одновременно с теми двумя, которые он уже проиндексировал...
Я паонимаю, что можно долго индексировать, но если страницы одинаковые (по принцыпу), созданы одновременно - то почему он две проиндексировал, а остальные нет?
И не связанна ли эта проблема с проблемой, указанной в первом пункте моего вопроса?!
Спасибо!
#9
Отправлено 31 Август 2012 - 19:40
didroi (30 Август 2012 - 13:57) писал:
Переломатил несколько тем не нашел вопрос на свой ответ.
Подскажите:
Странице в моем магазине имеют вид:
http://rukzaki.store...s/Grizzly_M1010
НО если зайти на страницу этого товара из любого каталога, URL страницы становится таким:
http://rukzaki.store...M1010?from=NzYx
или
http://rukzaki.store...M1010?from=NDk3
Насколько я знаю - такие дубли страниц не Айс для Яндекса и рекомендуется их исключить в роботе, оставив только страницу указанную в начале.
Я сам не имею каких-то познаний в области программирования, поэтому robots для меня темный лес.
Что вы можете порекомендовать по этому поводу.
И в догонку:
Я знаю, что яндекс может долго индексировать.
Но на нсегодняшний день у меня под 100 стрниц - большая часть из них с товаром. Стараюсь везде писать уникальный контент.
На сегодняшний день яша проиндексировал только 2 страницы. Несмотря даже на то, что робот был у меня вчера. А не меньше трети страниц были созданы одновременно с теми двумя, которые он уже проиндексировал...
Я паонимаю, что можно долго индексировать, но если страницы одинаковые (по принцыпу), созданы одновременно - то почему он две проиндексировал, а остальные нет?
И не связанна ли эта проблема с проблемой, указанной в первом пункте моего вопроса?!
Спасибо!
Подскажите:
Странице в моем магазине имеют вид:
http://rukzaki.store...s/Grizzly_M1010
НО если зайти на страницу этого товара из любого каталога, URL страницы становится таким:
http://rukzaki.store...M1010?from=NzYx
или
http://rukzaki.store...M1010?from=NDk3
Насколько я знаю - такие дубли страниц не Айс для Яндекса и рекомендуется их исключить в роботе, оставив только страницу указанную в начале.
Я сам не имею каких-то познаний в области программирования, поэтому robots для меня темный лес.
Что вы можете порекомендовать по этому поводу.
И в догонку:
Я знаю, что яндекс может долго индексировать.
Но на нсегодняшний день у меня под 100 стрниц - большая часть из них с товаром. Стараюсь везде писать уникальный контент.
На сегодняшний день яша проиндексировал только 2 страницы. Несмотря даже на то, что робот был у меня вчера. А не меньше трети страниц были созданы одновременно с теми двумя, которые он уже проиндексировал...
Я паонимаю, что можно долго индексировать, но если страницы одинаковые (по принцыпу), созданы одновременно - то почему он две проиндексировал, а остальные нет?
И не связанна ли эта проблема с проблемой, указанной в первом пункте моего вопроса?!
Спасибо!
1) аналогичная проблема с адресами товаров
при чем часть товаров открывается по ссылкам, которые я лично прописывал в настройках страниц, а часть отображается так: BH-5201?from=YWEw
подскажите в чем проблема и как от этого избавиться?
2) Яндекс и Гугл видят только главную страницу, что меня очень печалит...
#10
Отправлено 10 Сентябрь 2012 - 18:47
а в ответ тишина.... И мертвые с косами стоят!
#12
Отправлено 26 Декабрь 2016 - 22:42
Пишите яндексу они помогут (у меня в индексации было аж 2 000 000 страниц, сейчас жду изменений)
#14
Отправлено 10 Январь 2017 - 00:23
Я с такой проблемой еще не сталкивалась, но теперь вижу, что она очень актуальна. Только немного не могу разобраться, каким образом она возникает, при регистрации что-ли? Нужно внимательно почитать предыдущие посты, чтобы не совершать подобных ошибок.
Количество пользователей, читающих эту тему: 1
0 пользователей, 1 гостей, 0 анонимных