Перейти к содержимому


Что Нужно Прописать В Файле Robots.Txt?


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 32

#21 Ольга

Ольга

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 96 сообщений
  • ГородМосква

Отправлено 07 Июнь 2013 - 10:59

User-Agent: *
Disallow:
Host: www.mysite.ru

Т.о. мы запретили имя не главного домена. А как же тогда указать основной домен?

#22 Ольга

Ольга

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 96 сообщений
  • ГородМосква

Отправлено 07 Июнь 2013 - 11:04

А еще лучше 301 редирект на основной домен со всех зеркал сайта. Как это сделать

#23 sengun

sengun

    Активный участник

  • Модератоpы
  • 1 139 сообщений
  • ГородНижний Новгород

Отправлено 07 Июнь 2013 - 19:42

Зеркалом Вашего сайта будут являться домены, привязанные к аккаунту, которые не являются основными (главными). Сейчас у Вас есть одно зеркало - это Ваш первый сайт fk1613.storeland.ru
С него директ происходит на Ваш основной (главный) сайт. Ставя галочку в настройках главного домена, Вы тем самым делаете автоматический директ на основной домен. http://turbine-jet.ru/
Каких-то дополнительных настроек делать не надо.

#24 Ольга

Ольга

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 96 сообщений
  • ГородМосква

Отправлено 10 Июнь 2013 - 12:53

# Документация по файлу доступна по адресу:
# http://help.yandex.r...ster/?id=996567

# Последующие строки написаны для всех роботов
User-agent: *
# Не индексировать корзину
Disallow: /cart
# Не индексировать страницы оформленных заказов
Disallow: /order
# Не индексировать личный кабинет
Disallow: /user
# Не индексировать результаты поиска по сайту
Disallow: /search
# Не индексировать страницу сравнения товаров
Disallow: /compare
# Информация о том где находится карта сайта

Host: turbine-jet.ru


Я добавила Host. Теперь мне его надо удалить?
У меня уже стояли галочки в столбцах "перекидывать на основной".  Значит менять ничего вообще не надо?

#25 support 2.0

support 2.0

    Активный участник

  • Модераторы
  • 4 950 сообщений

Отправлено 10 Июнь 2013 - 15:04

Просмотр сообщенияОльга (10 Июнь 2013 - 12:53) писал:

# Документация по файлу доступна по адресу:
# http://help.yandex.r...ster/?id=996567

# Последующие строки написаны для всех роботов
User-agent: *
# Не индексировать корзину
Disallow: /cart
# Не индексировать страницы оформленных заказов
Disallow: /order
# Не индексировать личный кабинет
Disallow: /user
# Не индексировать результаты поиска по сайту
Disallow: /search
# Не индексировать страницу сравнения товаров
Disallow: /compare
# Информация о том где находится карта сайта

Host: turbine-jet.ru


Я добавила Host. Теперь мне его надо удалить?
У меня уже стояли галочки в столбцах "перекидывать на основной".  Значит менять ничего вообще не надо?
Нет, менять ничего не нужно. вы уже поставили галочку: перекидывать на основной, больше ничего не требуется

#26 sotil

sotil

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 413 сообщений
  • ГородЕкатеринбург

Отправлено 18 Июнь 2013 - 21:50

Здравствуйте! подскажите прописал host! Галочки перекидывания на основной домен стоят, нужен ли этот host???
мой robot txt:
# Последующие строки написаны для всех роботов
User-agent: *
# Не индексировать корзину
Disallow: /cart
# Не индексировать страницы оформленных заказов
Disallow: /order
# Не индексировать личный кабинет
Disallow: /user
# Не индексировать результаты поиска по сайту
Disallow: /search
# Не индексировать страницу сравнения товаров
Disallow: /compare
Host: na----do.ru
# Информация о том где находится карта сайта
Sitemap: http://na----do.ru/sitemap

Яндекс проверил сказал вот так:
                                                                                                                                                                                                                                                                  
Нужно ли что то менять?????

Прикрепленные изображения

  • robot txt.jpg


#27 Vaccina

Vaccina

    Активный участник

  • Модераторы
  • 24 353 сообщений

Отправлено 19 Июнь 2013 - 02:43

Почитайте информацию о директиве host http://help.yandex.r...d=996567#996574

#28 velena168

velena168

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 1 643 сообщений
  • ГородСанкт- Петербург

Отправлено 15 Октябрь 2013 - 14:25

Просмотр сообщенияmiyako (01 Апрель 2013 - 07:52) писал:

К сожалению вернуть старый не получится. Можете воспользоваться таким Robot.txt:
# Документация по файлу доступна по адресу:
# http://help.yandex.ru/webmaster/?id=996567
# Последующие строки написаны для всех роботов
User-agent: *
# Не индексировать корзину
Disallow: /cart
# Не индексировать страницы оформленных заказов
Disallow: /order
# Не индексировать личный кабинет
Disallow: /user
# Не индексировать результаты поиска по сайту
Disallow: /search
# Не индексировать страницу сравнения товаров
Disallow: /compare
# Информация о том где находится карта сайта
Sitemap: http://ваш сайт.storeland.ru/sitemap
В новом сайте как у Вас прописано, а на старом:
User-agent: *
Disallow: /cart
Sitemap: http://мой сайт.ru/sitemap
Disallow: /order
Disallow: /admin
Disallow: /user
Disallow: /search
Disallow: /compare
host: мой сайт.ru

Может нужно что-то подкорректировать?

#29 Vaccina

Vaccina

    Активный участник

  • Модераторы
  • 24 353 сообщений

Отправлено 16 Октябрь 2013 - 06:48

Заданные у вас директивы описаны верно. Можно ничего не изменять.

#30 velena168

velena168

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 1 643 сообщений
  • ГородСанкт- Петербург

Отправлено 04 Ноябрь 2013 - 11:18

Просмотр сообщенияvelena168 (15 Октябрь 2013 - 14:25) писал:

В новом сайте как у Вас прописано, а на старом:
User-agent: *
Disallow: /cart
Sitemap: http://мой сайт.ru/sitemap
Disallow: /order
Disallow: /admin
Disallow: /user
Disallow: /search
Disallow: /compare
host: мой сайт.ru

Может нужно что-то подкорректировать?

А зачем в Robot.txt прописаны
Disallow: /search
Disallow: /compare

Ведь они итак, по сути своей  являются неканоническим и не будут индексироваться.
Посмотрела в Вебмастере и очень удивилась, более 56 000 страниц запрещены в Robot.txt , а раньше когда не были прописаны
Disallow: /search
Disallow: /compare
запрещенных страниц было всего несколько штук 5 или 9. Уж лучше пусть эти страницы будут неканоническим, чем такое огромное кол-во страниц запрещать.
Может я не права? Знающие, просветите пожалуйста.

Прикрепленные изображения

  • Снимок.PNG


#31 miyako

miyako

    Активный участник

  • Модератоpы
  • 5 372 сообщений

Отправлено 06 Ноябрь 2013 - 09:10

Просмотр сообщенияvelena168 (04 Ноябрь 2013 - 11:18) писал:

А зачем в Robot.txt прописаны
Disallow: /search
Disallow: /compare

Ведь они итак, по сути своей  являются неканоническим и не будут индексироваться.
Посмотрела в Вебмастере и очень удивилась, более 56 000 страниц запрещены в Robot.txt , а раньше когда не были прописаны
Disallow: /search
Disallow: /compare
запрещенных страниц было всего несколько штук 5 или 9. Уж лучше пусть эти страницы будут неканоническим, чем такое огромное кол-во страниц запрещать.
Может я не права? Знающие, просветите пожалуйста.

Поиск и сравнение товаров запретили для индексирования, чтобы не было дублей.

#32 velena168

velena168

    Активный участник

  • Пользователи
  • PipPipPipPip
  • 1 643 сообщений
  • ГородСанкт- Петербург

Отправлено 06 Ноябрь 2013 - 09:25

Просмотр сообщенияmiyako (06 Ноябрь 2013 - 09:10) писал:

Поиск и сравнение товаров запретили для индексирования, чтобы не было дублей.
А разве на поиск и сравнение товаров не действует правило из html
{% IF PAGE_CANONICAL %}
<link rel="canonical" href="{PAGE_CANONICAL}" />
  {% ENDIF %}

#33 FlashAJ

FlashAJ

    Пользователь

  • Пользователи
  • PipPip
  • 33 сообщений

Отправлено 06 Декабрь 2013 - 18:42

Вопрос такой. У меня дополнительные страницы такого вида: страница.мой сайт.ru. Как мне прописать в robots.txt запрет для робота к определенной странице?
Правильно ли я понял что делать нужно так:
в SEO-параметрах страницы убрать галочку "Использовать для ссылок поддомен, вместо названия страницы в URL", а в robots.txt прописать Dissalow: /название страницы.
Или же оставить галочку? Или вообще делать всё как-то по другому?

Этот топик вообще кто-нибудь смотрит??? Вопрос всё еще актуален!!!




Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных