Вход
Быстрая регистрация
Если вы у нас впервые: О проекте FAQ
0

Что надо и что не надо закрывать в robots.txt?

Elona [5.9K] 6 дней назад

Какие страницы надо закрывать от индексации в robots.txt, а какие не надо?

Иван Драго [338]
При помощи данного файла robots.txt рекомендуется:

- Закрыть от индексации служебные файлы и каталоги. Какие именно зависит от выбранной системы управления сайтом.
- Закрыть от индексации результаты поиска по сайту.
- Закрыть от индексации страницу с подпиской по RSS (В случае, если они будут присутствовать на сайте).
- Закрыть от индексации страницы для печати (В случае, если они будут присутствовать на сайте).
- Закрыть от индексации страницы регистрации, восстановления пароля, корзину и т.п.
- Добавить строчку Sitemap.
- Добавить строчку Host.
 3 дня назад
комментировать
Знаете ответ?
Есть интересный вопрос? Задайте его нашему сообществу, у нас наверняка найдется ответ!
Делитесь опытом и знаниями, зарабатывайте награды и репутацию, заводите новых интересных друзей!
Задавайте интересные вопросы, давайте качественные ответы и зарабатывайте деньги. Подробнее..
Быстрая регистрация
OpenID