Вход
Быстрая регистрация
Если вы у нас впервые: О проекте FAQ
0

Для чего нужен робот Googlebot?

Shenia [38.3K] 4 года назад
1

GoogleBot - программа, сканирующаю файлы robots.txt у сайтов, и в зависимости от содержания этих файлов индексируются сайты и выдаются при поиске в google

автор вопроса выбрал этот ответ лучшим
Shenia [38.3K]
Если робот не может почесть мой файл robot.txt - может ли это быть причиной того, что сайт не индексируется Гуглом? На Яндексе у меня все в порядке. А Гугл просто меня не видит.  4 года назад
Markus-- [494]
Я добавил строчку User-agent: Mediapartners-Google  4 года назад
Shenia [38.3K]
Я тоже так попробую. Спасибо.  4 года назад
комментировать
1

Shenia, насколько я знаю, то нужно добавлять строку User-agent: Googlebot

Если у вас на сайте CMS Wordpress, то вам необходимо добавить строки чуть ниже

Disallow: /cgi-bin

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: /category/

Disallow: /author/

Disallow: /page/

Disallow: /tag/

Disallow: /feed/

Disallow: */feed

Disallow: */trackback

Disallow: */comments

Disallow: /*?

Disallow: /*?*

Disallow: /*.php

Знаете ответ?
Есть интересный вопрос? Задайте его нашему сообществу, у нас наверняка найдется ответ!
Делитесь опытом и знаниями, зарабатывайте награды и репутацию, заводите новых интересных друзей!
Задавайте интересные вопросы, давайте качественные ответы и зарабатывайте деньги. Подробнее..
регистрация
OpenID