Обновлен файлов robots.txt в Google Webmaster Tools. Теперь пользователи смогут выявлять ошибки, из-за которых Google не индексирует страницы сайта, редактировать файлы, проверять, не заблокированы ли URL, и просматривать старые версии файла robots.txt.
Если Google не индексирует страницу или целую часть сайта, тестер robots.txt, расположенный в разделе «Индексирование» в Google Webmaster Tools, позволит вам проверить, нет ли проблемы в вашем файле robots.txt. (Ранее этот раздел назывался «Заблокированные URL».)
В блоге для вебмастеров Google сказано, что пользователи могут вносить изменения в файл и проверять их. Чтобы изменения вступили в силу, нужно просто загрузить новую версию файла на сервер.
Кроме этого, можно просматривать более ранние версии файла robots.txt и смотреть, когда была поставлена блокировка индексирования. Например, если робот видит 500 ошибку для файла robots.txt, Google обычно прекращает дальнейшую индексацию сайта.
В посте на Google+, посвященном этой новости, Джон Мюллер посоветовал пользователям проверять robots.txt на наличие ошибок и предупреждений всегда, даже если кажется, что файл идеален.