UniMation Robotics Без рубрики Новый инструмент тестирования robots.txt в Google Webmaster Tools | Новости рынка SEO: 17 Июля 2014

Новый инструмент тестирования robots.txt в Google Webmaster Tools | Новости рынка SEO: 17 Июля 2014

Обновлен инструмент тестирования файлов robots.txt в Google Webmaster Tools. Теперь пользователи смогут выявлять ошибки, из-за которых Google не индексирует страницы сайта, редактировать файлы, проверять, не заблокированы ли URL, и просматривать старые версии файла robots.txt.

Если Google не индексирует страницу или целую часть сайта, тестер robots.txt, расположенный в разделе «Индексирование» в Google Webmaster Tools, позволит вам проверить, нет ли проблемы в вашем файле robots.txt. (Ранее этот раздел назывался «Заблокированные URL».)

Screenshot from 2014-07-04 16-11-22.png

В блоге для вебмастеров Google сказано, что пользователи могут вносить изменения в файл и проверять их. Чтобы изменения вступили в силу, нужно просто загрузить новую версию файла на сервер.

Кроме этого, можно просматривать более ранние версии файла robots.txt и смотреть, когда была поставлена блокировка индексирования. Например, если робот видит 500 ошибку для файла robots.txt, Google обычно прекращает дальнейшую индексацию сайта.

В посте на Google+, посвященном этой новости, Джон Мюллер посоветовал пользователям проверять robots.txt на наличие ошибок и предупреждений всегда, даже если кажется, что файл идеален.  

Related Post

Google AdWords обновил категории исключенного контента в КМС | Новости рынка SEO: 10 Августа 2017Google AdWords обновил категории исключенного контента в КМС | Новости рынка SEO: 10 Августа 2017

Google Adwords отменил несколько категорий сайтов, в которых можно блокировать показ объявлений и добавил новые. В новом интерфейсе AdWords название раздела «Категории сайтов» было изменено на «Исключённый контент». Для видеокампаний

Новый этап рейтинга «Известность бренда SEO-компаний» | Новости рынка SEO: 02 Декабря 2014Новый этап рейтинга «Известность бренда SEO-компаний» | Новости рынка SEO: 02 Декабря 2014

Редакция SEOnews закончила прием анкет от компаний-участниц и переходит к новому этапу — экспертному опросу. В анкетировании приняли участие более 100 SEO-компаний*, которые в течение трех недель голосовали за те

Google наращивает долю AMP в мобильной выдаче | Новости рынка SEO: 29 Сентября 2017Google наращивает долю AMP в мобильной выдаче | Новости рынка SEO: 29 Сентября 2017

За последние сутки доля AMP-контента мобильной выдаче Google заметно возросла. Изменения были зафиксированы инструментом мониторинга SERP Rank Ranger. Всплеск был отмечен не только в США, но и других странах мира: