UniMation Robotics Без рубрики Новый инструмент тестирования robots.txt в Google Webmaster Tools | Новости рынка SEO: 17 Июля 2014

Новый инструмент тестирования robots.txt в Google Webmaster Tools | Новости рынка SEO: 17 Июля 2014

Обновлен инструмент тестирования файлов robots.txt в Google Webmaster Tools. Теперь пользователи смогут выявлять ошибки, из-за которых Google не индексирует страницы сайта, редактировать файлы, проверять, не заблокированы ли URL, и просматривать старые версии файла robots.txt.

Если Google не индексирует страницу или целую часть сайта, тестер robots.txt, расположенный в разделе «Индексирование» в Google Webmaster Tools, позволит вам проверить, нет ли проблемы в вашем файле robots.txt. (Ранее этот раздел назывался «Заблокированные URL».)

Screenshot from 2014-07-04 16-11-22.png

В блоге для вебмастеров Google сказано, что пользователи могут вносить изменения в файл и проверять их. Чтобы изменения вступили в силу, нужно просто загрузить новую версию файла на сервер.

Кроме этого, можно просматривать более ранние версии файла robots.txt и смотреть, когда была поставлена блокировка индексирования. Например, если робот видит 500 ошибку для файла robots.txt, Google обычно прекращает дальнейшую индексацию сайта.

В посте на Google+, посвященном этой новости, Джон Мюллер посоветовал пользователям проверять robots.txt на наличие ошибок и предупреждений всегда, даже если кажется, что файл идеален.  

Related Post

Google изменил интерфейс мобильного поиска по запросам о путешествиях | Новости рынка SEO: 05 Февраля 2016Google изменил интерфейс мобильного поиска по запросам о путешествиях | Новости рынка SEO: 05 Февраля 2016

Google изменил интерфейс мобильного поиска по запросам о путешествиях. Разберем по шагам. Набираем запрос «Что посетить в России». Google показывает несколько вариантов и дает возможность посмотреть остальные (под синей стрелкой).

Яндекс обновил функционал Вебмастера | Новости рынка SEO: 17 Октября 2016Яндекс обновил функционал Вебмастера | Новости рынка SEO: 17 Октября 2016

Команда Яндекс.Вебмастера сообщила об обновлении сервиса и появлении графического представления данных о внешних ссылках. Изучение внешних ссылок – важная часть работы с сайтом. Оно помогает понять, кто ссылается на ваш

Google начал понижать в выдаче мобильные страницы с межстраничной рекламой | Новости рынка SEO: 11 Января 2017Google начал понижать в выдаче мобильные страницы с межстраничной рекламой | Новости рынка SEO: 11 Января 2017

Google начал понижать в мобильной выдаче страницы, злоупотребляющие межстраничной рекламой. Сейчас Google понижает страницы только в мобильном поиске. Если у сайта нет мобильной версии, то межстраничную рекламу можно использовать и