UniMation Robotics Без рубрики Новый инструмент тестирования robots.txt в Google Webmaster Tools | Новости рынка SEO: 17 Июля 2014

Новый инструмент тестирования robots.txt в Google Webmaster Tools | Новости рынка SEO: 17 Июля 2014

Обновлен инструмент тестирования файлов robots.txt в Google Webmaster Tools. Теперь пользователи смогут выявлять ошибки, из-за которых Google не индексирует страницы сайта, редактировать файлы, проверять, не заблокированы ли URL, и просматривать старые версии файла robots.txt.

Если Google не индексирует страницу или целую часть сайта, тестер robots.txt, расположенный в разделе «Индексирование» в Google Webmaster Tools, позволит вам проверить, нет ли проблемы в вашем файле robots.txt. (Ранее этот раздел назывался «Заблокированные URL».)

Screenshot from 2014-07-04 16-11-22.png

В блоге для вебмастеров Google сказано, что пользователи могут вносить изменения в файл и проверять их. Чтобы изменения вступили в силу, нужно просто загрузить новую версию файла на сервер.

Кроме этого, можно просматривать более ранние версии файла robots.txt и смотреть, когда была поставлена блокировка индексирования. Например, если робот видит 500 ошибку для файла robots.txt, Google обычно прекращает дальнейшую индексацию сайта.

В посте на Google+, посвященном этой новости, Джон Мюллер посоветовал пользователям проверять robots.txt на наличие ошибок и предупреждений всегда, даже если кажется, что файл идеален.  

Related Post

RuTracker запустил приложение для обхода блокировок серверов-анонсеров | Новости рынка SEO: 16 Мая 2017RuTracker запустил приложение для обхода блокировок серверов-анонсеров | Новости рынка SEO: 16 Мая 2017

Команда RuTracker объявила о выпуске приложения, позволяющего обойти блокировку серверов-анонсеров. Программа предназначена для десктопов и помогает обойти ограничения, наложенные Роскомнадзором. Приложение было опубликовано на GitHub под лицензией открытого программного обеспечения,

Открыта регистрация на главную конференцию по SEO | Новости рынка SEO: 08 Сентября 2016Открыта регистрация на главную конференцию по SEO | Новости рынка SEO: 08 Сентября 2016

Открыта регистрация на конференцию «Optimization. Поисковый маркетинг и продвижение бизнеса в Интернете». Мероприятие состоится 1-2 декабря в центре Digital October и соберет основных игроков на рынке SEO: руководителей ведущих интернет-агентств,

Google снова тестирует новый формат поисковой выдачи | Новости рынка SEO: 31 Октября 2016Google снова тестирует новый формат поисковой выдачи | Новости рынка SEO: 31 Октября 2016

Google постоянно тестирует новые пользовательские интерфейсы – и на этот раз изменения коснулись блока «Главные новости» в поисковой выдаче. На прошлой неделе Сергей Аляков поделился скриншотами нового теста результатов поисковой выдачи в