Если пришло письмо в Google вебмастер о том, что Googlebot не может получить доступ к файлам JavaScript или CSS из-за ограничений в файле robots.txt. Это нужно срочно справить, так как последствиями могут быть понижения позиций в выдачи Google.
Как исправить эту проблему?
1.Первое что нам нужно сделать, это определить, что именно заблокировано. Для этого заходим в: Google Webmaster – Индекс Google – Заблокированные ресурсы
Там мы можем посмотреть, что именно заблокировано. В данном случае, у нас проблемы с главной и связанной с ней страницами.
Нажимаем на эту страницу и смотрим подробную информацию.
Далее, нам не обходимо зайти в раздел: Сканирование – Посмотреть как GoogleBot.
И нажимаем на кнопочку “Получить и отобразить”
После того как пройдет обработка, можно открыть страницу и посмотреть так, как это видит робот Google.
Смотрим на страницы, которые недоступны роботу Google и нажимаем на инструмент проверки файла robots.txt
И здесь мы видим, что именно блокирует доступ к этим файлам. В нашем случае закрыт раздел «Disallow: /wp-includes» . Соответственно, его нужно убрать из файла Robots.txt
Проверяем так все страницы.
Видим, что еще нужно открыть для индексации раздел плагины.
3.Далее заходим через «Filezilla» или любой другой файловый менеджер в корневую директорию сайта. Ищем там файл Robots.txt и убираем строку «Disallow: /wp-includes» и «/wp-content/plugins» и сохраняем.
В вебмастере заходим в раздел «Сканирование – Инструмент проверки robots.txt»
Нажимаем отправить
Теперь ждем, когда Googlebot снова зайдет на ваш сайт и переиндексирует его. Тогда информация о блокировании ресурсов пропадает. На этом все! Ничего сложно в этом нет!
Если есть вопросы или предложение, как это можно сделать по-другому, пишите их в комментариях.