Якщо вам прийшло повідомлення в Google веб-майстер про те, що Googlebot не може отримати доступ до файлів JavaScript або CSS через обмеження у файлі robots.txt, це потрібно терміново виправити, так як наслідками може бути зниження позицій у видачі Google.
Як виправити цю проблему?
1. Перше, що нам потрібно зробити, це визначити, що саме заблоковано. Для цього заходимо в: Google Webmaster – Індекс Google – Заблоковані ресурси
Там ми можемо подивитися, що саме заблоковано. В даному випадку, у нас проблеми з головною і пов’язаними з нею сторінками.
Натискаємо на цю сторінку і дивимося детальну інформацію.
Далі, нам необхідно зайти в розділ: Сканування – Подивитися як GoogleBot.
І натискаємо на кнопочку “Отримати та відобразити”
Після того як пройде обробка, можна відкрити сторінку і подивитися так, як це бачить робот Google.
Дивимося на сторінки, які недоступні роботу Google і натискаємо на інструмент перевірки файлу robots.txt
І тут ми бачимо що саме блокує доступ до цих файлів. У нашому випадку – закритий розділ «Disallow: / wp-includes». Відповідно, його потрібно прибрати з файлу Robots.txt
Перевіряємо так всі сторінки.
Бачимо, що ще потрібно відкрити для індексації розділ плагіни.
3. Далі заходимо через «Filezilla» або будь-який інший файловий менеджер в кореневу директорію сайту. Шукаємо там файл Robots.txt і прибираємо рядок «Disallow: / wp-includes» і «/ wp-content / plugins» і зберігаємо.
Заходимо у вебмайстр в розділ «Сканування – Інструмент перевірки robots.txt»
Натискаємо відправити
Тепер чекаємо, коли Googlebot знову зайде на ваш сайт і переіндексує його. Тоді інформація про блокування ресурсів пропадає. На цьому все! Нічого складно в цьому немає!
Якщо є питання або пропозиції, як це можна зробити по-іншому, пишіть їх в коментарях.