Як роботи бачать світ? Як перейти на нову версію Search Console Топ платних CMS-систем
Доброго дня, читачі. Я завжди отримую багато питань від вебмайстрів, власників сайтів та блогерів про помилки та повідомлення, які з'являються в Яндекс.Вебмайстер. Багатьох такі повідомлення лякають.
Але, хочу сказати, не всі повідомлення бувають критичними для сайту. І в найближчих статтях я намагатимусь максимально повно охопити всі можливі питання, які можуть виникати у вебмайстрів. У цій статті йтиметься про розділи:
- Діагностика — Діагностика сайту
- Індексування — Сторінки в пошуку
Про те, і навіщо вона потрібна, я писала ще кілька тому. Якщо ви не знайомі з цим інструментом, спочатку ознайомтеся зі статтею за посиланням.
Діагностика сайту
Можливі проблеми
1. У файлі robots.txt не встановлено директиву Host
Дане зауваження Яндекс примітне тим, що директива Host не є стандартизованою директивою, її підтримує лише пошукова система Яндекс. Потрібна вона у тому випадку, якщо Яндекс неправильно визначає дзеркало сайту.
Як правило, дзеркало сайту визначається Яндексом автоматично на основі URL, які формує сама CMS, та на основі зовнішніх посилань, які ведуть на сайт. Щоб вказати головне дзеркало сайту, не обов'язково вказувати це у файлі robots.txt. Основний спосіб - використовувати 301 редирект, який або автоматично налаштований в CMS, або необхідний код вноситься в файл.htachess.
Звертаю увагу, що вказувати директиву у файлі robots.txt потрібно в тих випадках, коли Яндекс неправильно визначає головне дзеркало сайту, і ви не можете вплинути на це іншим способом.
CMS, з якими мені доводилося працювати останнім часом, WordPress, Joomla, ModX, за умовчанням редагують адресу з www на без, якщо в налаштуваннях системи вказана адреса сайту без приставки. Упевнена, всі сучасні CMS мають таку можливість. Навіть улюблений мною Blogger правильно редагує адресу блогу, розташованого на власному домені.
2. Відсутні мета-теги
Проблема не критична, лякатися її не потрібно, але якщо є можливість, то краще її виправити, ніж не звертати увагу. Якщо у вашій CMS за умовчанням не передбачено створення мета-тегів, то почніть шукати плагін, додаток, розширення або як це називається у вашій CMS, щоб мати можливість вручну задавати опис сторінки, або щоб опис формувався автоматично з перших слів статті.
3. Немає файлів, що використовуються роботом Sitemap
Звісно, краще цю помилку виправити. Але зверніть увагу, що проблема може виникати і в випадках, коли файл sitemap.xml є, так і в тих, коли його дійсно немає. Якщо файл у вас є, але Яндекс його не бачить, просто перейдіть до розділу Індексування - Файли Sitemap. І вручну додайте файл до Яндекс.Вебмайстер. Якщо такого файлу у вас взагалі немає, то в залежності від CMS, шукайте варіанти рішення.
Файл sitemap.xml знаходиться за адресою http://vash-domen.ru/sitemap.xml
4. Не знайдено файл robots.txt
Все ж таки цей файл повинен бути, і якщо у вас є можливість його підключити, краще це зробити. І зверніть увагу на пункт із директивою Host.
Файл robots.txt знаходиться за адресою http://vash-domen.ru/robots.txt
На цьому фонтан помилок на вкладці Діагностика сайту у мене вичерпався.
Індексування
Сторінки в пошуку
Почнемо саме із цього пункту. Так буде легше структурувати інформацію.
Виділяємо у фільтрі «Всі сторінки»
Опускаємось нижче, праворуч на сторінці «Завантажити таблицю» Вибираємо XLS та відкриваємо файл у Excel.
Отримуємо список сторінок, які у пошуку, тобто. Яндекс про них знає, ранжує, показує користувачам.
Дивимося, скільки записів у таблиці. У мене вийшло 289 сторінок.
А як зрозуміти, скільки має бути? Кожен сайт є унікальним і тільки ви можете знати, скільки сторінок ви опублікували. Я покажу на прикладі свого блогу WordPress.
У блозі на момент написання статті є:
- Записи - 228
- Сторінки — 17
- Рубрики - 4
- Мітки - 41
- + головна сторінка сайту
У сумі маємо 290 сторінок, які мають бути в індексі. У порівнянні з даними таблиці різниця всього в 1 сторінку. Сміливо можна вважати це дуже добрим показником. Але й радіти зарано. Буває так, що математично все збігається, а починаєш аналізувати, з'являються нестиковки.
Є два шляхи, щоб знайти ту одну сторінку, якої немає у пошуку. Розглянемо обидва.
Спосіб перший. У тій же таблиці, яку я завантажила, розділила пошук на кілька етапів. Спершу відібрала сторінки Рубрик. У мене лише 4 рубрики. Для оптимізації роботи використовуйте текстові фільтри в Excel.
Потім Мітки, виключила з пошуку Сторінки, в результаті таблиці залишилися одні статті. І тут скільки б статей не було, доведеться переглянути кожну, щоб знайти ту, якої немає в індексі.
Звертаю увагу, що у кожній CMS своя структура. У кожного вебмайстра свої SEO, canonical, файли robots.txt.
Знову ж таки, якщо на прикладі WordPress, зверніть увагу, які розділи сайту у вас індексуються, а які закриті. Тут можуть бути і сторінки Архіву за місяцями та роками, сторінки Автора, пейджинг сторінок. У мене всі ці розділи закриті налаштуваннями мета тега robots. У вас може бути інакше, тому рахуйте все, що у вас не заборонено для індексації.
Якщо взяти для прикладу Blogger, то власникам блогів потрібно вважати лише опубліковані Повідомлення, Сторінки та головну. Всі інші сторінки архівів та тегів закриті для індексації налаштувань.
Спосіб другий. Повертаємося до Вебмайстера, у фільтрі вибираємо «Виключені сторінки».
Тепер ми отримали список сторінок, які виключені із пошуку. Список може бути більшим, набагато більше, ніж зі сторінками, включеними в пошук. Не треба боятися, що щось не так із сайтом.
При написанні статті я намагалася працювати в інтерфейсі Вебмайстра, але не отримала бажаного функціоналу, можливо це тимчасове явище. Тому, як і в попередньому варіанті, працюватиму з табличними даними, завантажити таблицю можна також внизу сторінки.
Знову ж таки, на прикладі свого блогу на WordPress я розгляну типові причини виключення.
В отриманій таблиці нам насамперед важлива колонка D - "httpCode". Хто не знає, що таке відповіді сервера, прочитайте у вікіпедії. Тож вам буде легше зрозуміти подальший матеріал.
Почнемо з коду 200. Якщо ви можете потрапити на якусь сторінку в інтернеті без авторизації, така сторінка буде зі статусом 200. Всі такі сторінки можуть бути виключені з пошуку з наступних причин:
- Заборонені мета тегом robots
- Заборонено до індексації у файлі robots.txt
- Є неканонічними, встановлений мета тег canonical
Ви, як власник сайту, повинні знати, які сторінки які налаштування мають. Тому розібратися у списку виключених сторінок має бути не складно.
Налаштовуємо фільтри, вибираємо в колонці D - 200
Тепер нас цікавить колонка E - "status", сортуємо.
Заголовок BAD_QUALITY— Недостатньо якісна. Найнеприємніший із усіх статус. Давайте розберемо його.
У мене в таблиці виявилося лише 8 URL зі статусом Недостатньо якісна. Я їх пронумерувала у правій колонці.
URL 1, 5, 7 - Сторінки фіда, 2,3,4,5,8 - службові сторінки в директорії сайту wp-json. Всі ці сторінки не є HTML документами і, в принципі, не повинні бути в цьому списку.
Тому уважно перегляньте свій список сторінок та виділіть лише HTML сторінки.
Статус META_NO_INDEX.З індексу виключені сторінки пейджингу, сторінка автора, через налаштування мета тега robots
Але є у цьому списку сторінка, якою не має бути. Я виділила url блакитним кольором.
Заголовок NOT_CANONICAL.Назва говорить сама за себе. Неканонічні сторінки. На будь-яку сторінку сайту можна встановити мета canonical тег, в якому вказати канонічний URL.