З даною проблемою, а саме поганою індексацією сайту знайомий кожен або майже кожен веб-майстер і seо-представник. У більшості випадків, якщо сайт якісний, він буде індексуватися мінімум на 85%, але буває і так, що окремі сторінки або навіть весь веб-сайт не наполегливо ігноруються пошуковими роботами. Існують основні причини, через які ваш сайт або його сторінки можуть не входити в індекс:
Пошуковому роботу невідомо про документ або сайт
Пошуковому роботу взагалі може бути нічого невідомо про ваш сайт і на те є причини. Найчастіше з цією проблемою можна зіткнутися відразу після запуску сайту. Вся справа в тому, що пошуковим системам потрібен час щоб проіндексувати ваш сайт, частіше за все мова йде про 2-3 тижні. Також, буває так, що в міру розробки сайту, веб-майстр забороняє доступ до сайту пошуковим системам. Це необхідно зробити, щоб пошуковий робот не просканував зайві (чернетки) матеріали. Після завершення роботи над сайтом, деякі майстри забувають знову надати цей доступ.
Ваш ресурс або його окремі сторінки не доступні роботу
Коли у вас є сайт, необхідно виконати кілька простих дій. Для початку додайте сайт в Google Search Console, він буде надавати вам звіти і поради з пошукової оптимізації, а також допоможе Google швидше просканувати ваш сайт. Необхідно буде завантажити один файл в "корінь" сайту, тим самим, підтвердити що сайт належить вам.
Створіть карту сайту і додайте її в Google Search Console. У ній будуть зберігається посилання на всі сторінки сайту і вказівки для роботів, коли і як часто слід відвідувати сайт. Створювати карту вручну може бути досить складно, але цей процес легко автоматизується за допомогою готових плагінів або невеликого скрипта.
І останнє, але не менш важливе! Перевірте правильність складання файлу robots.txt, який знаходиться в корені сайту. У цьому файлі вказують сторінки, які можна індексувати і навпаки - не можна. Інструкції про те як правильно скласти даний файл легко знайти в мережі.
Веб-сайт внесений до чорного списку і пошукові системи наклали на нього санкції
Якщо просуванням вашого сайту займалася не дуже відповідальна людина, існує ризик, що ваш сайт знаходиться під санкціями пошукових систем. Під санкції легко потрапити в разі, якщо ви публікуєте неякісний або неунікальний контент, безконтрольно купуєте зовнішні посилання на інших ресурсах і використовуєте інші методи "чорного просування".
Повернути "все як було" в даному випадку, буде ох як непросто, і швидше навіть неможливо без допомоги грамотного SEO фахівця. Останній повинен провести детальний аудит сайту і його просування, щоб зрозуміти справжню причину накладення фільтру. У деяких випадках дешевше, швидше і простіше просто переїхати на новий домен. Але якщо ви готові боротися до кінця, будьте готові до того, що на зняття санкцій піде від декількох місяців до року.
Достаток технічних помилок у вихідному коді сторінок
Якщо ви, як і більшість людей, любите безкоштовні CMS і шаблони, будьте готові до того, що у вихідному коді сайту буде маса технічних помилок. Через них ваш сайт не тільки "криво працює" але і погано індексується, адже сканування відбувається ботами, які бачать лише вихідний код сторінки.
Перевірити кількість помилок на сторінці, можна за допомогою сервісу - validator.w3.org. Даним сервісом активно користуються програмісти, адже він допоможе швидко знайти і усунути всі технічні недоліки сайту. Допустиме значення - до 35 помилок на одній сторінці.
Неправильне налаштування сервера і заголовків
Доступ до сайту або його окремих сторінок може бути заблокований роботам на рівні сервера. Це може бути просто блокування бота або запит пароля на доступ, в будь-якому випадку - це неприпустимо. Також, необхідно бути впевненим, що сервер віддає сторінки досить швидко, інакше роботи підуть не чекаючи відповіді.
Також, важливо перевірити правильну віддачу заголовків вашим сервером. Наприклад, якщо сторінки не існує, сервер повинен у відповідь видати помилку 404. Перевірте відсутність редиректів, які перенаправляють окремі сторінки сайту або весь сайт на іншу адресу.
Перейти до вибору публікації