С данной проблемой, а именно плохой индексацией сайта знаком каждый или почты каждый вебмастер и seoшник. В большинстве случаем, если сайт качественный, он будет индексироваться минимум на 85%, но бывает и так, что отдельные страницы или даже весь сайт не упорно игнорируются поисковыми роботами. Существуют основные причины, из-за которых ваш сайт или его страницы может не входить в индекс:
Поисковому роботу неизвестно о документе или сайте.
Поисковому роботу вообще может быть ничего неизвестно о вашем сайте и на то есть причины. Чаще всего с данной проблемой можно столкнутся сразу после запуска сайта. Все дело в том, что поисковикам необходимо время чтобы проиндексировать ваш сайт, чаще всего речь идет об 2-3 неделях. Также, бывает так, что по мере разработки сайта, вебмастера запрещают доступ к сайту поисковым системам. Это необходимо сделать, чтобы поисковый робот не просканировал лишние (черновые) материалы. После завершения работы над сайтом, некоторые мастера забывают вновь предоставить этот доступ.
Ваш ресурс или его отдельные страницы не доступны роботу.
Когда у вас есть сайт, необходимо выполнить несколько простых действий. Для начала добавьте сайт в Google Search Console, он будет предоставлять вам отчеты и советы по поисковой оптимизации, а также поможет Google быстрее просканировать ваш сайт. Необходимо будет загрузить один файл в "корень" сайта, тем самым, подтвердить что сайт принадлежит вам.
Создайте карту сайта и добавьте ее в Google Search Console. В ней будут хранится ссылки на все страницы сайта и указания для роботов, когда и как часто следует посещать сайт. Создавать карту вручную может быть довольно хлопотно, но этот процесс легко автоматизируется с помощью готовых плагинов или небольшого скрипта.
И последнее, но не менее важное! Проверьте правильность составления файла robots.txt, который находится в корне сайта. В этом файле указывают страницы, которые можно индексировать и наоборот - нельзя. Инструкции о том как правильно составить данный файл легко найти в сети.
Веб-сайт внесен в черный список и поисковые системы наложили на него санкции
Если продвижением вашего сайта занимался не очень ответственный человек, существует риск, что ваш сайт находится под санкциями поисковых систем. Под санкции легко попасть в случае, если вы публикуете некачественный или неуникальный контент, бесконтрольно покупаете внешние ссылки на других ресурсах и используете другие методы "черного продвижения".
Вернуть "все как было" в данном случае, будет ох как непросто, и скорее даже невозможно без помощи грамотного SEO специалиста. Последний должен провести детальный аудит сайта и его продвижения чтобы понять истинную причину наложения фильтра. В некоторых случаях дешевле, быстрее и проще просто переехать на новый домен. Но если вы готовы бороться до конца, будьте готовы к тому, что на снятие санкций уйдет от нескольких месяцев до года.
Изобилие технических ошибок в исходном коде страниц
Если вы, как и большинство людей, любите бесплатные CMS и шаблоны, будьте готовы к тому, что в исходном коде сайта будет масса технических ошибок. Из-за них ваш сайт не только "криво работает" но и плохо индексируется, ведь сканирование происходит ботами, которые видят лишь исходный код страницы.
Проверить количество ошибок на странице, можно с помощью сервиса - validator.w3.org. Данным сервисом активно пользуются программисты, ведь он поможет быстро найти и устранить все технические недочеты сайта. Допустимое значение - до 35 ошибок на одной странице.
Неправильная настройка сервера и заголовков
Доступ к сайту или его отдельным страницам может быть заблокирован роботам на уровне сервера. Это может быть просто блокировка бота или запрос пароля на доступ, в любом случае - это недопустимо. Также, необходимо быть уверенным что сервер отдает страницы достаточно быстро, иначе роботы уйдут не дожидаясь ответа.
Также, важно проверить правильную отачу заголовков вашим сервером. Например, если страницы не существует, сервер должен в ответ выдать ошибку 404. Проверьте отсутсвие редиректов, которые перенаправляют отдельные страницы сайта или весь сайт на другой адрес.
Перейти к выбору публикации