Почему не индексируется сайт

Что делать, если сайт отсутствует в поисковых системах? Какие шаги предпринять и по каким причинам индексация не происходит? Подробно об этом рассказывается в данной статье.

В современном мире миллионы людей ищут информацию, используя для этого популярные поисковые системы. Если вы создаёте интересный, качественный и уникальный контент, доступ к которому предоставляете всем желающим на своём ресурсе, то, разумеется, возникает желание, чтобы его видели в поиске. Особенно, если это сайт вашей компании. И кстати, если вы хотите узнать всё о том, как сделать сайт-визитку, то переходите на advancesite.info - там вы найдёте независимые обзоры об инструментах, которые позволят сделать это быстро и легко!

Что делать, если вы написали тематический запрос по тому материалу, который старательно раскрывали на своём сайте, а в ответ получили множество чужих сайтов? Это значит, что ваш сайт не индексируется должным образом.

Первое, что нужно проверить, это сообщали ли вы системам поиска о своём существовании. Так как крупные порталы имеют дело с колоссальными объёмами информации, им затруднительно самостоятельно обнаружить новый интернет-сайт.

Если же вы сообщили поисковым системам о своём сайте или даже воспользовались специальными услугами, когда специалисты массово добавляют страницы вашего ресурса в разные поисковики, то стоит изучить целый ряд причин и проверить, существует ли один из этих факторов на вашем сайте.

Добавление интернет-ресурса в поисковики

В этом разделе мы рассмотрим две поисковые системы, Google и Yandex. Первая известна всему миру, а вторая ориентирована только на страны СНГ. Из этого вытекают определённые особенности.

Почему Гугл не индексирует сайт? Потому что нужно вручную добавить свой интернет-ресурс через Google Webmaster Tools. После того, как вы введёте адрес ресурса в форму и осуществите подтверждение своих прав путём установки временного специального кода на страницу, Google начнёт регулярно сканировать страницы сайта и в поиске по определённым запросам он будет показываться.

Если Яндекс не видит сайт и вы ранее не предпринимали попыток начать индексацию в этой системе, то следует перейти в Яндекс Вебмастер. После перехода по ссылке вам предложат ввести URL, а затем подтвердить свои права следующим способом. Yandex сформирует уникальный HTML-код, который требуется на некоторое время поместить на главную страницу сайта. Внешне он не будет заметен, но Яндекс это отличие увидит.

После добавления вы сможете регулярно отслеживать широкий спектр данных. Например, количество переходов.

Сайт добавлен, но всё равно не индексируется

Что делать, если сайт вроде бы проиндексирован, но его нет в поиске? В этом случае может быть одна из следующих причин:

• прошло мало времени;
• неправильно настроен файл robots.txt;
• если используется CMS, могут быть включены настройки приватности;
• фрагменты текста закрыты с помощью тэга <noindex>;
• существуют ошибки при сканировании;
• индексация закрыта в файле .htaccess;
• модули AJAX и JavaScript неправильно настроены;
• дубль информации на ресурсе;
• медленная загрузка интернет-страниц, плохой хостинг;
• отсутствует карта сайта;
• заблокирован домен;
• у сайта не указан язык;
• проблемы с контентом.

Рассмотрим более детально каждый из этих случаев.

Прошло мало времени

Сколько по времени индексируется сайт, после выполнения необходимых процедур в "Google Webmaster Tools" или в "Яндекс Вебмастер"? Обычно от двух недель до месяца. Возможно, что сайт появится в поиске и раньше, но не стоит особо на это надеяться. Если через месяц ничего не изменилось, пишите в поддержку поисковой системы или проверяйте другие причины из этого списка.

Про robots.txt

Также вас может интересовать то, как часто робот Яндекса индексирует сайт. Это происходит в зависимости от посещаемости и популярности сайта. Некоторые блоги сканируются каждые два часа.

В файле robots.txt можно прописать свои пожелания по поводу того, какие страницы сайта не должны индексироваться. При этом можно попросить поисковые системы не индексировать сайт полностью, а не только отдельные страницы. Если вы сделали это случайно, то перепроверьте документ и внесите необходимые коррективы.

Особенности CMS

Системы управления контентом, который сейчас довольно много, обладают функциями, позволяющими изолировать ресурс от индексации. Для этого рекомендуется проверить настройки приватности. В разных CMS отличается интерфейс, поэтому универсальный порядок действий мы вам дать не можем. Уточняйте это по поводу конкретной системы.

Тег noindex

Скрыть фрагмент страницы от поисковых систем возможно с помощью тэга <noindex>. Проверьте, не заключили ли вы в этот так по нелепой случайности всю страницу полностью (или вообще главную страницу, всякое бывает). Затем в мета-тэгах найдите строчку с фразой "content = no index" и уберите "no", если таковая присутствует.

Ошибки на сайте

Также могут возникать проблемы при сканировании страницы, обычно связанные с неправильно построенным HTML-кодом. Через сервис Google Webmaster Tools возможно обнаружить конкретные проблемы, из-за которых индексация страницы не происходит.

Файл .htaccess

Если по каким-то причинам вы создаёте ресурс только для закрытого круга лиц (масонская ложа, например) и вы не хотите, чтобы поисковики случайно забрели на сайт, вас наверняка интересует ответ на вопрос как сделать так, чтобы сайт не индексировался. Очень просто, это делается через файл .htaccess. Ну а если индексация вам нужна, то обязательно проверьте этот файл. В некоторых ситуациях запрет индексации может быть прописан в нём по умолчанию.

JavaScript на сайте

Если вы работаете с языками JavaScript или AJAX, воспользуйтесь справочными материалами в Google Webmaster Tools, которые помогут вам разобраться с проблемами.

Скорость работы сайта

Сайт не должен тормозить и грузиться медленно. У этого могут быть причины как со стороны хостинга, если он некачественный, так и со стороны кода. Неоптимизированный код способен нагружать страницу и не позволять поисковикам осуществить нормальную индексацию.

Карта сайта

У людей также возникает вопрос в духе "Почему гугл не индексирует все страницы?". Обязательно следует создать файл sitemap.xml, в котором будет присутствовать перечень всех страниц сайта. Если Яндекс проиндексировал только главную, то это также поможет решить проблему.

Не указан язык сайта

Кстати, эксклюзивная для Яндекса проблема - у сайта не указан русский язык в мета-тэгах или указан иностранный язык. В этом случае сайт автоматически либо не индексируется, либо сканируется частично. Решение проблемы простое - прописать параметр "Russian".

Чистота домена

В некоторых случаях купленный вами домен может оказаться использованным ранее. Вполне возможно, что он был в руках недобросовестных владельцев и в итоге сайт получил бан в поисковиках. Исправить это будет сложно. Сначала требуется проверить домен на наличие блокировки, а уже затем писать в поддержку поисковой системы.

Качество контента

И, разумеется, важно заботиться об уникальности своего контента. Поисковики очень любят, когда статьи и материалы обладают новизной. При этом текст не должен быть чем-то переспамлен, для обнаружения подобных страниц существуют специальные фильтры и алгоритмы.

Не создавайте копии страниц или зеркала других сайтов. В этом случае сайт не пройдёт фильтры поиковых систем.

Если ничего не помогает

В случае, если ни одна из этих причин не была обнаружена, но при этом сайт и дальше не индексируется, обратитесь в службу поддержки системы поиска. Специалисты обязательно обратят внимание на проблему и проведут проверку, так как может влиять и какой-то фактор со стороны самого поисковика.