Сегодня я Вам расскажу о проблемах связанных с индексацией сайта и постараюсь помочь их решить. Приятного прочтения!

Почему не виден сайт в поиске?

Содержание

17 причин того, что сайт не отображается
Итог

Начинающие веб-мастера сталкиваются с проблемой: сайт создан и наполнен, а поисковик будто и не заметил новый ресурс. В таких случаях не стоит бить тревогу раньше времени, поисковым системам в любом случае необходимо время, чтобы увидеть сайт, начать его индексацию и внести его в свою базу.

Однако, если с момента запуска сайта прошло больше месяца, стоит задуматься о других причинах. Рекомендую сразу проверить сайт.

17 причин того, что сайт не отображается

1. Время размещения сайта

Любой поисковой системе необходимо время, чтобы обнаружить новый сайт и запустить индексацию его содержимого. Чтобы помочь поисковикам быстрее заметить Ваш сайт, добавьте его самостоятельно:

Инструкция для Яндекс.Вебмастер:

Шаг 1: После авторизации в сервисе нажимаем на «+» в левом верхнем углу экрана

Шаг 2: Вводим в форму адрес нашего сайта и нажимаем кнопку «Добавить»

Шаг 3: Подтверждаем права на сайт одним из представленных способов

Инструкция для Google Search Console:

Шаг 1: Проходим авторизацию и нажимаем «Добавить ресурс»

Шаг 2: Подтверждаем права на сайт по данной инструкции

2. Медленная индексация

Иногда положение в поисковой выдаче напрямую зависит от скорости индексации страниц, особенно с конкурентным контентом. Поэтому необходимо сразу устранять возможные задержки, которые могут быть вызваны следующими причинами:

некорректная структура сайта;
нарушенная навигация между страницами;
отсутствие карты сайта;
большой уровень вложенности страниц;
некачественный хостинг.

Также на скорость индексации влияет наличие внешних ссылок на ресурс. Чтобы поисковые системы скорее нашли Ваш сайт, можно добавить на его новые страницы ссылки из часто обновляемых страниц в социальных сетях. Социальные ресурсы крайне динамичны, поэтому роботы поисковики практически не покидают их.

Статья по теме: «Как продвигать сайт с помощью ссылок»

3. Скрытость от поисковых систем

Иногда веб-мастера забывают об отключенной индексации в структуре кода сайта или в файлах, которые приложены к нему.

Файл robots.txt

Файл robots.txt располагается в корневом каталоге Вашего сайта и необходим, чтобы регулировать работу поисковых роботов. В этом файле Вы можете скрыть от них страницы сайта на время работы с ними, чтобы остановить процесс индексации.

Если в файле robots.txt есть строка:

Disallow: /blog/

То содержимое данного раздела (в нашем случае раздела /blog) недоступно для роботов-индексаторов.

Для запуска индексации необходимо удалить из файла данную строку или заменить тег Disallow на обратный ему — Allow:

Allow: /blog/

Блокировка в html-коде

Если html-коде страницы указан тег <noindex>, атрибут rel = “nofollow”
или мета-тег <meta name = “robots” content = “noindex, nofollow”>, то индексация страниц отключена.

Тег <noindex> необходим, чтобы скрыть лишь часть содержимого, которое заключили внутрь него. При этом, этот тег виден только Яндексу и Рамблеру, Google не распознает этот тег, поэтому содержимое будет индексироваться;

Атрибут rel = “nofollow” дает указание поисковому роботу не индексировать ссылку для которой он прописан.

Мета-тег <meta name = “robots” content = “noindex, nofollow” / > располагается внутри тега <head> той страницы, которая должна быть недоступна для индексации.

Блокировка ресурса в CMS

Если Вы используете систему управления, в ее настройках есть пункт, который отвечает за скрытие ресурса от поисковых систем. Такая функция нужна для того, чтобы исключить индексацию страниц, пока сайт находится в разработке. Поэтому убедитесь, что Вы отключили этот атрибут перед запуском проекта и индексация началась.

Настройка сервера

Этот служебный файл располагается в корневом каталоге Вашего сайта .htaccess и может быть скрыт из-за пустого названия. Поэтому необходимо включить поиск скрытых файлов для его обнаружения. Если внутри файла прописаны строчки типа:

 SetEnvIfNoCase User-Agent "^Googlebot" search_bot

То содержимое скрыто от поисковых роботов. Удалив эти строчки, Вы разрешите доступ.

Заголовок X-Robots-Tag

X-Robots-Tag используется в качестве элемента http-ответа для заданного url. У этого заголовка есть те же атрибуты, что и у мета-тега robots, то есть noindex, nofollow.

Если в html-коде прописана строка:

X-Robots-Tag: noindex

Значит страница не доступна для роботов-индексаторов. Соответственно, чтобы открыть доступ необходимо удалить эту строчку кода.

В большинстве случаев исправление этих ошибок запускает процесс индексации, и сайт появляется в поисковой выдаче.

4. Плохая навигация на страницах

Сайт может плохо ранжироваться и индексироваться в поисковой выдаче по причине сложной структуры и вложенности страниц. Для избежания подобной ситуации рекомендуется сразу создать html карту сайта, чтобы поисковые системы смогли распознать структуру сайта и индексировать его содержимое.

5. Технические неполадки

Технические неполадки чаще всего возникают из-за невнимательности. Решить их легко, но не всегда просто заметить. Ошибки технического характера могут возникнуть из-за неправильной кодировки, неправильных редиректов, наличия ненужных символов в DOCTYPE, ошибки http-заголовка.

Статья по теме: «Как найти ошибки на сайте»

Необходим аудит сайта?

Оставь заявку и наш специалист проконсультирует вас БЕСПЛАТНО.

Телефон*:

6. Блокировка ресурса государственными органами

Размещая на сайте запрещенную информацию, в том числе распространение пиратских материалов, нелицензионного программного обеспечения и контрафакта, будьте готовы к тому, что ресурс могут заблокировать.

Роскомнадзор, Прокуратура, Министерство Внутренних Дел, Федеральная Налоговая Служба, Генеральная Прокуратура и Роспотребнадзор в праве заблокировать Ваш сайт, если на нем будет размещена информация с сомнительным содержимым, например, призыв к суициду, экстремизм, рецепты запрещенных веществ и так далее. Также блокируются ресурсы с пропагандой или осуществлением противозаконной деятельности. Например, азартные игры, продажа наркотиков, оружия, санкционных товаров.

Чтобы узнать о блокировке, достаточно перейти на сайт: вместо содержимого будет стоять заглушка со ссылкой на документ.

7. Наличие большого количества рекламы

Наличие блоков с навязчивой рекламой в большом количестве, может спровоцировать рост отказов и снижение среднего времени пребывания на сайте. В дальнейшем из-за ухудшения поведенческих факторов сайт падает в выдаче.

На сайте рекомендуется размещать рекламные объявления от двух компаний — Яндекс Директ и Google Adsense. Скорее всего, поисковые системы не тронут такую рекламу и сайт останется в поисковой выдаче.

Статья по теме: «7 методов воздействия на поведенческие факторы для продвижения сайта»

8. Фильтр поисковых систем

С помощью фильтров поисковые системы оценивают соответствие сайта их правилам. На основании этой оценки сайты ранжируются в поисковой выдаче. У двух главных поисковых систем — Яндекс и Google, таких фильтров много. Они встроены в алгоритм поисковой системы и дают сигнал, если сайт не соответствует требованиям. После этого принимается решение о наложении санкций: снижение позиции ресурса в выдаче или его блокировка.

Рекомендуется подключать свой сайт к сервисам типа Яндекс.Вебмастера. Они позволят Вам следить за изменениями, которые связаны с посещаемостью, статусом индексирования и другими полезными данными.

9. Низкий процент уникальности материалов на сайте

Если на Вашем сайте расположен материал, который частично или полностью скопирован с других источников, поисковая система считает, что Ваш ресурс не несет пользы для людей. Как следствие, Ваш сайт либо теряет позиции в поисковой выдаче, либо блокируется.

Для разных типов текста поисковыми системами допускается разная уникальность:

уникальность объемных текстов должна быть 80-100%;
для коротких текстов, например, новостных записей и дублирующихся описаний товаров, допускается уникальность 50%.

Проверить уникальность текста можно с помощью антиплагиата на бирже Text.ru.

Статья по теме: «Как продвигать сайт с помощью статей»

10. Наличие множества страниц-клонов

Роботы поисковых систем не очень любят дублирующийся контент. Поэтому, сайты, которые пренебрегают этим и создают копии страниц, чтобы создать видимость наполненности, чаще всего не выходят в ТОП поисковой выдачи.

Ваш сайт не виден в поиске?

Оставь заявку и получи консультацию БЕСПЛАТНО.

Телефон*:

11. Низкая посещаемость и небольшой объем информации на сайте

Отсутствие на сайте набора ключевых фраз, качественного и достаточного наполнения его контентом, а также плохая реализация проекта в целом провоцирует низкую посещаемость ресурса, из-за которой он не может подняться в поисковой выдаче среди конкурентов. Чтобы исправить эту ситуацию, необходимо проанализировать поисковые запросы пользователей по Вашей тематике. Сделать это можно с помощью сервиса Яндекс Wordstat, который предоставит все запросы пользователей, включающих заданное слово или словосочетание.

Статья по теме: «Как продвигать сайт в поисковых системах»

12. Большая конкуренция

Когда Вы заполняете сайт, используя только высокочастотные запросы, то скорее всего Вам придется конкурировать за место в ТОПе. Это связано прежде всего с тем, что Ваши конкуренты уже использовали этот ключ ранее. В результате их ресурс выше, если пользователи чаще его посещают.

13. Нет мобильной версии ресурса

Невозможно отрицать, что за последние годы трафик с мобильных устройств увеличился. Исследование компании MediaScope подтверждает это, говоря об использовании мобильного интернета в 61% случаев. Чтобы удовлетворить запросы большей аудитории был создан поисковый алгоритм, который называется Mobile-first indexing. Новые изменения направлены на приоритетную выдачу сайтов, которые оптимизированы под мобильные устройства.

14. Низкая скорость загрузки страниц

От скорости загрузки страницы также зависит позиция сайта в поиске. Логика поисковых систем проста: если пользователи долго ждут загрузку и покидают страницу, так и не дождавшись — ресурс плохой и необходимо понизить его в выдаче.

Оптимальной скоростью принято считать время загрузки не более 3-х секунд.

15. Содержимое не соответствует заявленному

Если на ресурсе располагается материал, который не относится к заголовку страницы — Вероятнее всего сайт даже не попадет в топ, если заголовки нерелевантны содержанию.

16. Переоптимизация

Ваш сайт может упасть в поисковой выдаче из-за высокой плотности вхождения ключевых слов. Такое случается, когда Ваш сайт попадает под алгоритм Яндекса Баден-Баден. Он следит за качеством SEO-текста, если тот плохой, то позиции сайта в поисковой выдаче ухудшаются.

Итог

Алгоритмы поисковых систем постоянно совершенствуются, поэтому необходимо проводить тщательную работу с ресурсом, чтобы он оказался в поисковой выдаче:

Проверьте файлы robots.txt, htaccess, sitemap.xml на наличие блокировки, а также проверьте код страниц на наличие мета-тега NOINDEX и атрибут сокрытия ресурса в CMS;

Для решения технических неполадок обратитесь к специалистам, которые смогут грамотно оптимизировать сайт;

Если сайт попал под фильтр, выясните под какой именно и устраните причину. Например, откажитесь от изобилия рекламы или снизьте количество ключей на странице: