← Назад
Алексей сео-специалист

Всем привет, меня зовут Алексей. Я ведущий SEO-специалист в компании New Point.

Сегодня я Вам расскажу о проблемах связанных с индексацией сайта и постараюсь помочь их решить. Приятного прочтения!

Почему не виден сайт в поиске?

Начинающие веб-мастера сталкиваются с проблемой: сайт создан и наполнен, а поисковик будто и не заметил новый ресурс. В таких случаях не стоит бить тревогу раньше времени, поисковым системам в любом случае необходимо время, чтобы увидеть сайт, начать его индексацию и внести его в свою базу.

Однако, если с момента запуска сайта прошло больше месяца, стоит задуматься о других причинах. Рекомендую сразу проверить сайт по чек-листу Яндекса, который поможет в индексировании и лучшем ранжировании ресурса.

17 причин того, что сайт не отображается

1. Время размещения сайта

Любой поисковой системе необходимо время, чтобы обнаружить новый сайт и запустить индексацию его содержимого. Чтобы помочь поисковикам быстрее заметить Ваш сайт, добавьте его самостоятельно:

Инструкция для Яндекс.Вебмастер:

Шаг 1: После авторизации в сервисе нажимаем на «+» в левом верхнем углу экрана
Шаг 2: Вводим в форму адрес нашего сайта и нажимаем кнопку «Добавить»
Шаг 3: Подтверждаем права на сайт одним из представленных способов

Инструкция для Google Search Console:

Шаг 1: Проходим авторизацию и нажимаем «Добавить ресурс»
Шаг 2: Подтверждаем права на сайт по данной инструкции

2. Медленная индексация

Иногда положение в поисковой выдаче напрямую зависит от скорости индексации страниц, особенно с конкурентным контентом. Поэтому необходимо сразу устранять возможные задержки, которые могут быть вызваны следующими причинами:

  • некорректная структура сайта;
  • нарушенная навигация между страницами;
  • отсутствие карты сайта;
  • большой уровень вложенности страниц;
  • некачественный хостинг.

Также на скорость индексации влияет наличие внешних ссылок на ресурс. Чтобы поисковые системы скорее нашли Ваш сайт, можно добавить на его новые страницы ссылки из часто обновляемых страниц в социальных сетях. Социальные ресурсы крайне динамичны, поэтому роботы поисковики практически не покидают их.

Статья по теме: «Как продвигать сайт с помощью ссылок»

3. Скрытость от поисковых систем

Иногда веб-мастера забывают об отключенной индексации в структуре кода сайта или в файлах, которые приложены к нему.

Файл robots.txt

Файл robots.txt располагается в корневом каталоге Вашего сайта и необходим, чтобы регулировать работу поисковых роботов. В этом файле Вы можете скрыть от них страницы сайта на время работы с ними, чтобы остановить процесс индексации.

Если в файле robots.txt есть строка:

Disallow: /blog/

То содержимое данного раздела (в нашем случае раздела /blog) недоступно для роботов-индексаторов.

Для запуска индексации необходимо удалить из файла данную строку или заменить тег Disallow на обратный ему — Allow:

Allow: /blog/

Блокировка в html-коде

Если html-коде страницы указан тег <noindex>, атрибут rel = “nofollow”
или мета-тег <meta name = “robots” content = “noindex, nofollow”>, то индексация страниц отключена.

  • Тег <noindex> необходим, чтобы скрыть лишь часть содержимого, которое заключили внутрь него.  При этом, этот тег виден только Яндексу и Рамблеру, Google не распознает этот тег, поэтому содержимое будет индексироваться;
  • Атрибут rel = “nofollow” дает указание поисковому роботу не индексировать ссылку для которой он прописан.
  • Мета-тег <meta name = “robots” content = “noindex, nofollow” / > располагается внутри тега <head> той страницы, которая должна быть недоступна для индексации.

Блокировка ресурса в CMS

Если Вы используете систему управления, в ее настройках есть пункт, который отвечает за скрытие ресурса от поисковых систем. Такая функция нужна для того, чтобы исключить индексацию страниц, пока сайт находится в разработке. Поэтому убедитесь, что Вы отключили этот атрибут перед запуском проекта и индексация началась.

Пример для WordPress

Настройка сервера

Этот служебный файл располагается в корневом каталоге Вашего сайта .htaccess и может быть скрыт из-за пустого названия. Поэтому необходимо включить поиск скрытых файлов для его обнаружения. Если внутри файла прописаны строчки типа:

 SetEnvIfNoCase User-Agent "^Googlebot" search_bot

То содержимое скрыто от поисковых роботов. Удалив эти строчки, Вы разрешите доступ.

Заголовок X-Robots-Tag

X-Robots-Tag используется в качестве элемента http-ответа для заданного url. У этого заголовка есть те же атрибуты, что и у мета-тега robots, то есть noindex, nofollow.

Если в html-коде прописана строка:

X-Robots-Tag: noindex

Значит страница не доступна для роботов-индексаторов. Соответственно, чтобы открыть доступ необходимо удалить эту строчку кода. 

В большинстве случаев исправление этих ошибок запускает процесс индексации, и сайт появляется в поисковой выдаче.

4. Плохая навигация на страницах

Сайт может плохо ранжироваться и индексироваться в поисковой выдаче по причине сложной структуры и вложенности страниц. Для избежания подобной ситуации рекомендуется сразу создать html карту сайта, чтобы поисковые системы смогли распознать структуру сайта и индексировать его содержимое.

5. Технические неполадки

Технические неполадки чаще всего возникают из-за невнимательности. Решить их легко, но не всегда просто заметить. Ошибки технического характера могут возникнуть из-за неправильной кодировки, неправильных редиректов, наличия ненужных символов в DOCTYPE, ошибки http-заголовка.

Статья по теме: «Как найти ошибки на сайте»

6. Блокировка ресурса государственными органами

Размещая на сайте запрещенную информацию, в том числе распространение пиратских материалов, нелицензионного программного обеспечения и контрафакта, будьте готовы к тому, что ресурс могут заблокировать. 

Роскомнадзор, Прокуратура, Министерство Внутренних Дел, Федеральная Налоговая Служба, Генеральная Прокуратура и Роспотребнадзор в праве заблокировать Ваш сайт, если на нем будет размещена информация с сомнительным содержимым, например, призыв к суициду, экстремизм, рецепты запрещенных веществ и так далее. Также блокируются ресурсы с пропагандой или осуществлением противозаконной деятельности. Например, азартные игры, продажа наркотиков, оружия, санкционных товаров.

Чтобы узнать о блокировке, достаточно перейти на сайт: вместо содержимого будет стоять заглушка со ссылкой на документ.

7. Наличие большого количества рекламы

Наличие блоков с навязчивой рекламой в большом количестве, может спровоцировать рост отказов и снижение среднего времени пребывания на сайте. В дальнейшем из-за ухудшения поведенческих факторов сайт падает в выдаче.

На сайте рекомендуется размещать рекламные объявления от двух компаний — Яндекс Директ и Google Adsense. Скорее всего, поисковые системы не тронут такую рекламу и сайт останется в поисковой выдаче.

Статья по теме: «7 методов воздействия на поведенческие факторы для продвижения сайта»

8. Фильтр поисковых систем

С помощью фильтров поисковые системы оценивают соответствие сайта их правилам. На основании этой оценки сайты ранжируются в поисковой выдаче. У двух главных поисковых систем — Яндекс и Google, таких фильтров много. Они встроены в алгоритм поисковой системы и дают сигнал, если сайт не соответствует требованиям. После этого принимается решение о наложении санкций: снижение позиции ресурса в выдаче или его блокировка. 

Рекомендуется подключать свой сайт к сервисам типа Яндекс.Вебмастера. Они позволят Вам следить за изменениями, которые связаны с посещаемостью, статусом индексирования и другими полезными данными.

9. Низкий процент уникальности материалов на сайте

Если на Вашем сайте расположен материал, который частично или полностью скопирован с других источников, поисковая система считает, что Ваш ресурс не несет пользы для людей. Как следствие, Ваш сайт либо теряет позиции в поисковой выдаче, либо блокируется.

Для разных типов текста поисковыми системами допускается разная уникальность: 

  • уникальность объемных текстов должна быть 80-100%;
  • для коротких текстов, например, новостных записей и дублирующихся описаний товаров, допускается уникальность 50%.

Проверить уникальность текста можно с помощью антиплагиата на бирже Text.ru.

Статья по теме: «Как продвигать сайт с помощью статей»

10. Наличие множества страниц-клонов

Роботы поисковых систем не очень любят дублирующийся контент. Поэтому, сайты, которые пренебрегают этим и создают копии страниц, чтобы создать видимость наполненности, чаще всего не выходят в ТОП поисковой выдачи.

11. Низкая посещаемость и небольшой объем информации на сайте

Отсутствие на сайте набора ключевых фраз, качественного и достаточного наполнения его контентом, а также плохая реализация проекта в целом провоцирует низкую посещаемость ресурса, из-за которой он не может подняться в поисковой выдаче среди конкурентов. Чтобы исправить эту ситуацию, необходимо проанализировать поисковые запросы пользователей по Вашей тематике. Сделать это можно с помощью сервиса Яндекс Wordstat, который предоставит все запросы пользователей, включающих заданное слово или словосочетание.

Статья по теме: «Как продвигать сайт в поисковых системах»

12. Большая конкуренция

Когда Вы заполняете сайт, используя только высокочастотные запросы, то скорее всего Вам придется конкурировать за место в ТОПе. Это связано прежде всего с тем, что Ваши конкуренты уже использовали этот ключ ранее. В результате их ресурс выше, если пользователи чаще его посещают.

13. Нет мобильной версии ресурса

Невозможно отрицать, что за последние годы трафик с мобильных устройств увеличился. Исследование компании MediaScope подтверждает это, говоря об использовании мобильного интернета в 61% случаев. Чтобы удовлетворить запросы большей аудитории был создан поисковый алгоритм, который называется Mobile-first indexing. Новые изменения направлены на приоритетную выдачу сайтов, которые оптимизированы под мобильные устройства.

14. Низкая скорость загрузки страниц

От скорости загрузки страницы также зависит позиция сайта в поиске. Логика поисковых систем проста: если пользователи долго ждут загрузку и покидают страницу, так и не дождавшись — ресурс плохой и необходимо понизить его в выдаче.

Оптимальной скоростью принято считать время загрузки не более 3-х секунд.

15. Содержимое не соответствует заявленному

Если на ресурсе располагается материал, который не относится к заголовку страницы — Вероятнее всего сайт даже не попадет в топ, если заголовки нерелевантны содержанию 

16. Переоптимизация

Ваш сайт может упасть в поисковой выдаче из-за высокой плотности вхождения ключевых слов. Такое случается, когда Ваш сайт попадает под алгоритм Яндекса Баден-Баден. Он следит за качеством SEO-текста, если тот плохой, то позиции сайта в поисковой выдаче ухудшаются.

Итог

Алгоритмы поисковых систем постоянно совершенствуются, поэтому необходимо проводить тщательную работу с ресурсом, чтобы он оказался в поисковой выдаче:

  • Проверьте файлы robots.txt, htaccess, sitemap.xml на наличие блокировки, а также проверьте код страниц на наличие мета-тега NOINDEX и атрибут сокрытия ресурса в CMS;
  • Для решения технических неполадок обратитесь к специалистам, которые смогут грамотно оптимизировать сайт;
  • Если сайт попал под фильтр, выясните под какой именно и устраните причину. Например, откажитесь от изобилия рекламы или снизьте количество ключей на странице:
  • Если сайт находится в поисковой выдаче слишком глубоко, начните комплексную работу по продвижению ресурса;
  • Постоянно анализируйте и оценивайте состояние сайта с помощью Яндекс.Вебмастер, Google Search Console, а также Яндекс.Метрика и Google Analytics.

Общая оценка / 5. Всего проголосовало

Отправить ответ

avatar