Чтобы на Ваш веб-ресурс пришли посетители из поиска, его должны проиндексировать Яндекс и Google.
Есть 5 главных причин, делающих ваш сайт "невидимым" для поисковиков:
1. А прошла ли индексация?
Не стоит паниковать раньше времени, для начала проверьте, возможно, проблем и нет.<>
Для этого Вам потребуется перейти в Яндекс.Вебмастер, раздел "Индексирование", а затем в подпункт "Страницы в поиске":
Для Google Console порядок следующий – зайти в пункт "Покрытие" и выбрать "Страница без ошибок":
Возможно, что робот и не посещал сайт вовсе
2. Проверка с использованием поискового оператора
Достаточно добавить оператора (site:) перед названием Вашего домена, например, (site:adwebs.ru), при поиске сайта в Google:
При поиске в Яндексе нужно пользоваться оператором (url:), например, (url:www.adwebs.ru/* | url:adwebs.ru/*):
Проблема есть в случае отсутствия каких-либо результатов по такому запросу, либо если в одной поисковой системе их будет существенно больше, нежели в другой.
3. Индексация запрещена в настройках файла robots.txt
Во время разработки сайта, чтобы предотвратить его преждевременную индексацию, его закрывают от сканирования поисковыми роботами следующими директивами:
User Agent:*
Disallow:/ Вторая строчка, из приведённого примера, запрещает посещать все страницы сайта поисковым роботам
Очень часто, после переноса сайта, данную директиву просто забывают убрать и сайт не индексируется.
Кроме этого, есть ещё несколько возможных причин подобного рода:
- Приватные настройки в движке сайта
- Есть запрет в командах файла .htaccess
- Домен может быть не делегированным (особенно это касается доменных имён, которые ранее использовались)
- Тег noindex работает неправильно и блокирует индексацию нужным страницам, но и всем остальным
4. Ошибки технического плана
Есть параметры, которые полностью блокируют индексацию. Всё нормализуется как только Вы их исправите. Примеры таких неполадок:
- Нестабильно работает хостинг
- Файла sitemap.xml нет или работает он неправильно
- Неверные настройки редиректа
- HTTP-заголовки настроены некорректно
- Не та кодировка тоже влияет на отображение, потому что впоследствии вместо нормальных символов на сайте будут "кракозябры"
5. Страницы низкого качества
Ещё одна из распространённых причин плохой индексации – контент на сайте плохого качества. Порой оно может быть настолько ужасным, что поисковые системы налагают запрет на сканирование проекта. Но это крайности, которые происходят редко.
Чаще всего, сайт просто падает вниз при выдаче, а выше располагаются конкуренты, у которых содержимое страниц лучше.
Возможные причины пессимизации при поиске:
- Изобилие ошибок 404 или битых ссылок.
- Контент не уникальный (Google и Яндекс попросту не видят смысла в добавлении на страницы выдачи дублирующегося контента).
- Сайт медленно загружается у пользователей.
- Структура заголовков идентична, метатеги повторяются.
В большинстве случаев достаточно исправить перечисленные причины, чтобы индексация наладилась.
Бонус. Ваш веб-ресурс могли забанить
У каждого поисковика есть свои особенности и правила, которые не стоит нарушать. Яндекс, например, оповещает, что с сайтом есть проблемы и их требуется исправлять, а вот Google не столь "добр" и придется постараться, чтобы обнаружить причины блокировки.
Чаще всего причины оказываются следующими:
- Наличие очень навязчивых блоков с рекламой.
- Семантическое ядро слишком заспамлено.
- Содержимое сайта нерелевантно и низкого качества.
- Проводилась накрутка посещений (один из чёрных методов продвижения).
- Код веб-ресурса содержит вирусы.
- Поисковик признал ресурс аффилиатом.
