13 причин почему Google не индексирует сайт

«Почему мой сан не индексируется?!»

Индексация сайта наиболее важная особенность SEO во все времена. Для органического поиска индексация, жизненно необходима. Если ваш сайт не индексируется, вы теряете органический трафик, что немаловажно для SEO. Так же никто не сможет найти и посмотреть ваш контент, если вы им не даете прямую ссылку, например, на визитке.

Первый шаг к индексированию это понимание проблем индексации вашего сайта.

Я примерно организовал список из наиболее общих причин.

1. Ваш сайт проиндексирован под www или non-www доменом.

Технически www является под доменом. Таким образом http://example.com не то же самое, как http://www.example.com. Убедитесь, что вы добавили оба адреса и уверены что они индексируются. Обязательно установите основной домен, но подтвердите право собственности на оба.

2. Google не нашел ваш сайт

Как правило, это проблема новых сайтов. Дайте ему несколько дней (по крайней мере), но если Google до сих пор не индексирует ваш сайт, убедитесь, что ваша карта сайта загружается и работает нормально. Если вы еще не создали представления для карты сайта, это может быть ваша проблема. Вы должны также потребовать Google что бы он «ходил» по вашему сайту. Как это сделать:

• В Webmaster Tools выберете нужный сайт.
• На панели инструментов-> Сканирование -> Посмотреть как Googlebot.
• В текстовом поле введите путь к странице, которую вы хотите проверить.
• В раскрывающемся списке выберите ПК. (Вы можете выбрать другой но это неважно.)
• Нажмите сканировать. Google будет получать URL вашего сайта. Это может занять до 10 минут. Потом страница обновится.
• Как только вы увидите отчет о успешном выполнении, нажмите кнопу Отправить. Таким образом вы отправите урл в индекс.
  • Чтобы отправить одиночный URL в индекс, выберите URL и нажмите отправить. Вы можете представить до 500 адресов в неделю таким способом.
  • Чтобы отправить URL и все страницы, связанные с ней, нажмите URL и все связанные страницы. Вы можете представить до 10 таких запросов в месяц.

3. Сайт или страницы блокируются в robots.txt

Еще одной проблемой может являться блокировка сайта в robots.txt. Это легко исправить. Просто удалите запись из файла и через некоторое время сайт появится в индексе.

      4.  У вас нет sitemap.xml

Каждый веб-сайт должен иметь sitemap, которая дает поисковикам перечень направлений, куда они должны следовать. Создать карту сайта для поисковиков довольно просто.

Если у вас возникли вопросы по индексации в любой части вашего сайта, я рекомендую вам повторно пересмотреть карту.

5. У вас есть ошибки обхода

В некоторых случаях, Google не будет индексировать некоторые страницы вашего сайта, потому что он не может сканировать их. Даже при том, что он не может сканировать их, он все еще может видеть их.

Чтобы определить ошибки обхода, зайдите в Google Webmaster Tools -> Site -> Нажмите на кнопку «Сканирование» -> «Ошибки сканирования». Если у вас есть какие-либо ошибки, то есть, не проиндексированные страницы, вы увидите их в списке.

6. У вас дублируется контент

Слишком много страниц с одинаковым контентом может запутать поисковики и они перестанут индексировать сайт.

Если на нескольких URL-адресах на вашем сайте дублируется контент то это влияет на выдачу. То есть, поисковик не знает на какую страницу вести пользователя и соответственно удаляет их из поиска. Чтобы устранить эту проблему, выберете страницу, которую вы хотите сохранить, а на остальные пропишите 301 редирект в htaccess. Или же закройте от индекса через файл robots.txt.

Иногда имеет смысл канонизировать страницы, но будьте осторожны. На некоторых сайтах канонизация мешает индексации.

7. Настройки приватности

У большинства популярных движков есть функция разработки. При которой контент на сайте может видеть только авторизированный пользователь.

Если у вас WordPress, перейдите к администрированию –> настройки -> конфиденциальность.

8. Сайт заблокирован .htaccess

Ваш файл .htaccess является частью существования вашего сайта на сервере, что позволяет ему быть доступным во всемирной сети. Файл .htaccess написан для Apache. .htaccess можно использовать для различных задач, также для блокировки сканеров и предотвращение индексации.

9. Сайт имеет NOINDEX в мета-теге

Еще один способ сказать «нет» роботам и таким образом, не дать им вас индексировать. Хотя не всегда их останавливает. Выглядит так:

<meta name= ” robots “ content = “noindex, nofollow”>

Это один из тех проблем когда вы говорите: «О, черт, я не могу поверить, что не видел этого!».

Удалите эту строку кода, и вы сможете вернутся в индекс в кратчайшие сроки.

         10. У вас есть AJAX / JavaScript решения

Google индексирует JavaScript и AJAX не так как HTML. Так что, если вы неправильно настроите страницы AJAX и выполните JavaScript, Google не будет индексировать страницу.

            11. Слишком долгая загрузка страницы

Поисковика не нравится когда ваш сайт грузится целую вечность. Как вы думаете сколько пользователь будет ждать, пока загрузится ваша страница? Вот и поисковики думают также.

          12. Время простоя хостинга

Если роботы не могут получить доступ к сайту, они не будут индексировать его. Это достаточно очевидно, но почему это происходит? Проверьте качество хостинга.

           13. Вы получили Deindexed

Это действительно плохо.

Если вы получили пенальти от поисковика, за какой то «незаконный» контент. Или же по причинам его «качества». Вернуть его в индекс будет очень сложно.

Эта статья не является попыткой обсудить все причины не идексации сайта. Индексация является залогом хорошего SEO. Если ваш сайт или отдельные страницы вашего сайта не индексируются, вы должны выяснить, почему. Желаю всем страниц в индексе, да поменьше пенальти.