Google и Яндекс не индексируют сайт: причины, руководство что делать

Форумы вебмастеров пестрят грустными постами по поводу того, что сайт плохо индексируется поисковыми системами. А ведь это основа SEO-продвижения, без которой популяризация интернет-ресурса практически невозможна.

Обидней всего, когда над созданием web-проекта трудился дорогостоящий программист, а на его наполнение контентом ежемесячно тратится внушительная сумма.

Однако Яндекс и Гугл не спешат индексировать отдельные страницы или даже целый сайт. Почему так происходит?

На этот вопрос нет однозначного ответа: существует множество причин.

Важно выявить конкретную проблему (технические ошибки, дубляж страниц, нестабильную работу хостинга или санкции поисковиков) и сделать все для ее решения. Есть хорошая новость — ситуацию можно исправить. Хотите, знать как? Читайте дальше!

Нормы индексации сайтов

В Яндекс

Yandex сканирует и добавляет новые страницы примерно два-четыре раза в месяц. Попасть в поисковую выдачу раньше способны лишь трастовые и часто обновляемые порталы — внушающие доверие сайты индексируются быстроботом Яндекса ежедневно.

В Google

Что касается Гугла, обновления могут занять от одного дня до двух недель. Здесь многое зависит от категории вашего сайта. Например, ресурсы с актуальными новостями и живые форумы роботы проверяют с завидной регулярностью.

Материалы часто обновляемых порталов обычно сканируются в тот же день или на следующий. Индексация блога, в котором каждую неделю появляется новый контент, нередко задерживается на 2–4 дня.

Совсем печально обстоит дело с третьесортными сайтами, а также совсем молодыми веб-проектами, только что появившимися в Сети. Поисковые роботы могут игнорировать их в течение месяца.

Важно! Вышеописанные данные актуальны при добавлении малого количества страниц в индекс. При добавлении большого количества страниц одномоментно, скорость индексации может увеличиться в несколько раз.

Особенно долго будут индексироваться страницы с малой ценностью для посетителей.

Что делать, если новый сайт не индексируется поисковиками?

Под это определение подходит ресурс с возрастом домена до полугода, который не имеет обратных ссылок и ранее не продвигался.

Добавить сайт в панели вебмастеров

Вы только что создали сайт и ждете чуда под названием «быстрая индексация»? Такая стратегия ошибочная, ведь в первое время Гугл и Яндекс не обращают на новый сайт внимание. Помогите своему проекту заинтересовать роботов — сделать это достаточно просто: надо лишь добавить сайт в поисковые системы.

Важно! Использование сервиса Яндекс. Вебмастер и Google Webmaster не только ускорит добавление страниц в индекс, но и позволит эффективнее работать над оптимизацией сайта. Представленные инструменты бесплатно открывают вебмастерам множество возможностей для диагностики, получения рекомендованных для продвижения запросов и привязки сайта к конкретному региону.

Улучшить сайт

Пора заняться внутренней оптимизацией: систематически создавать первоклассный контент, улучшить юзабилити, сделав удобные рубрики, а также позаботиться об адаптивности и перелинковке. После этого следует задуматься о внешнем продвижении. Оно включает в себя работу с социальными факторами и размещение естественных ссылок у надежных доноров.

Если сайт все так же не индексируется Яндексом, необходимо написать в техническую поддержку поисковика. В результате вашего запроса вы получите информацию о наличии бана, фильтра или установите другую объективную причину возникшей проблемы.

Как проверить индексацию сайта?

Используйте в запросе оператор Site

Узнайте количество просканированных и добавленных в индекс страниц путем введения в строку поиска Гугл и Яндекс «site: url вашего сайта». Благодаря дополнительным настройкам легко получить данные о произошедших за конкретный промежуток времени изменения.

К примеру, сегодняшняя проверка российской версии Википедии показала, что за последние 2 недели на этом сайте появилось 143 новых материалов.

Учтите! Разница между показателями разных поисковых систем является поводом для тревоги. Чаще всего это свидетельствует о возможном попадании под фильтр Гугла или Яндекса.

Введите в поисковик url страницы

Этот способ идеален для проверки индексации отдельно выбранной страницы.

Для Google

url:https://ru.wikipedia.org/

Для Яндекс

info:https://ru.wikipedia.org/

Через панель вебмастеров

Если вы ранее уже зарегистрировались в Яндекс. Вебмастер, то при переходе на данный сервис сразу увидите число загруженных материалов и тех, что находятся в поиске. В идеале их количество должно совпадать или быть похожим на реальное количество страниц сайта.

Более детальную информацию вы получите при переходе на основную панель, после чего необходимо нажать «Индексирование» и «Страницы в поиске».

Анализируя полученный отчет и ищите страницы, которые не индексируются.

В новом Google вебмастере также есть инструмент для анализа индексации.

С помощью Key Collector проверяем индексацию большого количества страниц

Скачанный и установленный на компьютере многофункциональный инструмент облегчит работу любому оптимизатору. Он позволяет автоматизировать процесс, значит, вам не придется вручную проверять сотни, а то и тысячи документов.

Чтобы воспользоваться этим методом, требуется собрать парсером список всех страниц, а затем добавить перед каждым адресом оператор url для Google или info для Яндекс. Хотите сэкономить время и нервы — воспользуйтесь для этого автозаменой в блокноте. Дальше надо загрузить полученные данные в Key Collector, не забыв о настройке XML для быстрого анализа результатов.

Также, нужно настроить правильно поисковые системы, для корректного парсинга. URL лучше добавлять без смены регистра.
У проиндексированных материалов в графе «Позиция по запросу» будет стоять единица. Сверьте ваш URL со страницей на первом месте. Они должны совпадать.

Это метод не идеален, но имеет право жизнь.

Как решить проблемы индексации?

Вариант 1: Сайт долго не индексируется, роботы не видят свежие материалы — в индекс попадает мало новых страниц, процесс осуществляется медленно.

Узнайте далее, что может быть причиной столь плачевной ситуации.

Редкое обновление контента

Для SEO-продвижения нужно вовремя подкармливать роботов новой порцией качественного контента, тогда они будут чаще заходить на ваш сайт. Причем на поведение поисковиков положительно влияют даже незначительные улучшения старых статей в виде более удачных иллюстраций, обновлений даты публикации или добавления цитаты эксперта.

А вот если робот приходит и видит, что за период его последнего посещения ничего не изменилось, сайт не будет нормально индексироваться в будущем. Более того, ждите ухудшения позиций в выдаче: ресурс, остановившийся в развитии, опережают конкуренты.

То есть

Если вы публикуете не регулярно — это может быть причиной. Если это не ваша ситуация, то читайте далее.

Плохое качество контента

За последние годы и читатели, и роботы стали более требовательными к размещенной в Рунете информации. Важную роль играет не только техническая, но и смысловая уникальность / полнота статей, картинок, видео.

При этом ключевые слова должны вписываться в текст естественно, а за переспам есть шанс попадания под фильтры поисковиков.

То есть

Если публикуемый контент малополезен или состоит из 100 слов, то вряд ли он попадет в индекс. Необходимо менять подход к написанию контента или качеству страниц.

Заинтересованы в генерации отличного контента?

Возьмите на вооружение LSI-копирайтинг, который сейчас в почете у поисковых систем. При качественном оформлении, полном раскрытии темы с использованием ключей и списка дополнительных синонимов, ассоциаций вам не придется беспокоиться о том, что страница не будет индексироваться в поисковых системах.

Наличие дубликатов

Секретом успешной технической оптимизации является отсутствие одинаковых мета-тегов и текстов; полных копий страниц. Если таковые имеются, закройте лишние данные от индекса при помощи meta name=«robots» content=«noindex, nofollow» или пропишите на них 301 редирект.

В противном случае поисковики запутаются в похожих документах и удалят их из выдачи.

Проблемы с краулинговым бюджетом

Существует определенный лимит на количество страниц, индексируемых роботом за единицу времени.

Краулинговый бюджет Google напрямую зависит от PageRank ресурса. Чем выше данный показатель, тем большее число документов будет проиндексировано. Соответственно, для масштабных сайтов крайне важно повышать критерий своей ценности путем регулярных обновлений, увеличения посещаемости и приобретения ссылок. Иначе некоторые страницы могут не индексироваться в Гугле.

То есть

Если сайт молодой, то у него низкий краулинговый бюджет. И если вы хотите проиндексировать большое количество страниц, то эта процедура может занять на порядок больше времени.

Технические нюансы для ускорения сканирования

Добавление sitemap.xml

Эта карта, созданная для поисковых систем, дает роботам возможность быстро найти все страницы, независимо от их числа и уровней вложенности. Кроме того, она повышает доверие к вашему сайту, позволяет указывать дату обновления и расставлять приоритеты.

Алгоритм действий следующий: сгенерируйте sitemap.xml с учетом стратегии продвижения, загрузите карту в корень сайта и добавьте в панели вебмастеров.

Обновление http-заголовков Last-Modified и If-Modified-Since.

Last-Modified сообщает поисковикам о последних изменениях в документе, направляя роботов сразу к обновленным страницам и свежим материалам.

Ответ сервера на запрос If-Modified-Since снижает нагрузку на краулинговый бюджет, к тому же улучшает позиции контента при сортировке по дате.

Проверить этот заголовок можно тут — https://last-modified.com/ru/if-modified-since.html

Вариант 2: Сайт вообще не индексируется в Яндексе и Гугле, страницы выпадают из индекса.

Код ответа сервера

Убедитесь, что страница содержит код сервера 200 ОК — это означает: она действительно существует, доступна к просмотру для пользователей и поисковых систем.

Проверка осуществляется при помощи специальных сервисов.

Например, http://www.bertal.ru/index.php?a1910327/
Если код ответа не 200 ОК, то именно в этом может быть причина не индексации страницы.

Robots.txt

В файле robots.txt недопустимы запреты на индексацию сайта и отдельных страниц, а также работу конкретного поисковика.

Важно! Обязательно проверьте сформированный robots.txt на ошибки. Сделать это можно в Google Вебмастер: нажмите на «Сканирование», а затем на «Инструмент проверки файла robots.txt».

Meta Robots

Часто сайт не индексируется в Гугле, если добавление сведений в базу данных запрещено в мета-тегах. Обязательно удалите в HTML-коде строкии если они есть на важных страницах.

Чтобы проверить откройте код страницы и сделайте поиск строки.

Либо используйте плагины для браузера, такие как расширение Seo Meta in 1 Click для Google Chrome.

Rel Canonical

Многие неопытные оптимизаторы неверно настраивают атрибут rel=canonical.

Хотите, чтобы страница попала в индекс поисковика? Тогда она не должна ссылаться на другой канонический документ.

Чтобы проверить откройте код страницы и сделайте поиск строки.

Либо через тот же плагин

Вебмастера

Используйте Google Webmaster Tools для выявления ошибок сканирования, из-за которых роботы не получают ответы на запросы.

Перейдите в раздел «Просмотреть как Googlebot» введите адрес страницы, и нажмите кнопку «Получить и отобразить».

Когда получите результат, сравните, что видит Google и пользователь. Картинки должны быть одинаковыми. Если нет, то ищите причины блокировки файлов.

Протестируйте скорость загрузки и время ответа сервера. Убедитесь, что выбранный вами хостинг работает стабильно.

Файл .htaccess

Если сайт не индексируется, он может быть заблокирован в файле .htaccess.

Проверьте .htaccess на наличие таких строк:

RewriteCond %{USER_AGENT} Googlebot
RewriteRule.* — [F]

Либо такой вариант, который будет отдавать роботу Google 404 ошибки.

RewriteCond %{USER_AGENT} Googlebot
RewriteRule.* — [R=404]

Поищите в файле другие варианты блокировок с использованием USER_AGENT или названия поисковых ботов: googlebot, yandex и т. д.

AJAX и JavaScript

Распространены проблемы с языками AJAX и JavaScript. Блог Яндекса для вебмастеров рекомендует создать в структуре ресурса определенную схему, которая сообщит поисковым системам о необходимости индексации.

Санкции

Еще одна серьезная проблема — наложение санкций на страницу или даже весь сайт. Узнайте в техподдержке поисковой системы (только Яндекс), за что именно (ссылки, переспам, неуникальный контент) вас наказали, после чего оперативно исправьте ситуацию.

Как уже говорилось ранее, причиной отсутствия внимания к странице часто является низкокачественный и дублированный контент.

Вряд ли робот будет заинтересован в ваших материалах, если в выдаче уже имеются похожие документы, продвигаемые по тому же семантическому ядру.
Негативно влияет на скорость индексирования незрелый возраст домена, а также забаненный ранее б/у домен. В таком случае стоит написать запрос на пересмотр в Яндекс.

Итоги

Если сайт не индексируется Яндексом или Гуглом, значит, на то есть объективная причина. Ваша цель — выявить и решить проблему. Спустя некоторое время необходимо снова проверить индексацию страницы. Если вы все сделаете правильно, положительные изменения не заставят себя долго ждать!

Если у вас сложный случай, рекомендую обратиться за консультацией к специалистам. Команда Livepage проконсультирует и выполнит SEO-аудит, который решит все проблемы с индексацией в поисковых системах.

Яндекс любит, Google – нет? Исправляем ситуацию.

В конце июня в iSEO пришел на продвижение сайт http://vesh.ru/. Ресурс имел хорошие позиции в Яндексе (видимость 43% в ТОП-10), и крайне низкие – в Google (7%). По таким высокочастотным запросам, как «пальто», «пальто зимнее женское», «пальто женское», сайт в Яндексе был в ТОП-10, а в Google не имел позиций. Ни в одной поисковой системе ресурс не ранжировался по запросам «пальто купить», «купить пальто», «женское пальто».

	Яндекс	Google
пальто	3	-
зимнее пальто	4	-
пальто женское	2	-
пальто купить	-	-
купить пальто	-	-
женское пальто	-	-

Позиции сайта на начало работ (24.06.2016)

Принципиальных различий в продвижении сайтов в Яндексе и Google нет. Если запрос попадает в топ одного поисковика, то практически всегда достигает высоких позиций и в другом. Однако в нашем случае это почему-то не сработало. Нужно было выяснить и устранить причину.

Первые 2 месяца

Основной упор мы сделали на увеличении видимости сайта в Google, стремясь не потерять (и даже нарастить) позиции в Яндексе.

Начали с того, что в первые два месяца работы:

• провели кластеризацию ядра,
• создали недостающие посадочные страницы,
• оптимизировали основные мета-теги страниц <Title>, <h2> и <Description>,
• провели технический аудит сайта.

В ходе технического аудита были найдены и исправлены следующие проблемы:

• устранены внутренние дубликаты страниц,
• настроено сжатие gzip,
• обновлена и корректно настроена XML-карта,
• вычищен мусор из выдачи: закрыты от индексации служебные, страницы с метками и персональные страницы пользователей,
• открыты для индексации стили и Java-скрипты,
• настроено кэширование изображений.

Также мы переработали URL отдельных товаров.
Часть карточек товаров содержала кириллические символы – например, «http://vesh.ru/модель-1730з/», «http://vesh.ru/модель-2190/». Для них создали дубли с ЧПУ-адресом без кириллицы и настроили на эти страницы 301 редиректы с «кириллических». После этого все карточки товара обрели URL вида http://vesh.ru/model-2000z/, http://vesh.ru/model-2190/.

Для улучшения ранжирования в Google мы немного «подспамили» употреблением основного ключевого слова «пальто» на страницах моделей.

До этого карточки товара имели названия вида «Модель №…».

Итог: спустя два месяца работы видимость по проекту выросла в обеих ПС.

	июн.16	июл.16	авг.16
ТОП-3	17%	20%	25%
ТОП-5	26%	36%	40%
ТОП-10	43%	53%	61%
ТОП-20	55%	64%	81%
ТОП-50	76%	84%	94%

Видимость в Google

	июн.16	июл.16	авг.16
ТОП-3	0%	1%	1%
ТОП-5	2%	3%	3%
ТОП-10	7%	11%	15%
ТОП-20	16%	30%	33%
ТОП-50	37%	47%	50%

Видимость в Яндекс

Видимость в Google увеличилась, однако сайт до сих пор не ранжировался в поисковике по тем основным высокочастотным запросам, которые мы выделили в начале.

Третий месяц

В конце второго-начале третьего месяца мы проанализировали внешнюю ссылочную массу с помощью сервиса https://ahrefs.com/. В результате обнаружили 88 ссылок возрастом около 9 лет с одинаковым анкором «осеннее женское пальто, модели пальто и курток 2007 — посетите магазин пальто».
Выгрузив список доменов, с которых стояли данные ссылки, мы отправили их на отклонение через Google Webmaster (подробнее о процессе: https://support.google.com/webmasters/answer/2648487). Это был сигнал для Google, чтобы площадка не принимала во внимание определенные ссылки при оценке данного сайта.

Количество ссылающихся на наш сайт доменов снизилось,
изменения были приняты во внимание поисковыми системами

В этот же период в индексе был обнаружен дубль главной страницы сайта, который мы своевременно обнаружили и устранили.

Следующими действиями было внедрение микроразметки для

• всех разделов, содержащих пагинацию,
• карточек товаров,
• страницы «Контакты».

Микроразметка страниц пагинации позволяет указывать связь между несколькими URL. Благодаря ей поисковая система может определить, что содержание данных страниц связано в логической последовательности, и направить пользователя на начальную страницу. Микроразметка карточек товаров и страницы контактной информации помогает улучшить сниппеты сайта в поисковой выдаче.

В этот же период мы провели большую работу по переработке текстового контента на посадочных страницах, точечно анализируя каждую на предмет вхождения ключевых слов.

	21.06.2016		01.07.2016		01.08.2016		01.09.2016		01.10.2016
	Я	G	Я	G	Я	G	Я	G	Я	G
зимнее пальто	-	-	3	78	2	22	8	16	3	11
пальто	3	-	3	-	5	-	2	-	2	85
купить пальто	-	-	4	-	1	85	2	-	1	63
пальто купить	-	-	4	-	8	-	9	-	3	82
пальто женское	4	-	1	-	1	-	1	-	2	73
женское пальто	-	-	1	-	1	-	1	-	4	63

В конце сентября сайт начал ранжироваться
по основным выбранным высокочастотным запросам в ТОП-100

Для эффективного продвижения важно наличие на сайте регулярно обновляемых разделов. Поэтому мы запустили процесс наполнения контентом раздела «Новости моды». Каждый месяц на сайт пишется несколько уникальных статей на интересные для пользователей темы, релевантные тематике ресурса: «Модные тренды этой осени», «Какой длины пальто стоит купить в сезоне 2016-2017», «Стильные аксессуары к зимнему женскому пальто» и т.д.

Данные статьи мы используем и для внутренней структурированной перелинковки, которую так любит Google и которая упрощает пользователю навигацию по сайту.

Результаты

Проведенные работы привели к тому, что в начале ноября сайт начал ранжироваться в ТОП-10 в Google по нашим основным запросам; в декабре положительная динамика продолжилась.

	21.06.2016		01.07.2016		01.08.2016		01.09.2016		01.10.2016		01.11.2016		01.12.2016
	Я	G	Я	G	Я	G	Я	G	Я	G	Я	G	Я	G
зимнее пальто	-	-	3	78	2	22	8	16	3	11	7	3	6	4
пальто	3	-	3	-	5	-	2	-	2	85	3	24	3	7
купить пальто	-	-	4	-	1	85	2	-	1	63	3	9	1	8
пальто купить	-	-	4	-	8	-	9	-	3	82	3	14	1	6
пальто женское	4	-	1	-	1	-	1	-	2	73	3	12	4	7
женское пальто	-	-	1	-	1	-	1	-	4	63	1	9	1	12

На всем протяжении работ сайт регулярно проверялся на предмет технических ошибок – «мусора» в поисковой выдаче, дублей страниц, – которые оперативно устранялись.

График видимости проекта за весь период работы:

В дальнейших планах – оптимизация сайта под мобильные устройства и работа над повышением привлекательности и кликабельности сниппетов.

Выводы

Продвижение в Google имеет свои особенности, которые нельзя игнорировать при продвижении.

1. Длительность продвижения. Google реагирует на изменения намного быстрее, чем Яндекс: по части запросов нашего семантического ядра сайт улучшил позиции в Google спустя месяц работы.
2. Внутреннее ссылочное ранжирование. Внутренняя перелинковка чудесным образом сказывается на выходе некоторых ключевых слов в топ – это актуально и для Google, и для Яндекса.
3. Регулярно обновляемый контент. Google любит постоянно обновляющиеся сайты, в то время как Яндекс может прекрасно ранжировать и ресурс, заброшенный много лет назад.
4. Микроразметка. Внедрение микроразметки положительно влияет на ранжирование сайта в Google, причем поисковик использует больше форматов для улучшения сниппетов, чем его российский «коллега». При этом форматы микроразметки в Яндексе и Google отличаются. В данном кейсе приоритетным являлось продвижение в Google, поэтому мы использовали его формат.
5. Спамность текста. Google спокойно относится к текстам, плотность ключей в которых превышает оптимальную. Яндекс отрицательно воспринимает «подспамленный» контент и наказывает сайты наложением фильтра за «переоптимизацию» (как при этом действовать, мы рассказывали ранее). В данном случае мы намеренно увеличивали количество вхождений ключевых слов, не переступив границы, за пересечение которой ресурс попадает под санкции Яндекса.

Почему в Яндексе позиции хорошие, а в Гугле — нет?

Почему в Яндексе позиции хорошие, а в Гугле — наоборот? Частый вопрос, который задают себе клиенты и веб-мастера при раскрутке сайта. Причем первые гораздо чаще об этом думают. И неслучайно, сейчас я постараюсь изложить вам свое видение этого вопроса, основанное на многолетнем опыте

 

Причины: почему в одной из поисковых систем  позиции выше

Разность в алгоритмах ранжирования
Что хорошо для Google, не всегда приветствуется Яндексом, те же объёмы ссылочного и более короткие метатеги, но тут, скорее, вторичный факт, ведь поисковики одинаково хорошо любят все качественные сайты.

Отличия в геоклассификаторе: в яндексе он точнее.
Если ваш сайт ориентирован на какой-то район, это может сказаться на позициях и трафике ресурса в google, т.к. его гео немного отстаёт в русскоязычном интернете, но поисковик скоро решит эти проблемы данные пробелы (не в последнюю очередь за счёт «Покемон Го».

Разница в скорости и возможностях индексирования
Раскручиваемый сайт банально может не быть в индексе одной из поисковых систем. Такое встречается сплошь и рядом.

Особенности тематики
Если тематика сайта подразумевает локальность, то трафик и позиции могут разниться. Вместе с тем некоторые тематики могут по-особому ранжироваться.

Предпочтительный поиск аудитории
Не секрет, что 80% предпочитают Яндекс другим поисковикам. Оставшаяся аудитория может сидеть даже на mail.ru. Поэтому доля трафика и позиции могут разниться.

Особенности хостинга или сервера

Если выбранный вами хостинг неправильно настроен, у вас могут быть проблемы с индексацией сайта в поисковых системах. (Сайт может постоянно вылетать из индекса или вовсе в него не заходить из-за неверно отдаваемого кода ответа сервера).

 

Что можно сделать для улучшения ранжирования во второстепенной поисковой системе?

• Писать больше контента;
• Сделать контентную перелинковку;
• Провести дополнительную универсальную seo-оптимизацию;
• Сделать микроразметку;
• Купить ссылки;
• Разместиться на всех возможных досках объявлений, в том числе яндекс.каталог и Гугл.Бизнес;
• Дополнить ядро нужными геозапросами;
• Реализовать мобильную версию и конкурентный функционал.

Google не даёт пользоваться Яндексом по умолчанию → Roem.ru

Представитель «Яндекса» Ася Мелкумова пожаловалась РБК на Google Chrome: «возможности выбора других поисковых систем в этом браузере постоянно сокращаются», — русский поисковик считает, что это сказывается на его падающей доле в Chrome.

Мелкумова вспомнила защитника настроек, блог Google анонсировал его 1 февраля 2014: «Защищая от некоторых взломанных настроек, Chrome сбрасывал все пользовательские настройки браузера, в том числе и выбор альтернативного поиска». Летом 2014-го предостережения американцев стали заметнее:

Chrome стал выдавать специальное предупреждение («Одна из программ на вашем компьютере установила расширение, которое может влиять на работу Chrome») во всплывающем окне тем, кто пытался поставить по умолчанию поиск «Яндекса» или Mail.ru. Тем, кто все же установил альтернативный поиск, показывалось второе предупреждение: «Другая поисковая система? Расширение изменило поисковую систему, используемую по умолчанию. Вы можете восстановить прежние настройки».

В ответ представитель Google Екатерина Кондратьева объясняет, что предупреждения являются лишь предупреждениями. Желающие всё равно могут продолжать пользоваться нужными им поисковиками.

27 ноября Яндекс признал: «Самый популярный браузер Chrome, и если так пойдет дальше — мы станем вторыми» и запустил ещё одну смотрелку интернета.

Новый «Яндекс Alpha» браузер визуально заметно отличается и от собственных предков и от конкурентов под другими марками. На первом экране этого браузера нет почти ничего, кроме умной строки Яндекса — в ней не только поисковые функции. Строка умеет, например, подсказывать более низкую цену на товары или буквально по нескольким символам понять, что речь пойдёт о кино и подсказать кинотеатры на карте.

Таким образом, для «Яндекс Alpha», прямая замена встроенного в умную строку поисковика, на Google или кого либо ещё невозможна без потери части функционала программы. Конкурентам-поисковикам потребуется или согласовать с Москвой API, или выживать в Alpha без премиальных способностей Alpha.

Война браузеров и поиска

12 причин, почему Google и Яндекс не индексирует ваш сайт

Без нормальной индексации сайта – поисковое продвижение в принципе невозможно.

Первое, что нужно сделать – это проиндексировать сайт и сделать так, чтобы новый контент на нем быстро индексировался поисковиками.

В данной статье мы рассмотрим 12 причин, по которым у вашего сайта могут быть проблемы с индексацией в поисковых системах Google и Яндекс.

Переходим к причинам:

1. Google и Яндекс пока не нашел ваш сайт

Такое случается в том случае, если вы только что выложили свой сайт и ничего не делали для того, чтобы поисковые системы его заметили.

В таком случае не стоит ожидать быстрой индексации. Но это легко можно поправить.

Для этого нужно сделать:

• Добавить сайт в поисковые системы (Add url)
• Добавить сайт в Google и Яндекс вебмастер

Статьи в тему:

— Как добавить сайт в поисковые системы

— Google Webmaster Tools

— Добавляем сайт в Яндекс Вебмастер

После чего, нужно немного подождать и ваш сайт должен проиндесироваться. Обычно это занимает от пару часов, до пару дней и более.

 2. Сайт или страницы закрыты в robots.txt

Это часто бывает причиной, которую не учитывают разработчики и выкатывают сайт закрытым от индексации в файле robots.txt. Но такое легко можно поправить.

Для начала читаем статью: Robots.txt – инструкция для SEO

Если у вас не много технических разделов, то можно обойтись и таким robots.txt:

Но если на сайте нужно много чего закрывать, то:

• читаем статью по ссылке выше
• закрываем только те разделы, что не нужно индексировать
• оставляем для индексации все остальное

Тогда все с вашим сайтом должно быть нормально.

 3. Включены приватные настройки

Если вы используете систему управления сайта WordPress, то по умолчанию могут стоять приватные настройки. Это действительно может быть причиной того, что сайт до сих пор не проиндексирован.

Для этого нужно зайти в:

• Настройки
• Чтение
• Видимость для поисковых систем
• Убрать галочку

Многие забывают убрать эту галочку и потом не могут понять, в чем же причина не индексации сайта.

4. Сайт закрыт от индексации в noindex в мета тегах

Индексацию контента или страницы так же можно закрыть с помощью мета тега. Выглядит он так:

<meta name=»robots» content=»no index, nofollow»>

Все что нужно:

• проверить код на наличие такого тега и что в нем прописано
• убрать строку кода
• или просто сделать follow и index

Пример:

Из нашей практики встречались и такие сайты, на которых это было причиной индексации.

 5. Ошибки сканирования

Если возникает много ошибок при сканировании, то поисковый бот просто может не дойти до нужных страниц.

Чтобы это проверить:

• Заходим в Google Webmaster Tools
• Сканирование
• Ошибки сканирования

Если есть какие-то критические ошибки. Просто нужно их исправить и все будет хорошо.

6. Сайт заблокирован в .htaccess

В этом файле обычно прописывается 301 редирект. Но в нем, так же можно закрыть от индексации поисковыми системами.

Для того, чтобы это проверить:

• находим на сервере файл .htaccess
• в коде смотрим, чтобы не был закрыт сайт

Это может быть причиной, но многие даже не думаю в этом направлении. А как вариант не стоит исключать.

7. Хостинг или сервер работает не стабильно

Если в момент, когда поисковый бот пришел на сайт индексировать страницы, сайт не доступен, то это может быть причиной не индексации.

Как минимум стоит позаботиться о том, чтобы up time у вашего сервера был хорошим и хостинг стабильным.

Сервисов, которые позволяет это проконтролировать множество. Если нужно бесплатно, то Яндекс Метрика оповещает о том, когда сайт не доступен.

Как я сказал, сервисов множество, вводим в поиск uptime checker и получаем множество результатов сервисов. А дальше выбираем на вкус и цвет.

8. Проблемы с AJAX/JavaScript

Не секрет, что Google индексирует AJAX и JavaScript. Вот ссылка для разработчиков с инструкцией: https://support.google.com/webmasters/answer/174992

Но на данный момент поисковая система индексирует эти языки не так легко и просто как HTML.

В случае, если вы не правильно настроили все для поиска в AJAX и JavaScript, то Google не проиндексирует ваш сайт и страницы.

Вот полезная информация из справки Гугла на этот счет: https://support.google.com/webmasters/answer/174993

9. У вас на сайте много дублированного контента

Если на сайте много дублированного контента, как:

• страницы
• мета тегов

То во первых можно получить санкции от Google Панды. Во вторых это может быть причиной того, что сайт не индексируется.

Статьи в тему:

— Как найти дубликаты страниц на сайте

— Как убрать или закрыть дубли от индексации

На эту причину стоит обращать внимание. Так как сейчас это № 1 причина, за которые можно получить санкции и сложности в дальнейшей раскрутке сайта.

 10. Очень медленная скорость загрузки сайта

Скорость загрузки сайта влияет на позиции и это один из факторов ранжирования. Поэтому если ваш сайт грузиться очень долго, то вполне вероятно, что он не будет нормально индексироваться.

Для начала читаем статью: Как время загрузки влияет на позиции в Google

После чего, нужно учесть все моменты со скоростью загрузки и сделать ее очень быстрой.

11. Ваш домен ранее был забанен

Такое часто случается. Когда:

• регистрируешь хороший и звучный домен
• по обратным ссылкам все нормально
• делаешь хороший сайт с нормальным дизайном
• наполняешь уникальным и толковым контентом
• а он не хочет никак индексироваться

В таком случае дела не очень хороши. Но все равно это можно поправить. А именно:

• написать запрос на пересмотр (если Яндекс, узнать в чем причина)
• написать на форуме Google (постараться узнать в чем причина)
• развивать проект

Статья в тему: Как проверить сайт на бан поисковых систем?

Но по опыту скажу. Если домен не лезет в течении 3-4 месяцев нормально. То лучше развивать проект на другом домене. Как минимум это будет быстрее и на порядок проще.

12. У вас нет sitemap на сайте

Это очень редко может быть причиной. Но все же может быть. Поэтому нужно сделать карту сайта и добавить ее как Google вебмастер, так и в Яндекс вебмастер.

Статья в тему: Создаем sitemap для Google и Яндекс

В заключение

Индексация сайта важнейший момент для поискового продвижения сайта. Поэтому сначала нужно найти причину, понимать следствия. В итоге не допускать того, чтобы с индексацией сайта были проблемы.

Хорошие статьи по индексации сайта в помощь:

— Как быстро проверить индексацию страниц всего сайта?

— Как быстро проиндексировать сайт или страницу?

— Почему Яндекс медленно индексирует молодые сайты?

А что вы думаете про причины не индексации или плохой индексации сайта?

PS: если вы перепробовали все причины и сайт не индексируется, то однозначно стоит писать в поддержку поисковых систем и узнавать причину у них.

Оцените статью

Загрузка…

Как «Яндекс» и Google подводят итоги года / Habr

«Яндекс» и Google подвели итоги года и рассказали, какие темы в 2018 году оказались популярнее других. Результаты исследования распределили по нескольким рубрикам. У «Яндекса» их оказалось больше — десять, против шести у Google. При этом некоторые рубрики у двух поисковиков пересекаются. Тем любопытнее сравнить интересы их аудиторий.

Рубрики «Яндекса»: события, люди, ушедшие, новинки, фильмы, сериалы, телешоу, игры, музыка, мемы. На графиках показали, к чему и в какой момент возникал особенный интерес у пользователей этого поисковика, а также привели самые популярные формулировки запросов.

Рубрики Google в России: события, люди, утраты, имена Чемпионата мира по футболу, как стать…, мемы. В то же время в глобальном рейтинге оказалось не шесть, а девять рубрик, большая часть из которых иные: поиск, события, люди, актеры, спортсмены, утраты, кино, музыка, телешоу.

«Яндекс» определял интерес по более сложному алгоритму, чем просто по числу запросов. Вместо этого замеряли величину волны запросов. Алгоритм учитывал запросы с новыми формулировками, а также дельту запросов в уже известных формулировках между 2017 и 2018 годами. Google говорит, что «списки составлены с учетом поисковых запросов, по которым отмечен самый большой рост трафика в этом году по сравнению с прошлым годом».

На первые строчки «Яндекса» попали запросы о Чемпионате мира по футболу, Игоре Акинфееве, Иосифе Кобзоне, Huawei Honor 10, последних «Мстителях», сериале «Мажор», шоу «Замуж за Бузову», Far Cry 5, композиции KAZKA «Плакала» и меме про Ugandan Knuckles.

Любопытно, что в топ-10 сериалов оказались исключительно отечественные сериалы, а вот среди кинокартин в десятку лучших пробился только один российский фильм — «Движение вверх». Добрую половину топа новинок заняли смартфоны Huawei, хотя в том же списке оказались еще и девайсы Samsung, новые «Айфоны» и, внезапно, Lada Granta. Первые семь строчек в рейтинге телешоу занимают проекты ТНТ.

А вот топовые запросы в русскоязычном Google: Чемпионат мира по футболу, Хабиб Нурмагомедов, Стивен Хокинг, Игорь Акинфеев, Илон Маск, а также «как стать блогером». Очевидно, аудитория Google больше интересовалась международными, глобальными новостями и персонами.

Самое резонансное по версиям «Яндекса» и Google

У «Яндекса» и Google есть одинаковые рубрики, которые можно напрямую сравнить.

События

	«Яндекс»	Google
1.	Чемпионат мира по футболу	Чемпионат мира по футболу
2.	Зимняя Олимпиада в Пхёнчхане	Олимпиада
3.	Пожар в ТРЦ «Зимняя вишня»	Кемерово
4.	Бой Нурмагомедова и Макгрегора	Бой Хабиба и Макгрегора
5.	Президентские выборы в России	Выборы президента России
6.	Лига наций УЕФА	Керчь
7.	Повышение пенсионного возраста	Чемпионат мира по хоккею
8.	Нападение на колледж в Керчи	Ан-148
9.	Отравление Скрипалей	Свадьба принца Гарри
10.	Катастрофа Ан-148 в Подмосковье	Затмение 27 июля

Люди

	«Яндекс»	Google
1.	Игорь Акинфеев	Хабиб Нурмагомедов
2.	Хабиб Нурмагомедов	Меган Маркл
3.	Артем Дзюба	Настя Рыбка
4.	Колинда Грабар-Китарович	Павел Грудинин
5.	Алина Загитова	Президент Хорватии
6.	Настя Рыбка	Александр Кокорин
7.	Евгения Медведева	Алина Загитова
8.	Денис Черышев	Илон Маск
9.	Лионель Месси	Конор МакГрегор
10.	Аман Тулеев	Монеточка

Утраты

	«Яндекс»	Google
1.	Иосиф Кобзон	Стивен Хокинг
2.	Олег Табаков	Иосиф Кобзон
3.	Николай Караченцов	XXXtentacion
4.	Михаил Державин	Олег Табаков
5.	Александр Исаков	Стэн Ли
6.	Стивен Хокинг	Николай Караченцов
7.	XXXTentacion	Avicii
8.	Станислав Говорухин	Евгений Осин
9.	Людмила Сенчина	Денис Тен
10.	Евгений Осин	Людмила Сенчина

Мемы

	«Яндекс»	Google
1.	Уганда Наклз	Илон Маск
2.	Мафиозник	Мышь крадется
3.	Трое в кокошниках	Момо
4.	Это Вика	За себя и за сашку
5.	Сын маминой подруги	Сын маминой подруги
6.	Лох цветочный	Кайло Рен
7.	Мотылёк и лампа	Пикачу
8.	Олды тут?	Акинфеев
9.	За себя и за Сашку	Гиги за шаги
10.	Мыш (кродеться)	Спанч Боб

На основе результатов поиска Google сделала игровой тест, в котором нужно угадать, какой из предложенных вариантов больше интересовал людей в 2018 году. А вот у команды YouTube получилось не очень: ролик, в котором звезды шоу-бизнеса и блогеры подводят итоги 2018-го, хоть и набрал кучу просмотров, но в то же время поставил рекорд и выхватил аж 13 миллионов дислайков — за то, что в видео попали только те, кого продвигает YouTube.

«Яндекс» не ограничился поисковыми запросами и на этой неделе подсчитал также итоги развития общественного транспорта в Москве за прошедший год. Спойлер: ожидание чуть сократилось, а средняя скорость увеличилась. А кроме того предлагает посмотреть пользователям сервиса «Музыка» на личную статистику и узнать, какие композиции и исполнители звучали в наушниках чаще всего.