Поисковый индекс. Количество проиндексированных страниц в Яндексе: как посмотреть, зачем это нужно Проверить страницы в индексе
Индекс поисковой системы — база данных, которая хранит информацию о веб-документах. Назначение этого «хранилища» очевидно — используя базу данных, поисковик может быстро и точно вычислять значения факторов ранжирования, численное значение релевантности URL по запросу пользователя и формировать результаты выдачи.
Для SEO-специалистов и владельцев сайтов это означает одно — сколько страниц проиндексировано, столько документов и может быть найдено в результатах выдачи по целевым запросам и столько же URL может привлекать трафик.
Как быстро проверить индексацию в Яндексе и Google?
Способов и сервисов проверки индексации страниц достаточно много и у нас есть три инструмента, которые показывают количество документов в индексе по домену:
Просто укажите домен в любом из них. Инструмент поможет проверить сайт на индексацию и подскажет сколько документов в базе данных Google и Яндекс, с учётом поддоменов или без них:
Поисковые операторы для проверки индексации
Узнать индексацию сайта можно, используя операторы поиска. Для Яндекса это операторы «site:» , «host:» и «url:» .
Для Google — «site:» , «inurl:» и «info:» .
В обеих поисковых системах указываются приблизительные результаты, но можно использовать дополнительные параметры, чтобы узнать, сколько страниц было проиндексировано, например, за неделю:
Для того, чтобы проверить индексацию определённой страницы сайта используйте оператор «url:» для Яндекса и «info:» для Google.
Вебмастер и Search Console
В Вебмастере переходим на вкладку «индексирование» — «страницы в поиске». Здесь расположилась статистика по добавленным и удалённым из поиска документам. Также можно посмотреть историю изменений для всего сайта за определённый интервал дат:
Проверить индексацию сайта в Google можно с помощью Search Console. В новой версии консоли переходим на вкладку «статус» — «индексирование отправленных URL» и получаем картину изменений, ошибок, исключенных страниц и график показов:
Возможный контроль индексации
Важно понимать, что сканирование или обход страницы сайта не означает её попадание в индекс. Иногда необходимо запретить индексирование страниц, которые не нужны в поиске, например: URL с техническими GET-параметрами, служебные или пользовательские документы (корзина, личный кабинет и прочие), документы с UTM-метками. Поэтому каждому сайту желательно иметь:
С помощью команды Disallow можно запрещать индексирование отдельных URL или разделов сайта.
Crawl delay — задаёт минимальное время обращения робота к серверу для избежания нагрузок на сайт.
Clean param — позволяет указать неважные для индексации CGI-параметры в URL-адресах, то есть различные идентификаторы пользователей, сессий и так далее. Используется только в Яндексе.
Sitemap.xml — файл, который помогает поисковым роботам сканировать сайт, с учётом заданных приоритетов.
Robots.txt — файл, задающий правила и параметры обхода для всех роботов поисковых систем или индивидуально для каждой:
Открытые страницы должны быть в поиске, только тогда можно думать о ранжировании. Не забывайте проверять сайт на индексацию , отслеживайте изменения и удачных позиций в выдаче!
Задайте вопрос или оставьте комментарий
Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.
Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) - это потеря дохода.
Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.
Проблема при мониторинге индексации
Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:
- («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);
Возможности инструмента:
- одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);
- возможность проверки сразу всех URL сайта по ;
- нет ограничения по количеству URL.
Особенности:
- работа «в облаке» - не нужно скачивать и устанавливать ПО или плагины;
- выгрузка отчетов в формате XLSX;
- уведомление на почту об окончании сбора данных;
- хранение отчетов неограниченное время на сервере PromoPult.
Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.
При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.
Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.
Хотите, чтобы все страницы вашего сайта заходили в индекс быстро? Мы проконсультируем по поводу оптимальной стратегии SEO-продвижения:
1. Проверьте индексацию в панели вебмастеров
Это базовый способ проверки для вебмастера или владельца сайта.
Google . Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».
Yandex . Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.
Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс.
Проблемы с индексацией выглядят так:
На скриншоте — сайт, закрытый от индексации в файле robots.txt
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Индексация сайта - это процесс поиска, сбора, обработки и добавления сведений о сайте в базу данных поисковых систем.
Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA
Индексация сайта значит, что робот поисковой системы посещает ресурс и его страницы, изучает контент и заносит его в базу данных.Впоследствии эта информация выдается по ключевым запросам. То есть, пользователи сети вводят в строку поиска запрос и получают на него ответ в виде списка проиндексированных страниц.
Если говорить простым языком, получится приблизительно так: весь интернет - это огромная библиотека. В любой уважающей себя библиотеке есть каталог, который облегчает поиск нужной информации. В середине 90-х годов прошлого века, вся индексация сводилась к такой каталогизации. находили на сайтах ключевые слова и формировали из них базу данных.
Сегодня боты собирают и анализируют информацию по нескольким параметрам (ошибки, уникальность, полезность, доступность и проч.) прежде, чем внести ее в поисковой системы.
Алгоритмы работы поисковых роботов постоянно обновляются и становятся все сложнее. Базы данных содержат огромное количество информации, несмотря на это поиск нужных сведений не занимает много времени. Это и есть пример качественной индексации.
Если сайт не прошел индексацию, то информация до пользователей может и не дойти.
Как индексирует сайты Гугл и Яндекс
Яндекс и Гугл, пожалуй, самые популярные поисковики в России. Чтобы поисковые системы проиндексировали сайт, о нем нужно сообщить. Сделать это можно двумя способами:
- Добавить сайт на индексацию при помощи ссылок на других ресурсах в интернете - этот способ считается оптимальным, так как страницы, найденные таким путем, робот считает полезными и их индексирование проходит быстрее, от 12 часов до двух недель.
- Отправить сайт на индексацию путем заполнения специальной формы поисковой системы вручную с использованием сервисов Яндекс.Вебмастер, Google Webmaster Tools, Bing Webmaster Tools и др.
Второй способ медленнее, сайт встает в очередь и индексируется в течение двух недель или больше.
В среднем, новые сайты и страницы проходят индексацию за 1–2 недели.
Считается, что Гугл индексирует сайты быстрее. Это происходит потому, что поисковая система Google индексирует все страницы - и полезные, и неполезные. Однако в ранжирование попадает только качественный контент.
Яндекс работает медленнее, но индексирует полезные материалы и сразу исключает из поиска все мусорные страницы.
Индексирование сайта происходит так:
- поисковый робот находит портал и изучает его содержимое;
- полученная информация заносится в базу данных;
- примерно через две недели материал, успешно прошедший индексацию, появится в выдаче по запросу.
Есть 3 способа проверки индексации сайта и его страниц в Гугл и Яндексе:
- при помощи инструментов для вебмастеров - google.com/webmasters или webmaster.yandex.ru;
- при помощи ввода специальных команд в поисковую строку, команда для Яндекс будет выглядеть так: host: имя сайта+домен первого уровня; а для Гугл - site: имя сайта+домен;
- с помощью специальных автоматических сервисов.
Проверяем индексацию
Это можно сделать используя:
- операторы поисковых систем - смотрим в справке или ;
- услуги специальных сервисов, например rds бар ;
Как ускорить индексацию сайта
От того, насколько быстро роботы проведут индексирование, зависит скорость появления нового материала в поисковой выдаче, тем быстрее на сайт придет целевая аудитория.
Для ускорения индексации поисковыми системами нужно соблюсти несколько рекомендаций.
- Добавить сайт в поисковую систему.
- Регулярно наполнять проект уникальным и полезным контентом.
- Навигация по сайту должна быть удобной, доступ на страницы не длиннее, чем в 3 клика от главной.
- Размещать ресурс на быстром и надежном хостинге.
- Правильно настроить robots.txt: устранить ненужные запреты, закрыть от индексации служебные страницы.
- Проверить на наличие ошибок, количество ключевых слов.
- Сделать внутреннюю перелинковку (ссылки на другие страницы).
- Разместить ссылки на статьи в социальных сетях, социальных закладках.
- Создать карту сайта, можно даже две, - для посетителей и для роботов.
Как закрыть сайт от индексации
Закрыть сайт от индексации - запретить поисковым роботам доступ к сайту, к некоторым его страницам, части текста или изображению. Обычно это делается для того, чтобы скрыть от публичного доступа секретную информацию, технические страницы, сайты на уровне разработки, дублированные страницы и т. п.
Сделать это можно несколькими способами:
- При помощи robots.txt можно запретить индексацию сайта или страницы. Для этого в корне веб-сайта создается текстовый документ, в котором прописываются правила для роботов поисковых систем. Эти правила состоят из двух частей: первая часть (User-agent) указывает на адресата, а вторая (Disallow) запрещает индексацию какого-либо объекта.
Например, запрет индексации всего сайта для всех поисковых ботов выглядит так:
User-agent: *
Disallow: /
- При помощи мета-тега robots, что считается наиболее правильным для закрытия одной страницы от индексирования. При помощи тегов noindex и nofollow можно запретить роботам любых поисковых систем индексировать сайт, страницу или часть текста.
Запись для запрета индексации всего документа будет выглядеть так:
Можно создать запрет для конкретного робота:
На что влияет индексация при продвижении
Благодаря индексации сайты попадают в поисковую систему. Чем чаще обновляется контент, тем быстрее это происходит, так как боты чаще приходят на сайт. Это приводит к более высокой позиции при выдаче на запрос.
Индексация сайта в поисковых системах дает приток посетителей и способствует развитию проекта.
Кроме контента, роботы оценивают посещаемость и поведение посетителей. На основании этих факторов они делают выводы о полезности ресурса, чаще посещают сайт, что поднимает на более высокую позицию в поисковой выдаче. Следовательно, трафик снова увеличивается.
Индексация - это важный процесс для продвижения проектов. Чтобы индексирование прошло успешно, поисковые роботы должны убедиться в полезности информации.
Алгоритмы, по которым работают поисковые машины, постоянно меняются и усложняются. Цель индексации - внесение информации в базу данных поисковых систем.
Чтобы продвигаемые страницы могли выводиться в поиске, они должны находиться в индексе поисковых систем. Давайте разберемся, как проверить, какие страницы сайта находятся в индексе Яндекса или Google, узнать количество документов в базе поисковой системы. Какие инструменты существуют для отслеживания индексации страниц. Но вначале немного ликбеза.
Что такое индекс поисковой системы?
Индекс поисковой системы – это база данных, в которой находится информация обо всех документах (страницах с сайтов, файлов), которые могут участвовать в поиске.
Не все страницы включаются в индекс. Например, если страница вашего сайта признается роботом поисковой системы как низкокачественная, она может не включаться в индекс и не принимать участие в поиске. Аналогичная судьба часто ожидает страницы-дубли или документы, содержащие скопированные с других сайтов тексты.
В Google имеется основной индекс и дополнительный (supplemental index).
В дополнительный индекс попадают документы, которые имеют более низкое качество, чем документы из основного индекса. Они не участвуют в основном поиске, их редко посещает робот Google, они практически не приносят трафик на сайт.
В дополнительный индекс Google обычно попадают:
- страницы с неуникальным контентом,
- страницы, на которых практически отсутствует контент и страницы с текстом менее 500 символов,
- дубли,
- иногда в дополнительный индекс могут попадать страницы с низким весом.
Почему важно проверять количество страниц в индексе?
Очень важно отслеживать индексацию страниц, потому что от этого зависит трафик из поисковых систем. Если страница не проиндексирована, она не сможет появиться в выдаче по какому-либо запросу.
Как узнать, сколько страниц в индексе Яндекса или Google?
Есть несколько способов проверить количество страниц в индексе поисковых систем:
1. Введите в поисковую строку запрос: site:site.com (где site.com – это URL или адрес главной страницы сайта), как на скриншоте ниже:
Под строкой поиска вы увидите примерное количество страниц в индексе поисковой системы. В примере выше указано число страниц в индексе Google. Этот способ позволяет узнать число страниц в базе поисковой системы у любого сайта, в том числе конкурента.
2. Проверить количество страниц в индексе Google, можно в сервисе Google для вебмастеров . Аналогичный сервис в Яндексе – это Яндекс.Вебмастер. В нем можно посмотреть число страниц в индексе данной поисковой системы. Для просмотра данных потребуется подтвердить права на сайт в сервисах. Поэтому данный способ не подходит для анализа сайтов конкурентов.
Если у вас есть доступ в Яндекс.Вебмастер, зайдите на вкладку «Индексирование» -> «Страницы в поиске» и над графиком выберите отображение «История». Здесь вы сможете посмотреть не только число страниц в индексе, но и историю индексирования сайта.
3. При помощи онлайн-сервисов, например, многие бесплатные сервисы для проведения аудитов сайтов выводят информацию о количестве страниц в индексе.
Как проверить страницу в индексе Яндекса или Google?
Часто вебмастеру требуется узнать, находится в индексе конкретная страница сайта или нет. Самый простой способ узнать это – ввести поисковый запрос, состоящий из адреса страницы. Если в результатах поиска вы увидите искомую страницу, значит, она находится в индексе:
В Яндекс.Вебмастер есть функция, которая позволяет не только проверять, в индексе страница или нет, но и следить, чтобы важные страницы не выпадали из поиска. Чтобы добавить страницу в список отслеживаемых, зайдите в раздел «Индексирование» -> «Важные страниц» и в открывшейся форме добавьте нужные страницы:
Можно настроить отслеживание до 100 страниц, что достаточно для многих проектов. Если вам нужно отслеживать больше документов на сайте, то можно воспользоваться сервисом Топвизор . Он позволяет проверять, в индексе страницы сайта или нет, без ограничения по числу документов. Помимо проверки индексации сайта, сервис позволяет снимать позиции по запросам, группировать запросы и многое другое.
Как вернуть или добавить страницу в индекс?
В панелях для вебмастеров имеются специальные сервисы, позволяющие отправить страницу на переиндексацию или добавить новую страницу с сайта в поисковую систему:
Второй способ отправить страницу на переиндексацию – это добавить ссылки на страницу в социальные сети, новостные ресурсы и другие интернет-ресурсы, которые часто посещают роботы поисковых систем.
Если вы отправили страницу на индексацию, но она не появилась в поиске, скорее всего, робот посчитал документ малополезным. Нужно доработать страницу, чтобы она попала в индекс.
Как ускорить индексацию сайта?
Индексацию сайта можно ускорить на разных этапах продвижения сайта:
- Добавьте сайт в панели для вебмастеров. Это позволит ускорить попадание нового сайта в индекс.
- Чаще обновляйте контент. Тогда поисковые роботы будут чаще заходить на сайт и новые страницы будут быстрее добавляться в индекс.
- Следите за качеством контента. На сайты с низким качеством контента роботы могут заходить реже или совсем перестать индексировать такие проекты.
- Периодически проводите технический аудит сайта , чтобы исключать технические причины выпадения страниц из индекса. Например, иногда при редактировании файла robots.txt вебмастера по ошибке закрывают некоторые документы от индексации.
- Если вы подавали заявку на удаление страницы из индекса через панели для вебмастеров, но затем передумали и решили снова включить страницу в поиск, то с ее индексацией могут возникнуть проблемы. Она не будет добавляться в индекс, несмотря на все ваши действия. Иногда решить проблему помогает только обращение в службу поддержки поисковой системы.
- Если страницы стали вылетать из индекса, проверьте сайт на наличие фильтров , уникальность текстов и техническую сторону работы сайта.
- Если сайт слишком большой, вы можете достигнуть лимита по числу документов в индексе поисковой системы (такой лимит есть для каждого сайта). В этом случае можно закрыть от индексации второстепенные страницы, чтобы основные присутствовали в поиске.
В этой статье мы рассмотрели, как проверить индекс сайта в Яндексе или Google, узнать количество страниц в базе поисковой системы, настроить автоматическое отслеживание индексации проекта. Если у вас остались вопросы, добавьте их в комментариях под статьей.