Позиции по поисковым запросам. Проблема индексирования, или что такое индексы. Как самостоятельно добавить страницу в индекс Google
По ходу дела расскажу о работе с дублями страниц. Поисковик Яндекс оперативно реагирует на изменения файла robots.txt, исправно убирая из индекса запрещенные страницы и каталоги. Если проверять Гугл индекс, здесь не все так просто. Далее по порядку: почему сложно работать с этим поисковиком, какие методы решения проблем есть.
Разбираемся, какие страницы находятся в основном индексе Гугла
Это достаточно просто определить, набрав в адресной строке браузера комбинацию site:https://сайт/& (вместо моего домена прописываете собственный). Поисковик покажет полный список страниц, участвующих в поиске. Перед списком будет указано общее количество предоставленных страниц (Результатов: примерно "столько", это основной индекс Гугла). Пролистайте список до конца, увидите далее "скрытые" результаты. Это так называемый дополнительный индекс, или как его прозвали блоггеры, "сопли". Там находятся дубли страниц и те, что понижены в результатах за какие-то нарушения. Чтобы полнее владеть информацией, зайдите в панель вебмастера Google. Открываем Индекс Google-статус индексирования-расширенные данные.
В этом представлении вы увидите, сколько ссылок ведет на ваш сайт и откуда они появляются, какой контент они показывают и как они появляются. Те, кто начинает приключение с позиционированием, часто удивляются тому, что на их сайте нет ссылок вообще. В такой ситуации необходимо принять меры для их получения.
Подробнее о получении ссылок. Внутренние ссылки также являются важной частью оптимизации веб-сайта. В упрощенном виде они позволяют роботам видеть, какой контент в пределах сайта наиболее уместен. Кроме того, они облегчают индексацию всего содержимого на сайте. Внутренние ссылки включены в меню, а также другие элементы навигации, а также контент.
Увидите общее количество проиндексированных , исключенные страницы. Заблокированные URL - те, доступ к которым закрыт файлом Роботс. Общее количество - это сколько всего страничек поисковик добавил в индекс (основной и дополнительный). Здесь значатся также несуществующие уже (удаленные или переименованные), выдающие ошибку 404. Чтобы устранить эту проблему, зайдите Сканирование-ошибки сканирования панели вебмастера, просмотрите список URL, выдающих ошибку 404, каждый добавьте в форму "Удалить URL" (пройдя по меню Индекс Google-удалить URL адреса) :
Аудит для мобильных устройств
Взгляните на ручное перо, чтобы увидеть, не пострадали ли ваши сайты. Если вы найдете там какое-то тревожное сообщение, лучше всего связаться. Мы все чаще используем Интернет через смартфоны. Поэтому он предупреждает о нечувствительных к страницам страницах и поддерживает те, которые подходят для просмотра на экране телефона.
Аудит ключевых слов в содержании страницы
Может случиться так, что многие подстраницы сайта не индексируются вообще. В этом случае обратитесь к специалисту. Хорошо сочетать эту информацию с данными из представления «Поисковые запросы» и делать выводы. В представлении «Ошибки сканирования» вы можете узнать, были ли идентифицированы и какие ошибки были обнаружены. Наиболее распространенная ошибка, вероятно, является ошибкой 404. Она относится к адресам, которые указывают на несуществующие страницы.
Таким же образом можно удалить из индекса любые страницы, которые вы запретите файлом Роботс или пропишете ноиндекс через метатеги. Однако это не все. Гугл даже после проведенных процедур удаления оставляет просканированные версии в кэше, скорее всего это будет дополнительный индекс. Тут уже ничего не поделаешь. Главное после не допускать дублирования. Кстати, убедиться, что станица не индексируется, легко: в поиске пропишите ее адрес, нажмите ввод. Если выдача Гугла ее не показала, все ок.
В этом представлении вы убедитесь, что поисковая система не возражает против проблем безопасности на вашем сайте. Возможно, вы не знаете, что, например, в шаблоне страницы есть опасный фрагмент кода, который заражает компьютеры ваших пользователей. Если вы заметили какие-либо тревожные сигналы в этом разделе, обратитесь к специалисту.
Убедитесь, что ваш сайт предпринял ручные действия против спама
Давайте знать, был ли приведенный выше совет полезен. Если да, свяжитесь со мной или напишите в комментариях ниже. Если ваш сайт недавно появился, мы, возможно, еще не знаем его. Если ваш сайт содержит спам или иным образом нарушает наши правила для веб-мастеров, мы можем предпринять его вручную, например, понизить вашу позицию или даже удалить ее из результатов поиска. Если действие ручного спама повлияет на ваш сайт, мы сообщим вам на странице «Действия вручную» в Инструментах для веб-мастеров.
Убедитесь, что ваш контент сайта полезен и уместен
Чтобы узнать, как посетители попадают на ваш сайт, перейдите на страницу «Условия поиска». На странице также отображается информация о количестве показов и кликах и рейтинг кликов для каждого запроса. Эта информация особенно полезна, поскольку она позволяет вам изучить условия поиска пользователя и получить список запросов, в которых пользователи часто нажимают ссылку на ваш сайт. В этом случае подумайте об изменении контента, чтобы сделать его более актуальным и обнадеживающим. Описательная информация в тегах заголовков и описаниях в метатегах позволяет нам получить представление о содержании вашего сайта. Кроме того, они могут отображаться на страницах результатов поиска - полезный, описательный текст, скорее всего, будет нажат на пользователей. Расскажите миру о своем сайте. Естественные ссылки на ваш сайт создаются в Интернете, когда другие сайты распознают ваш сайт как полезный для пользователей, которые его посещают. Мы рекомендуем внимательно изучить процесс публикации изображений, чтобы обеспечить наилучшие возможности для ваших пользователей и следовать нашим правилам изображения.- Чтобы просмотреть эти данные, вы должны добавить и подтвердить свой сайт.
- Убедитесь, что ошибок обхода нет.
- Посмотрите на список ошибок и исправьте те, которые вы можете.
- Большинство поисковых систем полагаются на текст на странице.
- Просмотрите статистику сканирования вашего сайта.
- Убедитесь, что контент вашего сайта является текстовым и легко читается.
А сколько всего страниц в индексе Гугла?
Ответ тоже легко найти, забив в поиске Гугла комбинацию site:сайт (домен меняете на свой). Вверху списка число - количество всех загруженных страниц. Сюда входят также те, что исключены через robots.txt.
Этот список кстати поможет вам увидеть, какие существуют дубли страниц на сайте, увидев те пути, которые нужно закрыть, следует срочно добавить в текстовый файлик Роботс. Конечно, не все так просто в этом вопросе, но разобраться можно. Интересно, какие у вас возникают с этим трудности? Пишите комментарии, вместе разберемся!
Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.
При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.
Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.
1. Проверьте индексацию в панели вебмастеров
Это базовый способ проверки для вебмастера или владельца сайта. Google . Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования». Yandex . Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.
Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. 
Проблемы с индексацией выглядят так: 
На скриншоте — сайт, закрытый от индексации в файле robots.txt.
2. Используйте операторы в поисковых запросах
Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:».
Например, сайт cubing.com.ua находится под фильтром АГС.
Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:
3. Используйте плагины и букмарклеты
Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.
Это делают плагины и скрипты:
Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также сервис предупреждает об ошибках в этих данных.
Почему не индексируется сайт?
1. Новый сайт . Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.
2. Нет карты сайта (sitemap) . Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.
3. Ошибки на сайте . Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.
Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:
5. Ошибка с robots.txt . Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:
User-agent: * Disallow: /
Выводы
Цель владельца сайта — все страницы, открытые для индексации, в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:
- В панелях вебмастеров Google и Яндекс.
- С помощью поискового оператора «site:».
- С помощью плагинов, вроде RDS bar, и буркмарклетов.
- В специальных сервисах, а ля Netpeak Spider.
Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.