Если говорить в общем, то индексация сайта в поисковых системах – это внесение страниц вашего сайта в базу поисковых систем
Попробуем теперь разобраться и понять, для чего нужна индексация, на что она влияет, как этот процесс осуществляется и как проверить индексацию сайта в поисковых системах.
Как происходит индексация сайта поисковыми системами?
Прежде всего, индексация сайта в поисковых системах – важная составляющая продвижения сайта в топ. От того, как быстро сайт будет проиндексирован, зависит его появление на страницах поисковых систем. Для индексации существуют специальные поисковые «роботы», которые регулярно заходят на сайты и анализируют данные. И если пользователю видна только визуальная и информативная составляющая сайта, то «робот» анализирует весь его html-код. Поэтому при поисковом продвижении сайта следует учитывать правильное заполнение всех тегов (теги <title>, <description>, <H1>, <р> и так далее), грамотное размещение текста на странице, перелинковку, создание карты сайта, наличие микроразметки.
Индексацию можно осуществить несколькими способами:
- Создать сайт, наполнить его контентом, заполнить теги и ждать поискового робота, который автоматически проиндексирует каждую страничку и внесет их в базу. Для быстроты индексации можно оставить ссылку на сайт на авторитетных ресурсах, тогда робот, перейдя по ней, проиндексирует страницы. Это может потребовать определенных затрат, так как на популярных сайтах и порталах, либо запрещено оставлять ссылки на другие ресурсы, либо эта услуга платная.
- Самостоятельно заполнить форму на индексирование вашего ресурса в поисковой системе. В этом случае сайт встанет в очередь на индексацию и через некоторое время робот будет отправлен по указанному вами адресу. Этот процесс может затянуться, но зато он бесплатный и не требует особых усилий. Вот адреса для заполнения форм:
- Яндекс.Вебмастер: https://webmaster.yandex.ru/sites/add/
- Google Search Console: https://www.google.com/webmasters/tools/submit-url
- Третий способ – совмещенный. Это совокупность первого и второго метода, когда заполняется форма в ПС и устанавливаются ссылки на ваш сайт на других ресурсах.
- Четвертый способ – ничего не делать и ждать, когда поисковые роботы самостоятельно проиндексируют страницы сайта. Это самый длительный по времени способ.
Не следует забывать о том, что если поисковый робот посетил ваш новый сайт, то будут проиндексированы не все страницы сразу. Запаситесь терпением и ждите, роботы периодически будут заходить и индексировать страницы, а также проверять их на изменения и соответствие требованиям поисковиков. Так как поисковых систем несколько (Google, Rambler, Яндекс и так далее), то и индексация сайта в разных поисковиках займет разное время. Правильность настройки HTTP-заголовков страниц может существенно повлиять на индексацию, поэтому к этому вопросу следует подойти с профессиональной точки зрения, а лучше доверить дело профессионалам. В SEO.RU используют свои методы ускорения и проверки индексации сайта в поисковых системах, что выгодно отличает нашу компанию от других.
Как проверить индексацию сайта в поисковых системах Яндекс и Google
Проверка индексации сайта в поисковых системах (включая подсчет числа проиндексированных страниц) проводится несколькими способами:
- Запросить название своей организации в поисковике и вручную проверить каждую ссылку на первой и второй страницах. Не очень удобно, не очень быстро.
- Запросить в поисковике URL своего сайта с правильным оператором – site. Например, проверим в Яндексе индексацию сайта seo.ru:
«Нашлось 412 результатов» – значит, 412 страниц сайта Яндекс проиндексировал.
Обратите внимание, что в Яндексе существует два варианта подобных операторов:
- вышеописанный site: – когда поиск производится по всем поддоменам и страницам указанного сайта;
- более точный host: – когда поиск идет по страницам, размещенным на данном хосте, в таком случае запрос уже будет выглядеть вот так: host:seo.ru | host: www.seo.ru.
То же самое запросим в Google:
«Результатов: примерно 416» – проиндексировано 416 страниц.
Как запретить сайт к индексации?
На сайт можно наложить запрет к индексации. Делается это с помощью файла robots.txt, содержимое которого заполняется так:
User-agent: * – директива для выбора поисковой системы, где * – это все поисковики; если нужно запретить к индексации от какого-то одного поисковика, прописывается его название на латинице (Google, Yandex и так далее);
Disallow: / – закрываем сайт от поисковиков.
Напомним, файл robots.txt должен находиться в корневой папке сайта.
