Индексация сайта — это добавление информации о сайте в базу данных поисковой системы. Осуществляют это роботы. Сами данные используются впоследствии для поиска пользователями необходимой им информации на проиндексированных страницах сайтов.
Основные задачи роботов поисковых систем
Робот поисковой системы, отвечающий за индексацию сайтов, обычно называется пауком. Он исследует страницы ресурсов, переходит по ссылкам и собирает информацию. На какой-то конкретный сайт робот может попадать с главной, а также с произвольной страницы (к примеру, со страницы с какой-нибудь статьей или товаром в каталоге продукции).
Соответственно, индексация в поисковых системах будет происходить по-разному. Попадая на главную страницу сайта, он начинает изучать ссылки, находящиеся на ней, а также осуществлять переходы по этим ссылкам (на другие страницы или разделы этого же сайта). Перейдя на данные страницы, робот индексирует их содержимое, а затем снова ищет ссылки, чтобы перейти по ним. Это и есть упрощенная схема индексации любого сайта. Индексирование сайта — это процесс добавления данных поисковым роботом в базу системы для последующего их использования.
При этом каждый поисковик обладает своей собственной политикой касательно глубины индексации сайтов (под глубиной индексации подразумевают количество последовательных уровней веб-страниц конкретного сайта, которые посещают поисковые роботы). Поисковая система может не ограничивать эту самую глубину. В данном случае робот исследует все страницы сайта, до которых он сможет добраться (даже если уровень вложенности сайта будет очень большим). Однако чаще всего поисковик ограничивает глубину индексации. В этом случае робот, «погрузившись» в сайт на определенную глубину, покинет его. При этом проиндексируются лишь те страницы, которые находились в первых уровнях вложенности. Весь остальной контент останется неизвестным для поисковика.
На что влияет глубина индексации
Глубина индексации может задаваться относительно главной страницы. В этом случае индексироваться будут лишь страницы, находящиеся на определенной глубине от главной. Также глубина индексации может задаваться относительно произвольной страницы. К примеру, точкой входа для робота поисковой системы стала страница с какой-то статьей (не главная). В этом случае глубина «погружения» в сайт будет отсчитываться именно от данной страницы со статьей.
Возникает вопрос – для чего поисковые системы вводят ограничения на глубину индексации сайтов? При индексации сложного и «глубокого» сайта поисковой робот вынужден проводить на нем больше времени. В этом случае за один цикл будет индексироваться гораздо большее количество файлов. Соответственно, затраты поисковика на индексацию каждого конкретного сайта будут возрастать. А поисковик – это не благотворительная организация, тем более вебмастера не платят за индексацию своих ресурсов.
Отсюда следующий вывод – если вы хотите, чтобы ваш сайт легко и без проблем индексировался в большинстве поисковых систем, нужно уменьшать количество уровней вложенности. Чем меньше их будет (при постоянном объеме сайта), тем выше вероятность того, что все страницы сайта будут успешно проиндексированы.