Индекс (поисковый индекс) — база данных, собранная поисковыми ботами.

Индексация- это  внедрение  сведений о сайтах  в базу данных.  Сведения состоят из ключевых слов, ссылок, текстовых материалов и статей, иногда индексируются и графические объекты. В базу данных  постоянно добавляется новая информация, поэтому количество  проиндексированных страниц может варьироваться.

Процесс индексации осуществляется вручную или  автоматически.  Вебмастер может сам добавить адрес сайта в особую форму, робот узнает об этом ресурсе и найдет его. В автоматическом режиме робот сам должен дойти до страниц сайта, что может занять много времени, поэтому иногда, чтобы ускорить процесс индексации,  применяют  внешние ссылки с проиндексированных страниц.

Если вебмастер не хочет допустить индексации  некоторых страниц на своем сайте, то это можно  сделать, прописав их адреса  в файле robots.txt.