IndexaBot

IndexaBot обходит только сайты, владелец которых подтвердил права в консоли. Он читает HTML-страницы, проверяет доступность сайта и делает скриншоты главной.

Как бот представляется

IndexaBot/1.0 (+https://ваш-домен/bot)

Подтверждение владельца

Подойдёт любой из трёх способов. Токен показывается в консоли после добавления домена.

<meta name="indexa-verification" content="ТОКЕН">

https://ваш-сайт/indexa-ТОКЕН.txt   (внутри файла — токен)

TXT  indexa-verification=ТОКЕН

Правила индексации

Бот учитывает robots.txt (секция IndexaBot, затем *), Sitemap, заголовок X-Robots-Tag и rel="canonical". Он не выходит за пределы подтверждённого домена и не индексирует страницы с noindex.

<meta name="robots" content="noindex">
<meta name="indexabot" content="noindex, nofollow">
<meta name="indexa:keywords" content="слова, по которым найти страницу">

Чтобы закрыть сайт целиком:

User-agent: IndexaBot
Disallow: /

Удалить сайт из индекса можно в консоли — все страницы исчезнут из поиска сразу.