[ Поисковый бот · AI-поиск как сервис ]

AISearchBot

AISearchBot — краулер управляемого сервиса AI-поиска. Мы индексируем публичные страницы сайтов, которые подключили наш поисковый виджет, чтобы отвечать их посетителям по содержимому сайта — со ссылками на источники и на языке посетителя. Бот заходит только на сайты наших клиентов и уважает robots.txt.

Как опознать бота

User-Agent

AISearchBot/1.0 (+https://mvp-search-k3gecv3cwa-uc.a.run.app/bot; managed site search)

Статический IP (egress)

35.223.115.47

Бот всегда представляется этой строкой User-Agent и ходит с одного статического IP-адреса — по ним его можно точно опознать в логах и в правилах защиты.

Как разрешить обход

Разрешите обход нашему боту в robots.txt:

User-agent: AISearchBot
Allow: /

Если сайт за WAF или фаерволом, добавьте бот в исключения — по User-Agent или по нашему IP:

Cloudflare: WAF → Custom rules → Skip, условие «User-Agent содержит AISearchBot» (или по нашему IP). Отключите для него Bot Fight Mode / Browser Integrity Check.
Google Cloud Armor: правило allow с выражением request.headers['user-agent'].contains('AISearchBot') или по source-IP (наш egress-IP), приоритет выше блокирующих.
Imperva: добавьте наш User-Agent (или IP) в Allowlist / Good Bots, чтобы бот не попадал под фильтр угроз.

Как заблокировать

Не хотите, чтобы бот индексировал сайт или его часть — закройте доступ в robots.txt. Бот уважает эти правила:

User-agent: AISearchBot
Disallow: /

Связаться с нами

Вопросы по боту, доступу или индексации — через форму обратной связи. Написать нам