User-agent: *
Allow: /
Allow: /og/
Allow: /images/
Allow: /_astro/
# /_astro/ MUST be crawlable: Google needs to fetch CSS/JS to render pages
# correctly for Mobile-Friendly + Core Web Vitals + indexing assessment.
# Blocking it makes Google see broken layouts and degrades ranking.
Allow: /_next/static/
# /_next/static/ = аналог /_astro/, но для Next.js-webapp (feed/character/…).
# БЕЗ этого Allow правило "Disallow: /*/feed/" (ниже) матчит и JS-чанк
# /_next/static/chunks/app/(webapp)/feed/page-*.js (в пути есть "/feed/") →
# Googlebot не качает → client-shell /feed рендерится пустым (чёрный скриншот
# в GSC, live "Заблокировано в robots.txt", инцидент 2026-07-05). Allow длиннее
# (/_next/static/ =14 симв.) чем /*/feed/ (=8) → выигрывает по specificity у
# Google и Yandex. Тот же риск был бы у /*/chat|shop|create|… — Allow покрывает
# все Next.js-чанки разом (JS/CSS/media обязаны быть crawlable для рендера).

# Private mini-app pages (noindex — save crawl budget).
# IMPORTANT: используем $ и / для строгого матчинга. Старое правило
# "Disallow: /*/chat" жадно поглощало /ru/blog/chat-s-ii-devushkoy-...,
# /ru/blog/chat-s-ii-onlajn-..., /vi/blog/chat-ai-..., /th/blog/chat-ai-...,
# /id/blog/chat-halu-..., /fr/blog/chat-ia-..., /it/blog/chat-ia-...,
# /en/blog/create-custom-... — Yandex выбросил 8 статей в "Запрет в robots.txt"
# 25.04.2026. Fix: матчим только точно /[lang]/chat (конец URL) или
# /[lang]/chat/ (с trailing slash), не сматчиваем /[lang]/blog/chat-...
# /[lang]/feed (без trailing slash) остаётся индексируемой как listing.
Disallow: /*/chat$
Disallow: /*/chat/
Disallow: /*/tasks$
Disallow: /*/tasks/
Disallow: /*/create$
Disallow: /*/create/
Disallow: /*/matches$
Disallow: /*/matches/
Disallow: /*/shop$
Disallow: /*/shop/
Disallow: /*/topup$
Disallow: /*/topup/
Disallow: /*/profile$
Disallow: /*/profile/
Disallow: /*/favorites$
Disallow: /*/favorites/
Disallow: /*/payment$
Disallow: /*/payment/
Disallow: /*/feed/
Disallow: /*/auth/callback
Disallow: /*/auth/reset-password

Sitemap: https://honeychat.bot/sitemap-index.xml
Sitemap: https://honeychat.bot/sitemap-web.xml

# RSS feeds
# https://honeychat.bot/rss.xml (all languages)
# https://honeychat.bot/rss-yandex.xml (Russian, with yandex:full-text)

# LLM-readable product summary (AI crawlers convention: /llms.txt in root)
# https://honeychat.bot/llms.txt
# https://honeychat.bot/llms-full.txt