# 머니룩 (asiatop.co.kr) — robots.txt
#
# R53 #4 정공 fix (개정판):
#   1. `*` (catch-all) 그룹에 Allow + 모든 Disallow 명시 — 이전 버전은 Disallow 들이
#      마지막 named 그룹(Meta-ExternalAgent) 에 묶이는 표준 위험.
#   2. AI 답변 엔진 명시 그룹은 Allow / 만 명시 (정책 가시화 + e2e 회귀 안전망).
#      명시 그룹과 매치된 봇은 robots 표준상 `*` 그룹의 Disallow 를 무시한다.
#   3. 한국 검색엔진 명시 그룹(Yeti·NaverBot·Daum·Daumoa)에는 Disallow 를 직접 넣는다 (2026-09-05).
#      Allow / 만 있던 시절 Yeti 가 /search·/llms*.txt 를 수집해 서치어드바이저 진단 오류로 집계됐다
#      (meta robots 제외 1건 + <title>/description 없음 14+14건). llms*.txt 는 AI 봇용이므로 AI 그룹은 불변.

User-agent: *
Allow: /
# 미발행/드래프트 차단 (production 빌드에는 없으므로 가드)
Disallow: /draft/
Disallow: /preview/
Disallow: /admin/
Disallow: /briefs/_pool/
# 검색 결과·디자인 시스템 — thin/duplicate content 회피
Disallow: /search
Disallow: /search?
Disallow: /design-system
# llms 텍스트 파일 — 검색엔진 색인 제외 (Googlebot·Bingbot 등 catch-all). AI 답변 엔진은 아래 명시 그룹으로 허용.
Disallow: /llms.txt
Disallow: /llms-full.txt
Disallow: /llms-cluster-

# ── 한국 검색엔진 명시 그룹 (R50-1 정책 — Naver Search Advisor 진단 권장) ──
User-agent: Yeti
Allow: /
Disallow: /search
Disallow: /search?
Disallow: /design-system
Disallow: /llms.txt
Disallow: /llms-full.txt
Disallow: /llms-cluster-

User-agent: NaverBot
Allow: /
Disallow: /search
Disallow: /search?
Disallow: /design-system
Disallow: /llms.txt
Disallow: /llms-full.txt
Disallow: /llms-cluster-

# Daum/Kakao
User-agent: Daum
Allow: /
Disallow: /search
Disallow: /search?
Disallow: /design-system
Disallow: /llms.txt
Disallow: /llms-full.txt
Disallow: /llms-cluster-

User-agent: Daumoa
Allow: /
Disallow: /search
Disallow: /search?
Disallow: /design-system
Disallow: /llms.txt
Disallow: /llms-full.txt
Disallow: /llms-cluster-

# ── AI 답변 엔진 명시 허용 (PROJECT.md §B-3) ──
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Bytespider
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Diffbot
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

# ── Sitemaps ──
Sitemap: https://asiatop.co.kr/sitemap-index.xml
Sitemap: https://asiatop.co.kr/sitemap-news.xml
Sitemap: https://asiatop.co.kr/sitemap-images.xml

# 피드형 sitemap (Google·Bing·Naver 모두 RSS·Atom·JSON Feed를 sitemap으로 인식).
Sitemap: https://asiatop.co.kr/rss.xml
Sitemap: https://asiatop.co.kr/atom.xml
Sitemap: https://asiatop.co.kr/feed.json
Sitemap: https://asiatop.co.kr/rss/gov-support.xml
Sitemap: https://asiatop.co.kr/rss/tax.xml
Sitemap: https://asiatop.co.kr/rss/realestate.xml
Sitemap: https://asiatop.co.kr/rss/unemployment.xml
Sitemap: https://asiatop.co.kr/rss/savings.xml
Sitemap: https://asiatop.co.kr/rss/insurance-labor.xml
Sitemap: https://asiatop.co.kr/rss/auto.xml
Sitemap: https://asiatop.co.kr/rss/public-services.xml
Sitemap: https://asiatop.co.kr/rss/office-tips.xml
Sitemap: https://asiatop.co.kr/rss/credit-loan.xml
Sitemap: https://asiatop.co.kr/rss/insurance-personal.xml
Sitemap: https://asiatop.co.kr/rss/pension.xml