# TRADING DIARY — robots.txt
# Last updated: 2026-06-01
# Policy: 공개 콘텐츠(인사이트/자유게시판/라운지/가격/공유) index,
#         인증·관리·사적 영역(/dashboard, /notes, /settings, /admin) 차단,
#         AI 학습 크롤러는 Google-Extended 만 허용, 나머지 전면 차단.

# ─────────────────────────────────────────────
# 기본 정책 — 모든 봇 대상
# ─────────────────────────────────────────────
User-agent: *
Allow: /

# 인증/사적 영역 차단
Disallow: /dashboard
Disallow: /settings
Disallow: /settings/
Disallow: /admin
Disallow: /admin/
Disallow: /notes
Disallow: /notes/

# Firebase 내부 경로
Disallow: /__/
Disallow: /api/

# 비밀번호 재설정 등 일회성 URL
Disallow: /reset-password
Disallow: /verify-email
Disallow: /oauth-callback

# ─────────────────────────────────────────────
# Naver Yeti — 한국 시장 핵심 검색엔진
# ─────────────────────────────────────────────
User-agent: Yeti
Allow: /
Disallow: /dashboard
Disallow: /settings/
Disallow: /admin/
Disallow: /notes
Disallow: /api/
Disallow: /__/
Crawl-delay: 1

# ─────────────────────────────────────────────
# Daum/Kakao 검색 봇
# ─────────────────────────────────────────────
User-agent: Daumoa
Allow: /
Disallow: /dashboard
Disallow: /settings/
Disallow: /admin/
Disallow: /notes
Disallow: /api/
Disallow: /__/
Crawl-delay: 1

# ─────────────────────────────────────────────
# Google AI 학습 (Google-Extended) — 허용
# Google 검색 결과(Googlebot)는 위 기본 정책 적용
# ─────────────────────────────────────────────
User-agent: Google-Extended
Allow: /

# ─────────────────────────────────────────────
# AI 크롤러 전면 차단 (콘텐츠 저작권 보호)
# ─────────────────────────────────────────────
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-User
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: ImagesiftBot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: Omgili
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

# ─────────────────────────────────────────────
# Sitemap
# ─────────────────────────────────────────────
Sitemap: https://tradingdiary.co.kr/sitemap.xml