# --- BLOQUE GENERAL PARA TODOS LOS BOTS ---
User-agent: *
# Bloquear áreas administrativas
Disallow: /wp-admin/
Disallow: /wp-login.php
# Bloquear búsquedas internas (evita contenido duplicado en SEO)
Disallow: /?s=
Disallow: /search/
Disallow: /wp-json/ # Opcional: Bloquear API REST si no es necesaria públicamente
Allow: /wp-admin/admin-ajax.php

# --- REGLAS ESPECÍFICAS PARA IA ---

# OpenAI (ChatGPT y sus modelos)
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /

# Google (Para Gemini y Vertex AI)
# Nota: Googlebot ya rastrea por defecto, pero esto asegura acceso a las herramientas extendidas
User-agent: Google-Extended
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /

# Common Crawl (Base de datos usada por muchas IAs para entrenamiento)
User-agent: CCBot
Allow: /

# Perplexity AI
User-agent: PerplexityBot
Allow: /

# Apple (Apple Intelligence)
User-agent: Applebot-Extended
Allow: /

User-agent: SiteAuditBot
Crawl-delay: 1
Allow: /

User-agent: Semrushbot-SI
Allow: /

User-agent: SEBot-WA
Allow: /

# --- SITEMAP ---
# Cambia esto por tu dominio real
Sitemap: https://embention.us/sitemap_index.xml