# ============================================================================= # robots.txt – thaulle.com # Strategie: Maximale KI-Sichtbarkeit + Search/Training-Differenzierung # Optimiert für WordPress (DE/EN) & Generative Search (Gemini, GPT-5, Perplexity) # Stand: 2026-05 | Dokumentation: https://thaulle.com/llms.txt # ============================================================================= # HINWEIS: Die CC BY 4.0-Lizenz und ai-training=allowed werden zusätzlich # via HTML-Meta-Tags, Schema.org im sowie über /ai.txt signalisiert, # da robots.txt-Kommentare von keinem Bot ausgewertet werden. # ============================================================================= # ----------------------------------------------------------------------------- # GRUPPE 1a: KI-SEARCH-BOTS (RAG / Grounding / Echtzeit-Suche) # Diese Bots liefern Ergebnisse in KI-Suchantworten. Voller Content-Zugriff, # aber identischer Thin-Content-Schutz wie fuer Suchmaschinen. # ----------------------------------------------------------------------------- User-agent: OAI-SearchBot User-agent: PerplexityBot User-agent: Applebot-Extended User-agent: ChatGPT-User Allow: / Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-login.php Disallow: /xmlrpc.php Disallow: /?s= Disallow: /search/ Disallow: /checkout/ Disallow: /cart/ Disallow: /mein-konto/ Disallow: /author/ Disallow: /feed/ Disallow: /comments/feed/ Disallow: /*?replytocom= Disallow: /?attachment_id= # ----------------------------------------------------------------------------- # GRUPPE 1b: KI-TRAINING-BOTS (Modell-Training / Grounding) # Bewusste Freigabe fuer Training – konsistent mit CC BY 4.0 Strategie. # Identischer Thin-Content-Schutz. Kann bei Strategiewechsel auf # Disallow: / umgestellt werden, ohne Search-Sichtbarkeit zu verlieren. # ----------------------------------------------------------------------------- User-agent: GPTBot User-agent: Google-Extended User-agent: ClaudeBot User-agent: anthropic-ai User-agent: cohere-ai User-agent: CCBot User-agent: Bytespider User-agent: Amazonbot User-agent: FacebookBot User-agent: meta-externalagent Allow: / Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-login.php Disallow: /xmlrpc.php Disallow: /?s= Disallow: /search/ Disallow: /checkout/ Disallow: /cart/ Disallow: /mein-konto/ Disallow: /author/ Disallow: /feed/ Disallow: /comments/feed/ Disallow: /*?replytocom= Disallow: /?attachment_id= # ----------------------------------------------------------------------------- # GRUPPE 2: SUCHMASCHINEN (Google & Bing) # Rendering-faehige Bots mit vollstaendigem Thin-Content-Schutz. # ----------------------------------------------------------------------------- User-agent: Googlebot User-agent: Bingbot Allow: / Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-login.php Disallow: /xmlrpc.php Disallow: /?s= Disallow: /search/ Disallow: /checkout/ Disallow: /cart/ Disallow: /mein-konto/ Disallow: /author/ Disallow: /feed/ Disallow: /comments/feed/ Disallow: /*?replytocom= Disallow: /?attachment_id= # ----------------------------------------------------------------------------- # GRUPPE 3: ALLE ANDEREN BOTS (Fallback) # Maximaler Schutz der WordPress-Struktur und des Crawl-Budgets. # ----------------------------------------------------------------------------- User-agent: * Allow: / Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-login.php Disallow: /xmlrpc.php Disallow: /?s= Disallow: /search/ Disallow: /author/ Disallow: /?attachment_id= Disallow: /feed/ Disallow: /comments/feed/ Disallow: /*?replytocom= Disallow: /cart/ Disallow: /checkout/ Disallow: /mein-konto/ # ----------------------------------------------------------------------------- # SITEMAPS (DE + EN via Index-Sitemap mit Hreflang) # ----------------------------------------------------------------------------- Sitemap: https://thaulle.com/sitemap_index.xml # ----------------------------------------------------------------------------- # KI-KONTEXT # Strukturierte Selbstbeschreibung für LLM-Agenten: # https://thaulle.com/llms.txt # Feingranulare KI-Training-Steuerung: # https://thaulle.com/ai.txt # -----------------------------------------------------------------------------