# ========================================================================

# Robots.txt optimisé pour WordPress avec :

# - Favicon visible dans Google Search

# - Autorisation de toutes les IA (ChatGPT, Gemini, Claude, Grok, Perplexity, etc.)

# - Nouveaux moteurs de recherche IA (Perplexity, You.com, etc.)

# ========================================================================

# Remplacez "votresite.com" par votre vrai nom de domaine

 

# ========================================================================

# 🤖 IA ET ASSISTANTS - ACCÈS COMPLET AUTORISÉ

# ========================================================================

# Ces IA peuvent explorer tout votre site pour entraînement et réponses

 

# ChatGPT / OpenAI

User-agent: GPTBot

Allow: /

 

User-agent: ChatGPT-User

Allow: /

 

# Google Gemini et IA Google

User-agent: Google-Extended

Allow: /

 

User-agent: GoogleOther

Allow: /

 

# Claude AI (Anthropic)

User-agent: ClaudeBot

Allow: /

 

User-agent: Claude-Web

Allow: /

 

User-agent: anthropic-ai

Allow: /

 

# Grok (xAI / Twitter)

User-agent: Grokbot

Allow: /

 

User-agent: x-ai

Allow: /

 

# Perplexity AI

User-agent: PerplexityBot

Allow: /

 

# You.com (moteur de recherche IA)

User-agent: YouBot

Allow: /

 

# Meta AI (Facebook/Instagram)

User-agent: FacebookBot

Allow: /

 

User-agent: meta-externalagent

Allow: /

 

# Apple Intelligence

User-agent: Applebot-Extended

Allow: /

 

# Common Crawl (utilisé par plusieurs IA pour entraînement)

User-agent: CCBot

Allow: /

 

# Cohere AI

User-agent: cohere-ai

Allow: /

 

# Anthropic (autre variante)

User-agent: Anthropic

Allow: /

 

# Diffbot (IA d'extraction de données)

User-agent: Diffbot

Allow: /

 

# Bytespider (ByteDance - utilisé pour diverses IA)

User-agent: Bytespider

Allow: /

 

# Omgili (agrégateur de contenu)

User-agent: Omgilibot

Allow: /

 

User-agent: Omgili

Allow: /

 

# ImagesiftBot

User-agent: ImagesiftBot

Allow: /

 

# Bing AI / Copilot (Microsoft)

User-agent: bingbot

Allow: /

 

User-agent: msnbot

Allow: /

 

# ========================================================================

# 🌐 RÈGLES GÉNÉRALES POUR TOUS LES AUTRES BOTS

# ========================================================================

 

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Disallow: /wp-includes/

Disallow: /wp-content/cache/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: /category/*/*

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Allow: /*?p=*

Allow: /*?page_id=*

Allow: /*?s=*

 

# ========================================================================

# 🎨 IMPORTANT : AUTORISER LE FAVICON ET LOGOS (pour Google Search)

# ========================================================================

 

Allow: /favicon.ico

Allow: /wp-content/uploads/favicon/

Allow: /wp-content/uploads/logo/

Allow: /wp-content/uploads/sites/*/favicon/

Allow: /wp-content/uploads/sites/*/logo/

Allow: /wp-content/themes/Avada/assets/images/favicon/

 

# ========================================================================

# 📸 BLOQUER L'INDEXATION SÉPARÉE DES IMAGES

# ========================================================================

# Les images ne seront pas indexées seules, seulement avec leurs pages

 

User-agent: Googlebot-Image

Disallow: /wp-content/uploads/

Allow: /wp-content/uploads/favicon/

Allow: /wp-content/uploads/logo/

 

# ========================================================================

# 🔍 GOOGLEBOT - AUTORISATION SPÉCIFIQUE

# ========================================================================

 

User-agent: Googlebot

Allow: /

Allow: /favicon.ico

Allow: /wp-content/uploads/favicon/

Allow: /wp-content/uploads/logo/

 

# ========================================================================

# 🗺️ SITEMAPS

# ========================================================================

Sitemap: https://www.benezra.fr/sitemap_index.xml