Ecco un robots.txt ottimizzato per la SEO — pronto da copiare e incollare sul tuo sito

Di seguito trovi tre template (consigliati a seconda del tipo di sito):

1. Generico / consigliato (buono per la maggior parte dei siti)
2. WordPress (con admin/ajax access) — se usi WP
3. E-commerce (WooCommerce / shop) — se hai un negozio online

Sostituisci https://www.example.com/ con la URL del tuo sito (incluso il https:// se usi HTTPS) e salva il file come robots.txt nella root del tuo dominio (https://www.tuodominio.com/robots.txt).

1) Template consigliato (generico, SEO-friendly)

# robots.txt - file generico ottimizzato per SEO
# Sostituisci example.com con il tuo dominio e mantieni il protocollo (https://...)

User-agent: *
# Permetti l'indicizzazione delle risorse necessarie per il rendering (CSS/JS/immagini)
Allow: /wp-content/uploads/
Allow: /assets/
Allow: /static/

# Blocca solo le aree non utili all'indicizzazione o che generano contenuti duplicati
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
Disallow: /admin/
Disallow: /login/
Disallow: /*?replytocom
Disallow: /*?sort=
Disallow: /*?filter=

# Segnala la sitemap (URL assoluto)
Sitemap: https://www.example.com/sitemap_index.xml

2) Template WordPress (SEO-friendly)

# robots.txt per WordPress
User-agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php

Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /xmlrpc.php

# Evita di bloccare CSS/JS importanti per il rendering delle pagine
# (non inserire Disallow per /wp-includes/ o /wp-content/plugins/ a meno che tu non sappia cosa fai)

Sitemap: https://www.example.com/sitemap_index.xml

3) Template WooCommerce / E-commerce

# robots.txt per e-commerce (WooCommerce esempio)
User-agent: *
Allow: /wp-content/uploads/
Allow: /products/
Allow: /product-category/

# Blocca pagine che possono creare duplicati o che non servono a Google
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /order-received/
Disallow: /?add-to-cart=
Disallow: /*?orderby=
Disallow: /*?filter=

# Crawling delay per bot non-Google (opzionale; Google ignora crawl-delay)
User-agent: Bingbot
Crawl-delay: 10

Sitemap: https://www.example.com/sitemap_index.xml

Note pratiche e consigli SEO (importanti)

Non usare robots.txt per nascondere contenuti sensibili: il file è pubblico (https://www.tuodominio.com/robots.txt) — chiunque può vederlo. Per proteggere dati sensibili usa autenticazione o noindex + restrizioni sul server.

noindex non esiste in robots.txt. Se vuoi che una pagina non venga indicizzata usa il meta tag <meta name="robots" content="noindex"> o l’header HTTP X-Robots-Tag: noindex.

Non bloccare CSS/JS: Google (e altri motori) devono poter eseguire il rendering delle pagine — bloccare /wp-includes/, /wp-content/plugins/ o CSS/JS può danneggiare la comprensione e il ranking.

Sitemap nel robots.txt: fondamentale. Fornisci l’URL completo e aggiornalo se cambia.

Dimensione: mantieni robots.txt sotto i limiti raccomandati (Google: fino a 500 KB elaborato) e formato UTF-8 senza BOM.

Test: dopo l’upload, usa il Robots.txt Tester in Google Search Console e lo strumento di Bing Webmaster Tools per verificare che le regole funzionino come previsto.

Controlla i log: usa i log del server per verificare il comportamento di crawling e identificare eventuali blocchi o errori.

Attenzione ai parametri: per siti che usano molti parametri URL, valuta di impostare regole di Disallow per i pattern che generano duplicati oppure usa la gestione dei parametri in Search Console.