Le ragioni per cui una pagina non viene indicizzata possono nascondersi nell’architettura del codice o nella configurazione del server.
Ad esempio, il crawler potrebbe non “comprendere” i tuoi contenuti dinamici, oppure un parametro errato potrebbe far sì che la pagina venga considerata un duplicato.
In questo articolo, abbiamo raccolto 6 problemi tecnici pratici ma spesso trascurati che influiscono direttamente sull’indicizzazione delle pagine.

Table of Contens
ToggleLa lentezza del caricamento della pagina impedisce la scansione del crawler
Ad esempio, se il tempo di risposta del server supera i 3 secondi, Googlebot potrebbe abbandonare la scansione o indicizzare solo una parte del contenuto.
Questo problema viene spesso ignorato perché molti webmaster si concentrano solo sull’esperienza utente (ad esempio, animazioni di caricamento), trascurando però il “limite di pazienza” dei crawler.
Tempo di risposta del server troppo elevato
Come diagnosticare: Utilizza Google Search Console (Core Web Vitals) o strumenti come GTmetrix per verificare il TTFB (Time to First Byte). Se supera 1,5 secondi, è necessario intervenire.
Come risolvere:
- Aggiorna la configurazione del server (CPU/RAM) o passa a un hosting ad alte prestazioni come Cloudways o SiteGround.
- Ottimizza le query del database: riduci le join complesse e aggiungi indici alle tabelle dei prodotti.
- Abilita il caching sul server (ad esempio Redis o Memcached) per ridurre la generazione dinamica delle pagine.
File di risorse non ottimizzati
Problemi comuni:
- Immagini dei prodotti non compresse (ad esempio PNG non convertiti in WebP o con risoluzioni superiori a 2000px).
- CSS/JS non combinati, generando decine di richieste HTTP.
Passaggi per la correzione:
- Comprimi le immagini con Squoosh o TinyPNG e ridimensionali per i dispositivi più comuni (ad esempio larghezza 1200px).
- Combina CSS/JS utilizzando strumenti come Webpack o Gulp per ridurre il numero di richieste HTTP.
- Abilita la compressione Gzip o Brotli per ridurre la dimensione dei file trasferiti.
Script che bloccano il rendering
Dal punto di vista dei crawler: Quando il crawler elabora l’HTML, se incontra script caricati in modo sincrono (ad esempio Google Analytics caricato in modo sincrono), il caricamento della pagina si interrompe fino al completamento dello script.
Soluzioni consigliate:
- Aggiungi gli attributi
asyncodeferagli script non essenziali (ad esempio). - Rimanda il caricamento di strumenti di terze parti (come chat live o heatmap) fino al completamento del caricamento della pagina.
Strumenti di diagnosi e priorità di ottimizzazione
Checklist di autoverifica:
- PageSpeed Insights: Identifica problemi specifici nel caricamento delle risorse (ad esempio “Riduci il tempo di esecuzione di JavaScript”).
- Screaming Frog: Analizza in massa il TTFB delle pagine di prodotto e individua gli URL con caricamenti lenti.
- Lighthouse: Consulta la sezione “Opportunità” per suggerimenti di ottimizzazione (ad esempio rimozione di CSS inutilizzato).
Priorità di ottimizzazione: Intervieni prima sulle pagine con TTFB superiore a 2 secondi, con più di 50 richieste HTTP o con immagini superiori a 500KB.
Dato importante: Secondo Google, quando il tempo di caricamento della pagina aumenta da 1 a 3 secondi, la probabilità di fallimento della scansione aumenta del 32%. Dopo l’ottimizzazione, la maggior parte delle pagine di prodotto può caricarsi in meno di 2 secondi, migliorando significativamente il tasso di indicizzazione.
Blocco accidentale delle directory di prodotto nel file robots.txt
Ad esempio, se per errore scrivi Disallow: /tmp/ come Disallow: /product/, i crawler ignoreranno completamente le pagine di prodotto, anche se di alta qualità.
Come individuare rapidamente i blocchi nel file robots.txt
Strumenti di verifica:
- Google Search Console: Vai su “Indicizzazione” > “Pagine” e, se le pagine di prodotto sono bloccate, clicca sui dettagli per esaminare il file robots.txt.
- Strumenti online per il test di robots.txt: Usa lo strumento di test robots.txt per simulare l’accesso ai tuoi URL dal punto di vista dei crawler.
Errori comuni:
- Errore di battitura nei percorsi (ad esempio
/produc/invece di/product/). - Uso eccessivo di caratteri jolly
*(ad esempioDisallow: /*.jpg$blocca tutte le immagini dei prodotti).
Come correggere le regole errate nel file robots.txt
Principi di scrittura corretta:
- Abbinamento preciso del percorso: Evitare blocchi imprecisi. Ad esempio, per bloccare una directory temporanea, usa
Disallow: /old-product/invece diDisallow: /product/. - Distinzione tra i tipi di crawler: Se desideri bloccare solo determinati bot indesiderati, specifica il User-agent (esempio:
User-agent: MJ12bot).
Gestione dei parametri:
- Permetti i parametri necessari (ad esempio la paginazione
?page=2), bloccando solo quelli specifici, comeDisallow: *?sort=. - Utilizza il simbolo
$per indicare la fine del parametro (esempio:Disallow: /*?print=true$).
Procedura di ripristino e verifica d’emergenza
Esempio di procedura:
- Modifica il file robots.txt commentando o rimuovendo le righe errate (esempio:
# Disallow: /product/). - Invia una richiesta di aggiornamento del file robots.txt tramite Google Search Console.
- Utilizza lo strumento “Controllo URL” per verificare manualmente lo stato di scansione delle pagine prodotto.
- Ricontrolla lo stato di indicizzazione dopo 24 ore. Se non è ancora risolto, invia manualmente la sitemap delle pagine prodotto.
Misure di protezione:
- Usa strumenti di controllo versione (come Git) per gestire la cronologia delle modifiche di robots.txt e facilitare eventuali rollback.
- Testa le modifiche in un ambiente di staging prima di applicarle al sito live.
Analisi di un caso reale
Configurazione errata:
User-agent: *
Disallow: /
Allow: /product/
Problema: La regola Disallow: / blocca l’intero sito, rendendo inefficace la successiva regola Allow.
Correzione corretta:
User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /product/
Logica: Si bloccano solo le directory amministrative e temporanee, consentendo l’accesso alle pagine prodotto.
Pagine prodotto senza collegamenti interni efficaci
Se una pagina prodotto non ha collegamenti interni (come nel menu di navigazione, nei prodotti consigliati o nei link testuali), diventa una “pagina orfana”, difficile da indicizzare anche se il contenuto è valido.
Questo problema è comune per nuovi prodotti, pagine promozionali dedicate o pagine importate in massa tramite strumenti esterni che non sono state integrate nella struttura di navigazione del sito.
Assenza di struttura di navigazione o design inadeguato
Problemi comuni:
- Le pagine prodotto non sono incluse nel menu principale o nelle categorie (sono accessibili solo dai risultati di ricerca).
- Nei dispositivi mobili, i link ai prodotti sono nascosti in sottomenu a più livelli nei menu a scomparsa.
Soluzioni:
Strumento di autoverifica: Usa Screaming Frog per eseguire il crawl del sito e individua le pagine prodotto con “numero di link interni ≤ 1”.
Passaggi di ottimizzazione:
- Aggiungi nel menu principale sezioni come “Nuovi prodotti in evidenza” o “Categorie consigliate” con link diretti alle pagine prodotto chiave.
- Assicurati che ogni prodotto appartenga ad almeno una categoria (esempio:
/category/shoes/product-A).
Uso insufficiente dei moduli di raccomandazione
Dal punto di vista dei crawler: Se i contenuti raccomandati come “Ti potrebbe piacere” vengono caricati tramite JavaScript, i crawler potrebbero non riuscire a scansionare questi link.





