Search Console mostra una versione filtrata e ritardata. I log del server mostrano la realta’ istante per istante: ogni singola richiesta di Googlebot, ogni 404, ogni redirect, ogni URL ignorato. Per un SEO che lavora su siti medio-grandi, i log sono la fonte di verita’ che nessun tool puo’ sostituire.
Cosa cercare nei log
I dati piu’ utili per la SEO sono:
- Frequenza di crawl per URL: quali pagine Googlebot visita davvero e quali ignora.
- Tempo di risposta: se sopra 2 secondi, Google riduce il crawl rate.
- Status code per URL: identifica 404, 301, 500 nascosti che Search Console non riporta tutti.
- User-Agent vero: distingui Googlebot reale dai fake spammer.
- URL non in sitemap che ricevono crawl: segnalano problemi di link interni.
Tool e pipeline
Per analizzare log oltre i 100MB serve un tool dedicato. Screaming Frog Log File Analyzer e’ il piu’ usato dai SEO. Per siti enterprise, OnCrawl o Botify offrono pipeline complete. La pipeline minima: estrai i log dal server (cron giornaliero), conserva 30 giorni, importa in tool dedicato, genera report settimanale.
Cosa decidere con i log
Le decisioni SEO che si prendono solo con i log: ottimizzazione del crawl budget (bloccare via robots.txt sezioni che Google sta sprecando), identificazione di redirect chain (catene di 301 che disperdono PageRank), individuazione di crawl traps (filtri faceted che generano milioni di URL inutili).
In pratica per la tua agenzia o PMI
- Estrai 7 giorni di log dal server e identifica le 20 URL piu’ scansionate.
- Verifica che le URL importanti del business siano nelle 100 piu’ scansionate.
- Cerca pattern di 404 ripetuti: indicano link rotti interni o esterni.
- Imposta un cron che esporti i log Googlebot in un file separato giornalmente.
I log del server sono il livello di verita’ su cui costruire ogni strategia SEO seria. Nessun tool ti dira’ la verita’ meglio di quello che il tuo server registra in tempo reale.
Setup di un log analyzer dedicato
Per analizzare seriamente i log oltre i 100MB serve un setup dedicato, non solo Excel. La pipeline minima per un’agency che gestisce 5-15 siti: cron giornaliero che esporta i log Apache/Nginx dalla scorsa giornata, upload in storage cloud (S3 o BackBlaze), import in Screaming Frog Log File Analyzer o BigQuery se i volumi sono enterprise. Report settimanale generato automaticamente e inviato in Slack con 5-10 metriche chiave.
Il setup iniziale richiede 4-8 ore di sysadmin. Una volta in piedi, gira da solo. Il tempo recuperato in analisi mensili paga il costo in 2-3 mesi.
I 7 pattern di log che indicano problemi SEO
Sette pattern ricorrenti che vediamo nei log di siti con problemi di indicizzazione. Pattern 1: Googlebot che scansiona ripetutamente URL filtri (es. ?color=red&size=L) – segnala crawl trap da bloccare via robots.txt. Pattern 2: aumento di 404 su URL precedentemente indicizzate – link rotti interni o esterni. Pattern 3: catene di 301 (URL A -> B -> C) – dispersione del PageRank. Pattern 4: tempo di risposta sopra i 2 secondi sulle pagine prodotto – Google riduce il crawl rate. Pattern 5: User-Agent strani che fingono di essere Googlebot – bot di scraping. Pattern 6: scansione di URL non in sitemap – struttura interna disordinata. Pattern 7: Googlebot che ignora pagine importanti – problema di linking interno o autorita’.
Reportistica al cliente con i log
I log danno insight non disponibili in Search Console. Le agency che li includono nella reportistica mensile clienti aumentano il valore percepito del servizio SEO. Un report log tipico include: top 50 URL crawlate da Googlebot, distribuzione status code, tempi medi di risposta per sezione del sito, lista URL ignorate vs URL importanti, evoluzione del crawl rate ultimi 3 mesi.
Il vantaggio commerciale e’ significativo: il cliente vede dati che nessun altro consulente gli mostra. Questo costruisce relazione di lungo periodo e giustifica retainer mensili piu’ alti.
Privacy e log: cosa attenzionare
I log server contengono dati personali (IP utenti, User-Agent, URL visitate). La conservazione e l’analisi richiedono attenzione GDPR. Best practice 2026: anonymizzare l’IP utenti dopo 30 giorni (mantenere solo /24 per IPv4, /48 per IPv6), conservare i log massimo 12 mesi, documentare l’attivita’ nel registro dei trattamenti, escludere automaticamente i log con dati sensibili (URL contenenti email o codici fiscali).
