Dati Google, crawl pianificati e avvisi

PageSpeed Insights e Core Web Vitals, Search Console tramite API o CSV, Google Analytics 4, crawl pianificati con avvisi via email.

PageSpeed Insights e Core Web Vitals

Impostazioni → Google → Pagine da testare (per esempio 20). Dopo il crawl, Arachnide invia le pagine più importanti a PageSpeed Insights: le pagine più cliccate quando sono disponibili i dati di Search Console, altrimenti la home page e le pagine con più link interni. Per ogni pagina ottieni il punteggio di prestazioni Lighthouse e i dati sul campo degli utenti Chrome reali (CrUX, 75º percentile): LCP, INP, CLS, FCP e TTFB, ognuno valutato come buono, da migliorare o scarso. Sono i valori che usa Google. Le pagine piccole hanno spesso traffico insufficiente; in quel caso i valori a livello di origine vengono mostrati nel riepilogo del crawl.

Nuova scheda Core Web Vitals e tre controlli: Core Web Vitals scarsi, Core Web Vitals da migliorare, Punteggio PageSpeed basso.

Una chiave API è facoltativa, ma PageSpeed Insights limita le richieste anonime. È gratuita e richiede due minuti: crea un progetto su console.cloud.google.com, abilita PageSpeed Insights API, Credenziali → Crea credenziali → Chiave API, poi incollala in Impostazioni → Google oppure imposta ARACHNIDE_PSI_KEY.

Google Search Console

Due modi.

Importazione CSV, senza configurazione. In Search Console, Rendimento → Risultati di ricerca, scegli il periodo, Esporta → Scarica CSV, decomprimi, poi in Arachnide Impostazioni → Google → Scegli un file CSV e seleziona Pagine.csv. Funziona con tutte le lingue dell’interfaccia.

API, automatica e necessaria per i crawl pianificati.

1. console.cloud.google.com → abilita Google Search Console API.
2. IAM → Account di servizio → Crea, poi Chiavi → Aggiungi chiave → JSON. Salva il file, per esempio ~/arachnide-gsc.json.
3. Search Console → Impostazioni → Utenti e autorizzazioni → Aggiungi utente: l’email dell’account di servizio (…@….iam.gserviceaccount.com) con autorizzazione Limitata.
4. In Arachnide, Impostazioni → Google, inserisci il percorso del file JSON. La proprietà viene rilevata automaticamente (proprietà di dominio sc-domain:example.com o proprietà con prefisso URL).

La chiave non lascia mai il tuo computer: Arachnide firma con essa un token di breve durata e legge soltanto i dati (webmasters.readonly). La scheda Search Console mostra clic, impressioni, CTR e posizione per ogni URL scansionato; gli URL che Google conosce ma che il crawl non ha trovato sono elencati come Non nel crawl. Quattro controlli: pagine viste da Google ma non trovate dal crawl (pagine orfane, spesso con traffico), pagine indicizzabili senza impressioni, CTR basso per la posizione (in prima pagina ma meno della metà dei clic attesi: rivedi title e description), pagine non indicizzabili che ricevono traffico da Google.

Google Analytics 4

Dalla 3.15. Search Console vede solo le pagine che compaiono su Google; GA4 vede ogni visita (diretta, email, social, pubblicità, ricerca).

• Connessione: l’API Data di GA4 con un account di servizio (quello di Search Console funziona una volta che è Visualizzatore della proprietà), la proprietà rilevata automaticamente dallo stream di dati web del sito o indicata con un id (123456789, properties/… o un URL di GA4); oppure importazione di un’esportazione CSV di GA4 (Pagine e schermate o Pagina di destinazione, in una qualsiasi delle sei lingue dell’interfaccia, con separatori , ; o tabulazione, percorsi o URL completi). Periodo fino a 730 giorni.
• Corrispondenza: le righe host + percorso sono collegate agli URL scansionati (varianti con barra finale e query sommate); gli altri host e (not set) vengono ignorati. Le pagine viste solo in GA4 sono elencate anch’esse.
• Quattro controlli: Pagine orfane che ricevono traffico (sessioni ma nessun link interno), Pagine in errore ancora visitate (4xx / 5xx con sessioni), Pagine non indicizzabili che ricevono traffico, Pagine indicizzabili senza sessioni.
• Scheda Google Analytics (sessioni, visualizzazioni, utenti, tasso di coinvolgimento, nel crawl, link in entrata, stato, indicizzabilità) con filtri; Sessioni GA4 come campo di segmento e colonna.

Riga di comando e agenti

--psi 20 --psi-key KEY --psi-strategy mobile|desktop, --gsc-key ~/arachnide-gsc.json --gsc-property sc-domain:example.com --gsc-days 90 oppure --gsc-csv Pages.csv, --ga4-key key.json --ga4-property 123456789 --ga4-days 90 oppure --ga4-csv export.csv. Agenti: psi_pages, gsc_key_file, gsc_property, gsc_csv, ga4_key_file, ga4_property, ga4_csv sugli strumenti di crawl; arachnide_search_pages può ordinare per sessioni.

Crawl pianificati e avvisi via email

Clicca sul pulsante calendario nell’intestazione, poi su Pianifica un crawl.

• Frequenza: giornaliera, settimanale o mensile, all’ora che scegli. Un’esecuzione saltata perché il computer era spento viene recuperata al prossimo avvio. La configurazione attuale del crawler viene salvata con la pianificazione; le password no.
• Avvisi: viene inviata un’email quando una regola che hai spuntato è soddisfatta: il punteggio scende di N punti o più; compaiono o aumentano gli errori (4xx, 5xx, link rotti…); compare un nuovo tipo di problema; oppure sempre, per un report dopo ogni crawl. L’email mostra gli avvisi, una tabella prima / adesso e quanti problemi sono stati risolti, con il report HTML completo allegato (aprilo in un browser, stampalo in PDF).
• Le impostazioni SMTP sono nella stessa finestra. Per Gmail: smtp.gmail.com, porta 465, Connessione sicura, il tuo indirizzo e una password per le app. Invia un test le verifica. Oppure una sola variabile: ARACHNIDE_SMTP_URL=smtps://user:password@smtp.example.com:465. La password è salvata solo in ~/.arachnide/smtp.json, leggibile solo dal tuo utente.

Quando vengono eseguiti i crawl pianificati? Mentre Arachnide è aperto (npm start). Per eseguirli senza l’interfaccia, avvia npm run scheduler all’avvio del computer: un LaunchAgent o pm2 start npm --name arachnide -- run scheduler su macOS, Utilità di pianificazione → All’accesso su Windows, un servizio systemd utente o @reboot nel crontab su Linux. Usi già cron? node src/cli.mjs https://example.com --alert-email you@example.com --alert-score-drop 5 scansiona, confronta con il crawl precedente e ti scrive solo se qualcosa è peggiorato.