Données Google, crawls planifiés et alertes

PageSpeed Insights et Core Web Vitals, Search Console par API ou CSV, Google Analytics 4, crawls planifiés avec alertes e-mail.

PageSpeed Insights et Core Web Vitals

Réglages → Google → Pages à tester (par exemple 20). Après le crawl, Arachnide envoie les pages les plus importantes à PageSpeed Insights : les plus cliquées quand les données Search Console sont disponibles, sinon la page d’accueil puis les pages avec le plus de liens internes. Pour chaque page vous obtenez le score de performance Lighthouse et les données de terrain d’utilisateurs Chrome réels (CrUX, 75e centile) : LCP, INP, CLS, FCP et TTFB, chacun noté bon, à améliorer ou faible. Ce sont les valeurs que Google utilise. Les petites pages n’ont souvent pas assez de trafic ; les valeurs à l’échelle de l’origine sont alors montrées dans le résumé du crawl.

Nouvel onglet Core Web Vitals, et trois contrôles : Core Web Vitals faibles, Core Web Vitals à améliorer, Score PageSpeed bas.

Une clé API est facultative mais PageSpeed Insights limite les requêtes anonymes. Elle est gratuite et prend deux minutes : créez un projet sur console.cloud.google.com, activez PageSpeed Insights API, Identifiants → Créer des identifiants → Clé API, puis collez-la dans Réglages → Google ou définissez ARACHNIDE_PSI_KEY.

Google Search Console

Deux façons.

Import CSV, sans configuration. Dans Search Console, Performances → Résultats de recherche, choisissez la période, Exporter → Télécharger le CSV, décompressez, puis dans Arachnide Réglages → Google → Choisir un fichier CSV et sélectionnez Pages.csv. Ça fonctionne dans toutes les langues d’interface.

API, automatique et nécessaire pour les crawls planifiés.

1. console.cloud.google.com → activez Google Search Console API.
2. IAM → Comptes de service → Créer, puis Clés → Ajouter une clé → JSON. Enregistrez le fichier, par exemple ~/arachnide-gsc.json.
3. Search Console → Paramètres → Utilisateurs et autorisations → Ajouter un utilisateur : l’e-mail du compte de service (…@….iam.gserviceaccount.com) avec l’autorisation Restreinte.
4. Dans Arachnide, Réglages → Google, saisissez le chemin du fichier JSON. La propriété est détectée automatiquement (propriété de domaine sc-domain:example.com ou propriété avec préfixe d’URL).

La clé ne quitte jamais votre ordinateur : Arachnide signe avec elle un jeton de courte durée et ne fait que lire (webmasters.readonly). L’onglet Search Console montre clics, impressions, CTR et position par URL crawlée ; les URL que Google connaît mais que le crawl n’a pas trouvées sont listées comme Absentes du crawl. Quatre contrôles : pages vues par Google mais non trouvées par le crawl (pages orphelines, souvent avec du trafic), pages indexables sans impression, CTR faible pour la position (en page 1 mais moins de la moitié des clics attendus : retravaillez le title et la description), pages non indexables qui reçoivent du trafic Google.

Google Analytics 4

Depuis la 3.15. Search Console ne voit que les pages qui apparaissent dans Google ; GA4 voit chaque visite (direct, e-mail, réseaux sociaux, publicité, recherche).

• Connexion : l’API GA4 Data avec un compte de service (celui de Search Console fonctionne une fois Lecteur de la propriété), la propriété détectée automatiquement depuis le flux de données web du site ou donnée comme identifiant (123456789, properties/… ou une URL GA4) ; ou import d’un export CSV GA4 (Pages et écrans ou Page de destination, dans l’une des six langues d’interface, séparateurs , ; ou tabulation, chemins ou URL complètes). Période jusqu’à 730 jours.
• Correspondance : les lignes hôte + chemin sont rattachées aux URL crawlées (variantes avec slash final et paramètres additionnées) ; les autres hôtes et (not set) sont ignorés. Les pages vues seulement dans GA4 sont listées aussi.
• Quatre contrôles : Pages orphelines qui reçoivent du trafic (sessions mais aucun lien interne), Pages en erreur encore visitées (4xx / 5xx avec sessions), Pages non indexables qui reçoivent du trafic, Pages indexables sans session.
• Onglet Google Analytics (sessions, vues, utilisateurs, taux d’engagement, dans le crawl, liens entrants, statut, indexabilité) avec filtres ; Sessions GA4 comme champ de segment et colonne.

Ligne de commande et agents

--psi 20 --psi-key CLÉ --psi-strategy mobile|desktop, --gsc-key ~/arachnide-gsc.json --gsc-property sc-domain:example.com --gsc-days 90 ou --gsc-csv Pages.csv, --ga4-key cle.json --ga4-property 123456789 --ga4-days 90 ou --ga4-csv export.csv. Agents : psi_pages, gsc_key_file, gsc_property, gsc_csv, ga4_key_file, ga4_property, ga4_csv sur les outils de crawl ; arachnide_search_pages peut trier par sessions.

Crawls planifiés et alertes e-mail

Cliquez le bouton calendrier dans l’en-tête, puis Planifier un crawl.

• Fréquence : quotidienne, hebdomadaire ou mensuelle, à l’heure de votre choix. Une exécution manquée parce que l’ordinateur était éteint est rattrapée au démarrage suivant. La configuration courante du crawler est enregistrée avec la planification ; pas les mots de passe.
• Alertes : un e-mail est envoyé quand une règle cochée est remplie : le score baisse de N points ou plus ; des erreurs apparaissent ou augmentent (4xx, 5xx, liens cassés…) ; un nouveau type de problème apparaît ; ou toujours, pour un rapport après chaque crawl. L’e-mail montre les alertes, un tableau avant / maintenant et le nombre de problèmes corrigés, avec le rapport HTML complet en pièce jointe (ouvrez-le dans un navigateur, imprimez en PDF).
• Les réglages SMTP sont dans la même fenêtre. Pour Gmail : smtp.gmail.com, port 465, Connexion sécurisée, votre adresse et un mot de passe d’application. Envoyer un test les vérifie. Ou une seule variable : ARACHNIDE_SMTP_URL=smtps://user:password@smtp.example.com:465. Le mot de passe n’est stocké que dans ~/.arachnide/smtp.json, lisible par votre utilisateur seulement.

Quand tournent les crawls planifiés ? Pendant qu’Arachnide est ouvert (npm start). Pour les lancer sans l’interface, démarrez npm run scheduler au démarrage de l’ordinateur : un LaunchAgent ou pm2 start npm --name arachnide -- run scheduler sur macOS, le Planificateur de tâches → À l’ouverture de session sur Windows, un service systemd utilisateur ou @reboot dans crontab sur Linux. Déjà sous cron ? node src/cli.mjs https://example.com --alert-email vous@example.com --alert-score-drop 5 crawle, compare au crawl précédent et ne vous écrit que si quelque chose s’est dégradé.