Google-Daten, geplante Crawls und Benachrichtigungen

PageSpeed Insights und Core Web Vitals, Search Console per API oder CSV, Google Analytics 4, geplante Crawls mit E-Mail-Benachrichtigungen.

PageSpeed Insights und Core Web Vitals

Einstellungen → Google → Zu testende Seiten (zum Beispiel 20). Nach dem Crawl sendet Arachnide die wichtigsten Seiten an PageSpeed Insights: die meistgeklickten Seiten, wenn Search-Console-Daten vorliegen, sonst die Startseite und die Seiten mit den meisten internen Links. Für jede Seite erhalten Sie den Lighthouse-Performance-Score und Felddaten echter Chrome-Nutzer (CrUX, 75. Perzentil): LCP, INP, CLS, FCP und TTFB, jeweils bewertet als gut, verbesserungswürdig oder schlecht. Das sind die Werte, die Google verwendet. Kleine Seiten haben oft zu wenig Traffic; dann werden die Werte auf Origin-Ebene in der Crawl-Zusammenfassung angezeigt.

Neuer Tab Core Web Vitals und drei Prüfungen: Schlechte Core Web Vitals, Core Web Vitals verbesserungswürdig, Niedriger PageSpeed-Score.

Ein API-Schlüssel ist optional, aber PageSpeed Insights begrenzt anonyme Anfragen. Er ist kostenlos und in zwei Minuten erstellt: Legen Sie auf console.cloud.google.com ein Projekt an, aktivieren Sie die PageSpeed Insights API, Anmeldedaten → Anmeldedaten erstellen → API-Schlüssel, und fügen Sie ihn dann unter Einstellungen → Google ein oder setzen Sie ARACHNIDE_PSI_KEY.

Google Search Console

Zwei Wege.

CSV-Import, ohne Einrichtung. In der Search Console Leistung → Suchergebnisse, Zeitraum wählen, Exportieren → CSV herunterladen, entpacken, dann in Arachnide Einstellungen → Google → CSV-Datei auswählen und Pages.csv auswählen. Das funktioniert mit jeder Sprache der Oberfläche.

API, automatisch und für geplante Crawls erforderlich.

1. console.cloud.google.com → Google Search Console API aktivieren.
2. IAM → Dienstkonten → Erstellen, dann Schlüssel → Schlüssel hinzufügen → JSON. Speichern Sie die Datei, zum Beispiel als ~/arachnide-gsc.json.
3. Search Console → Einstellungen → Nutzer und Berechtigungen → Nutzer hinzufügen: die E-Mail-Adresse des Dienstkontos (…@….iam.gserviceaccount.com) mit der Berechtigung Eingeschränkt.
4. Geben Sie in Arachnide unter Einstellungen → Google den Pfad der JSON-Datei ein. Die Property wird automatisch erkannt (Domain-Property sc-domain:example.com oder URL-Präfix-Property).

Der Schlüssel verlässt Ihren Computer nie: Arachnide signiert damit ein kurzlebiges Token und liest nur Daten (webmasters.readonly). Der Tab Search Console zeigt Klicks, Impressionen, CTR und Position je gecrawlter URL; URLs, die Google kennt, der Crawl aber nicht gefunden hat, werden als Nicht im Crawl aufgeführt. Vier Prüfungen: Seiten, die Google sieht, der Crawl aber nicht findet (verwaiste Seiten, oft mit Traffic), indexierbare Seiten ohne Impressionen, niedrige CTR für die Position (Seite 1, aber weniger als die Hälfte der erwarteten Klicks: Title und Description überarbeiten), nicht indexierbare Seiten, die Google-Traffic erhalten.

Google Analytics 4

Seit 3.15. Die Search Console sieht nur Seiten, die bei Google erscheinen; GA4 sieht jeden Besuch (direkt, E-Mail, soziale Netzwerke, Anzeigen, Suche).

• Verbindung: die GA4 Data API mit einem Dienstkonto (das der Search Console funktioniert, sobald es Betrachter der Property ist), die Property automatisch aus dem Web-Datenstream der Website erkannt oder als ID angegeben (123456789, properties/… oder eine GA4-URL); oder Import eines GA4-CSV-Exports (Seiten und Bildschirme oder Landingpage, in einer der sechs Sprachen der Oberfläche, mit , ; oder Tabulator als Trennzeichen, Pfade oder vollständige URLs). Zeitraum bis zu 730 Tage.
• Zuordnung: Zeilen mit Host + Pfad werden den gecrawlten URLs zugeordnet (Varianten mit abschließendem Schrägstrich und Query-Parametern werden addiert); andere Hosts und (not set) werden ignoriert. Seiten, die nur in GA4 gesehen werden, werden ebenfalls aufgeführt.
• Vier Prüfungen: Verwaiste Seiten mit Traffic (Sitzungen, aber kein interner Link), Fehlerseiten, die noch besucht werden (4xx / 5xx mit Sitzungen), Nicht indexierbare Seiten mit Traffic, Indexierbare Seiten ohne Sitzungen.
• Tab Google Analytics (Sitzungen, Aufrufe, Nutzer, Interaktionsrate, im Crawl, eingehende Links, Status, Indexierbarkeit) mit Filtern; GA4-Sitzungen als Segmentfeld und Spalte.

Kommandozeile und Agenten

--psi 20 --psi-key SCHLÜSSEL --psi-strategy mobile|desktop, --gsc-key ~/arachnide-gsc.json --gsc-property sc-domain:example.com --gsc-days 90 oder --gsc-csv Pages.csv, --ga4-key key.json --ga4-property 123456789 --ga4-days 90 oder --ga4-csv export.csv. Agenten: psi_pages, gsc_key_file, gsc_property, gsc_csv, ga4_key_file, ga4_property, ga4_csv auf den Crawl-Tools; arachnide_search_pages kann nach Sitzungen sortieren.

Geplante Crawls und E-Mail-Benachrichtigungen

Klicken Sie auf die Schaltfläche Kalender in der Kopfzeile, dann auf Crawl planen.

• Häufigkeit: täglich, wöchentlich oder monatlich, zur gewählten Uhrzeit. Ein Lauf, der verpasst wurde, weil der Computer ausgeschaltet war, wird beim nächsten Start nachgeholt. Die aktuelle Crawler-Konfiguration wird mit der Planung gespeichert; Passwörter nicht.
• Benachrichtigungen: Eine E-Mail wird gesendet, wenn eine von Ihnen angekreuzte Regel erfüllt ist: Der Score sinkt um N Punkte oder mehr; Fehler treten auf oder nehmen zu (4xx, 5xx, defekte Links…); ein neuer Problemtyp tritt auf; oder immer, für einen Bericht nach jedem Crawl. Die E-Mail zeigt die Warnungen, eine Tabelle Vorher / Jetzt und wie viele Probleme behoben wurden, mit dem vollständigen HTML-Bericht im Anhang (im Browser öffnen, als PDF drucken).
• Die SMTP-Einstellungen befinden sich im selben Fenster. Für Gmail: smtp.gmail.com, Port 465, Sichere Verbindung, Ihre Adresse und ein App-Passwort. Test senden prüft sie. Oder eine einzige Variable: ARACHNIDE_SMTP_URL=smtps://user:password@smtp.example.com:465. Das Passwort wird nur in ~/.arachnide/smtp.json gespeichert, lesbar nur für Ihren Benutzer.

Wann laufen geplante Crawls? Solange Arachnide geöffnet ist (npm start). Um sie ohne die Oberfläche auszuführen, starten Sie npm run scheduler beim Start Ihres Computers: ein LaunchAgent oder pm2 start npm --name arachnide -- run scheduler auf macOS, Aufgabenplanung → Bei Anmeldung auf Windows, ein systemd-Benutzerdienst oder @reboot in der crontab auf Linux. Sie nutzen bereits cron? node src/cli.mjs https://example.com --alert-email you@example.com --alert-score-drop 5 crawlt, vergleicht mit dem vorherigen Crawl und schreibt Ihnen nur, wenn sich etwas verschlechtert hat.