FAQ

Installation, Chrome und JavaScript-Rendering, robots.txt mit 5xx, alte .json-Dateien, Datenschutz, verantwortungsvolle Nutzung und wo Sie fragen können.

Ist Arachnide wirklich kostenlos?

Ja. Arachnide SEO Spider wird unter der MIT-Lizenz veröffentlicht: Sie dürfen es frei nutzen, verändern und weitergeben, auch für kommerzielle Arbeiten. Es gibt keine kostenpflichtige Stufe, keinen Lizenzschlüssel und kein Konto. Die einzigen Kosten, die Sie freiwillig tragen können, sind die der Drittdienste, die Sie selbst anbinden: ein API-Schlüssel von Anthropic oder OpenAI für KI-Korrekturen oder ein Google-Cloud-Projekt für die PageSpeed- und Search-Console-APIs (innerhalb ihrer Kontingente kostenlos).

Welche Systeme und Node.js-Versionen werden unterstützt?

macOS, Windows und Linux, mit Node.js 18.17 oder neuer; die Testsuite läuft auf Node 18, 20 und 22. Installieren Sie die aktuelle LTS-Version von nodejs.org und prüfen Sie mit node -v.

Das Startskript öffnet sich auf macOS nicht

Klicken Sie beim ersten Mal mit der rechten Maustaste auf start-mac.command und wählen Sie Öffnen, da macOS unsignierte Skripte blockiert. Das Startskript installiert dann die Abhängigkeiten und öffnet Ihren Browser auf http://localhost:4000.

Ich erhalte „cd: no such file or directory“ oder „npm ERR! enoent … package.json“

Sie sind nicht im Arachnide-Ordner. Verwenden Sie cd gefolgt vom Pfad des entpackten Ordners, zum Beispiel cd ~/Downloads/arachnide-seo-spider, dann npm install und npm start.

„--disable-warning= is not allowed in NODE_OPTIONS“

Ihre Shell setzt eine Option, die Ihre Node-Version nicht unterstützt. Führen Sie unset NODE_OPTIONS aus (macOS, Linux) oder aktualisieren Sie Node.js auf die neueste LTS-Version. Die Startskripte heben die Option bereits auf.

JavaScript-Rendering ist nicht verfügbar

Installieren Sie Google Chrome, Microsoft Edge, Chromium oder Brave. Ist der Browser an einem ungewöhnlichen Ort installiert, starten Sie Arachnide mit CHROME_PATH="/path/to/chrome" npm start. Arachnide selbst lädt nichts herunter: Es nutzt über puppeteer-core den Browser, der bereits auf Ihrem Computer ist.

Einige Seiten zeigen keine H1 oder keinen Inhalt

Die Website erzeugt ihren Inhalt wahrscheinlich mit JavaScript. Aktivieren Sie JavaScript-Rendering unter Einstellungen → Rendering und crawlen Sie erneut. Der Tab JavaScript zeigt dann, was sich zwischen dem rohen und dem gerenderten HTML geändert hat.

Der Crawl stoppt sofort: „robots.txt nicht verfügbar, alles verboten“

Die robots.txt der Website hat mit einem 5xx-Fehler geantwortet oder war nicht erreichbar. RFC 9309 verlangt von einem Crawler, das als alles verbieten zu behandeln, und Arachnide tut das, mit einer ausdrücklichen Warnung. Wenn Sie sicher sind, dass Sie die Website crawlen dürfen, setzen Sie robots.txt nicht verfügbar → erlauben (--robots-unavailable allow in der CLI) oder verwenden Sie den Robots-Modus melden oder ignorieren. Eine robots.txt mit 4xx bedeutet dagegen, dass alles erlaubt ist.

Meine alten Crawls sind .json-Dateien; kann ich sie noch öffnen?

Ja. Seit 3.18 werden Crawls als gezipptes NDJSON (.jsonl.gz) gespeichert, aber alte .json-Exporte (Format 1 und 2) werden erkannt und öffnen weiterhin aus dem Verlauf oder über die Schaltfläche Importieren. Crawls aus 1.x öffnen mit weniger Details.

Sendet Arachnide meine Daten irgendwohin?

Nein. Die Anwendung hat kein Konto, keine Telemetrie und keine Cloud; die Oberfläche ist nur auf 127.0.0.1 erreichbar. Sie kontaktiert die Websites, die Sie crawlen, und nur die Dienste, die Sie selbst konfigurieren: Anthropic oder OpenAI für KI-Korrekturen (der Seitenauszug, der nötig ist, um einen Title oder eine Description zu schreiben), Ihr CMS über seinen Connector, Google-APIs, Ihren SMTP-Server für Benachrichtigungen. API-Schlüssel und Zugangsdaten werden verschlüsselt auf Ihrer Festplatte gespeichert (AES-256-GCM) und nie an den Browser zurückgegeben, protokolliert oder exportiert.

Kann die KI meine Website ohne mich ändern?

Nein. Die KI schlägt vor, Sie prüfen Vorher / Nachher und geben frei, ein Connector wendet an, Arachnide crawlt zur Prüfung erneut, und jede Änderung kann über den Verlauf rückgängig gemacht werden. Der Simulationsmodus ist standardmäßig aktiv, und eine ausdrückliche Warnung geht dem ersten Live-Schreibvorgang voraus. Für KI-Agenten (MCP, REST) sind Schreib-Tools als folgenreich markiert, sodass Claude Code, Claude Desktop und ChatGPT um Erlaubnis fragen, und jede Website hat Regeln (erlaubte Felder, Stapelgröße, Nur-Lesen).

Wie viele Seiten kann es crawlen?

Das Standardbudget sind 500 Seiten: Heben Sie es unter Einstellungen → Limits an. Arachnide wurde auf einer lokalen synthetischen Site mit 200 000 Seiten und 19,9 Millionen Links getestet; siehe Große Websites für die gemessenen Zahlen und was Sie auf Ihrem Rechner erwarten können.

Ist es ein Ersatz für Screaming Frog?

Es deckt dieselbe Aufgabe ab, einen Desktop-Crawl, der zu einem technischen Audit wird, und ergänzt Korrekturen direkt im CMS sowie Tools für KI-Agenten, aber es kann nicht alles, was ein ausgereiftes kommerzielles Produkt kann (Logfile-Analyse, Rechtschreibprüfung, formularbasierte Authentifizierung…). Siehe den ehrlichen Vergleich.

Was ist verantwortungsvolle Nutzung?

Crawlen Sie nur Websites, die Ihnen gehören oder die Sie prüfen dürfen. Bleiben Sie bei Kunden-Websites bei 2 bis 5 gleichzeitigen Anfragen und fügen Sie bei Shared Hosting eine Pause ein; beachten Sie die robots.txt, sofern Sie keinen Grund und kein Recht haben, es anders zu machen.

Wo melde ich einen Fehler oder stelle eine Frage?

Eröffnen Sie ein Issue auf GitHub mit Ihrem Betriebssystem und Ihrer Node.js-Version, den Schritten zum Reproduzieren, der gecrawlten URL, falls sie öffentlich ist, und der im Terminal oder in der Browserkonsole angezeigten Fehlermeldung. Pull Requests sind willkommen; siehe Über Arachnide.