FAQ
Installation, Chrome et rendu JavaScript, robots.txt en 5xx, anciens fichiers .json, confidentialité, usage responsable, et où poser une question.
Arachnide est-il vraiment gratuit ?
Oui. Arachnide SEO Spider est publié sous licence MIT : vous êtes libre de l’utiliser, de le modifier et de le partager, y compris pour un usage commercial. Il n’y a ni offre payante, ni clé de licence, ni compte. Les seuls coûts que vous pouvez choisir de payer sont ceux des services tiers que vous connectez vous-même : une clé API Anthropic ou OpenAI pour les corrections IA, ou un projet Google Cloud pour les API PageSpeed et Search Console (gratuites dans leurs quotas).
Quels systèmes et versions de Node.js sont pris en charge ?
macOS, Windows et Linux, avec Node.js 18.17 ou plus récent ; la suite de tests tourne sur Node 18, 20 et 22. Installez la LTS actuelle depuis nodejs.org et vérifiez avec node -v.
Le lanceur ne s’ouvre pas sur macOS
La première fois, faites un clic droit sur start-mac.command et choisissez Ouvrir, car macOS bloque les scripts non signés. Le lanceur installe ensuite les dépendances et ouvre votre navigateur sur http://localhost:4000.
J’obtiens « cd: no such file or directory » ou « npm ERR! enoent … package.json »
Vous n’êtes pas dans le dossier d’Arachnide. Tapez cd suivi du chemin du dossier décompressé, par exemple cd ~/Downloads/arachnide-seo-spider, puis npm install et npm start.
« --disable-warning= is not allowed in NODE_OPTIONS »
Votre shell définit une option que votre version de Node ne prend pas en charge. Lancez unset NODE_OPTIONS (macOS, Linux) ou mettez Node.js à jour vers la dernière LTS. Les lanceurs le font déjà.
Le rendu JavaScript n’est pas disponible
Installez Google Chrome, Microsoft Edge, Chromium ou Brave. Si le navigateur est installé à un emplacement inhabituel, lancez Arachnide avec CHROME_PATH="/chemin/vers/chrome" npm start. Arachnide ne télécharge rien lui-même : il utilise le navigateur déjà présent sur votre ordinateur via puppeteer-core.
Certaines pages n’ont ni H1 ni contenu
Le site construit probablement son contenu en JavaScript. Activez le rendu JavaScript dans Réglages → Rendu et relancez le crawl. L’onglet JavaScript montre alors ce qui change entre le HTML brut et le HTML rendu.
Le crawl s’arrête tout de suite : « robots.txt indisponible, tout est interdit »
Le robots.txt du site a répondu une erreur 5xx ou n’a pas pu être joint. La RFC 9309 impose à un crawler de considérer cela comme tout interdire, et Arachnide le fait, avec un avertissement explicite. Si vous êtes sûr d’avoir le droit de crawler le site, réglez robots.txt indisponible → autoriser (--robots-unavailable allow en ligne de commande) ou utilisez le mode robots signaler ou ignorer. Un robots.txt en 4xx, lui, signifie que tout est autorisé.
Mes anciens crawls sont des fichiers .json ; puis-je encore les ouvrir ?
Oui. Depuis la 3.18, les crawls sont enregistrés en NDJSON gzip (.jsonl.gz), mais les anciens exports .json (formats 1 et 2) sont détectés et s’ouvrent toujours depuis l’historique ou le bouton Importer. Les crawls de la 1.x s’ouvrent avec moins de détails.
Arachnide envoie-t-il mes données quelque part ?
Non. L’application n’a ni compte, ni télémétrie, ni cloud ; l’interface n’écoute que sur 127.0.0.1. Elle contacte les sites que vous crawlez, et seulement les services que vous configurez vous-même : Anthropic ou OpenAI pour les corrections IA (l’extrait de page nécessaire pour écrire un title ou une description), votre CMS via son connecteur, les API Google, votre serveur SMTP pour les alertes. Clés API et identifiants sont stockés chiffrés sur votre disque (AES-256-GCM) et jamais renvoyés au navigateur, journalisés ni exportés.
L’IA peut-elle modifier mon site sans moi ?
Non. L’IA propose, vous relisez avant / après et approuvez, un connecteur applique, Arachnide recrawle pour vérifier, et chaque changement peut être annulé depuis l’historique. Le mode simulation est actif par défaut et un avertissement explicite précède la première écriture réelle. Pour les agents IA (MCP, REST), les outils d’écriture sont marqués comme conséquents pour que Claude Code, Claude Desktop et ChatGPT demandent la permission, et chaque site a une politique (champs autorisés, taille des lots, lecture seule).
Combien de pages peut-il crawler ?
Le budget par défaut est de 500 pages : relevez-le dans Réglages → Limites. Arachnide a été testé sur un site synthétique local de 200 000 pages et 19,9 millions de liens ; voir Gros sites pour les chiffres mesurés et ce qu’il faut attendre sur votre machine.
Remplace-t-il Screaming Frog ?
Il couvre le même travail, un crawl de bureau transformé en audit technique, et ajoute des corrections appliquées au CMS et des outils pour agents IA, mais il ne fait pas tout ce qu’un produit commercial mature fait (analyse de logs, vérification orthographique, authentification par formulaire…). Voir la comparaison honnête.
Qu’est-ce qu’un usage responsable ?
Ne crawlez que des sites qui vous appartiennent ou que vous êtes autorisé à auditer. Sur les sites de vos clients, limitez-vous à 2 à 5 requêtes simultanées et ajoutez une pause sur les hébergements mutualisés ; respectez le robots.txt sauf raison et droit de faire autrement.
Où signaler un bug ou poser une question ?
Ouvrez une issue sur GitHub avec votre système et votre version de Node.js, les étapes pour reproduire, l’URL crawlée si elle est publique et l’erreur affichée dans le terminal ou la console du navigateur. Les pull requests sont les bienvenues ; voir À propos.