Dados Google, rastreios agendados e alertas

PageSpeed Insights e Core Web Vitals, Search Console por API ou CSV, Google Analytics 4, rastreios agendados com alertas por e-mail.

PageSpeed Insights e Core Web Vitals

Definições → Google → Páginas a testar (por exemplo 20). Depois do rastreio, o Arachnide envia as páginas mais importantes ao PageSpeed Insights: as páginas com mais cliques quando há dados do Search Console, caso contrário a página inicial e as páginas com mais links internos. Para cada página obtém a pontuação de desempenho Lighthouse e os dados de campo de utilizadores reais do Chrome (CrUX, percentil 75): LCP, INP, CLS, FCP e TTFB, cada um classificado como bom, a melhorar ou fraco. São os valores que o Google usa. As páginas pequenas têm muitas vezes tráfego insuficiente; os valores ao nível da origem são então mostrados no resumo do rastreio.

Novo separador Core Web Vitals, e três verificações: Core Web Vitals fracos, Core Web Vitals a melhorar, Pontuação PageSpeed baixa.

Uma chave de API é opcional, mas o PageSpeed Insights limita os pedidos anónimos. É gratuita e demora dois minutos: crie um projeto em console.cloud.google.com, ative a PageSpeed Insights API, Credenciais → Criar credenciais → Chave de API, depois cole-a em Definições → Google ou defina ARACHNIDE_PSI_KEY.

Google Search Console

Duas formas.

Importação CSV, sem configuração. No Search Console, Desempenho → Resultados da pesquisa, escolha o período, Exportar → Transferir CSV, descomprima, depois no Arachnide Definições → Google → Escolher um ficheiro CSV e selecione Pages.csv. Funciona com qualquer idioma da interface.

API, automática e necessária para os rastreios agendados.

1. console.cloud.google.com → ative a Google Search Console API.
2. IAM → Contas de serviço → Criar, depois Chaves → Adicionar chave → JSON. Guarde o ficheiro, por exemplo ~/arachnide-gsc.json.
3. Search Console → Definições → Utilizadores e permissões → Adicionar utilizador: o e-mail da conta de serviço (…@….iam.gserviceaccount.com) com permissão Restrita.
4. No Arachnide, Definições → Google, introduza o caminho do ficheiro JSON. A propriedade é detetada automaticamente (propriedade de domínio sc-domain:example.com ou propriedade com prefixo de URL).

A chave nunca sai do seu computador: o Arachnide assina com ela um token de curta duração e só lê dados (webmasters.readonly). O separador Search Console mostra cliques, impressões, CTR e posição por URL rastreado; os URLs que o Google conhece mas que o rastreio não encontrou são listados como Fora do rastreio. Quatro verificações: páginas vistas pelo Google mas não encontradas pelo rastreio (páginas órfãs, muitas vezes com tráfego), páginas indexáveis sem impressões, CTR baixo para a posição (página 1 mas menos de metade dos cliques esperados: reveja o título e a descrição), páginas não indexáveis que recebem tráfego do Google.

Google Analytics 4

Desde a 3.15. O Search Console só vê as páginas que aparecem no Google; o GA4 vê todas as visitas (direto, e-mail, redes sociais, anúncios, pesquisa).

• Ligação: a GA4 Data API com uma conta de serviço (a do Search Console funciona assim que for Leitor da propriedade), a propriedade detetada automaticamente a partir do fluxo de dados web do site ou indicada por id (123456789, properties/… ou um URL do GA4); ou importação de uma exportação CSV do GA4 (Páginas e ecrãs ou Página de destino, em qualquer um dos seis idiomas da interface, com separadores , ; ou tabulação, caminhos ou URLs completos). Período até 730 dias.
• Correspondência: as linhas anfitrião + caminho são ligadas aos URLs rastreados (variantes com barra final e com parâmetros somadas); os outros anfitriões e (not set) são ignorados. As páginas vistas apenas no GA4 também são listadas.
• Quatro verificações: Páginas órfãs que recebem tráfego (sessões mas nenhum link interno), Páginas com erro que ainda recebem tráfego (4xx / 5xx com sessões), Páginas não indexáveis que recebem tráfego, Páginas indexáveis sem sessões.
• Separador Google Analytics (sessões, visualizações, utilizadores, taxa de interação, no rastreio, links de entrada, estado, indexabilidade) com filtros; Sessões GA4 como campo e coluna de segmento.

Linha de comandos e agentes

--psi 20 --psi-key KEY --psi-strategy mobile|desktop, --gsc-key ~/arachnide-gsc.json --gsc-property sc-domain:example.com --gsc-days 90 ou --gsc-csv Pages.csv, --ga4-key key.json --ga4-property 123456789 --ga4-days 90 ou --ga4-csv export.csv. Agentes: psi_pages, gsc_key_file, gsc_property, gsc_csv, ga4_key_file, ga4_property, ga4_csv nas ferramentas de rastreio; arachnide_search_pages pode ordenar por sessões.

Rastreios agendados e alertas por e-mail

Clique no botão do calendário no cabeçalho, depois em Agendar um rastreio.

• Frequência: diária, semanal ou mensal, à hora que escolher. Uma execução perdida porque o computador estava desligado é recuperada no arranque seguinte. A configuração atual do crawler é guardada com o agendamento; as palavras-passe não.
• Alertas: é enviado um e-mail quando uma regra que marcou se verifica: a pontuação desce N pontos ou mais; aparecem ou aumentam os erros (4xx, 5xx, links quebrados…); aparece um novo tipo de problema; ou sempre, para um relatório depois de cada rastreio. O e-mail mostra os alertas, uma tabela antes / agora e quantos problemas foram corrigidos, com o relatório HTML completo em anexo (abra-o num navegador, imprima em PDF).
• As definições SMTP estão na mesma janela. Para o Gmail: smtp.gmail.com, porta 465, Ligação segura, o seu endereço e uma palavra-passe de aplicação. Enviar um teste verifica-as. Ou uma única variável: ARACHNIDE_SMTP_URL=smtps://user:password@smtp.example.com:465. A palavra-passe é guardada apenas em ~/.arachnide/smtp.json, legível apenas pelo seu utilizador.

Quando correm os rastreios agendados? Enquanto o Arachnide está aberto (npm start). Para os executar sem a interface, inicie npm run scheduler no arranque do computador: um LaunchAgent ou pm2 start npm --name arachnide -- run scheduler no macOS, Agendador de Tarefas → Ao iniciar sessão no Windows, um serviço systemd de utilizador ou @reboot no crontab no Linux. Já usa o cron? node src/cli.mjs https://example.com --alert-email you@example.com --alert-score-drop 5 rastreia, compara com o rastreio anterior e envia-lhe um e-mail apenas quando algo piorou.