Coletar dados públicos sem derrubar o alvo

Coleta de dados públicos tem má fama, e boa parte dela é merecida — não pela coleta em si, mas pela forma como é feita. Um raspador escrito sem cuidado é indistinguível de um ataque de negação de serviço pequeno.

A diferença entre coleta profissional e abuso está em decisões que também tornam o trabalho mais confiável.

Comece perguntando se existe caminho oficial

A pergunta que economiza mais tempo é a que menos gente faz: existe uma API?

Muito site que bloqueia automação oferece API para o mesmo dado. Às vezes documentada, às vezes só para clientes, às vezes mediante pedido. Uma API devolve dado estruturado, é mais rápida, e não quebra quando o layout muda.

Se o dado é de um fornecedor com quem você tem contrato, a conversa certa é com ele — não com o HTML dele.

Respeite o ritmo

O sinal mais forte de automação abusiva não é o endereço de onde você vem: é a velocidade.

Uma pessoa lendo um catálogo abre uma página a cada poucos segundos. Trinta requisições por segundo não parecem ninguém.

Reduzir o ritmo resolve mais bloqueio do que trocar de proxy, e é de graça. Comece devagar e aumente só se precisar. Concorrência de duas ou três costuma ser suficiente para volume respeitável ao longo de horas.

Vale também olhar o horário: coletar na madrugada do fuso do alvo incomoda menos e costuma render páginas mais rápidas.

Leia o robots.txt

Ele não é lei, mas é o dono do site dizendo o que não quer que seja rastreado. Ignorar sem motivo transforma uma discussão técnica em uma discussão de má-fé — e enfraquece a sua posição se alguém questionar.

Se há um Crawl-delay, ele é um pedido explícito de ritmo. Obedecer é barato.

Identifique-se

Um User-Agent genérico de navegador é o padrão de quem quer se esconder. Um User-Agent com o nome da sua ferramenta e uma URL de contato é o padrão de quem tem o que explicar.

A vantagem prática: quando você incomoda sem querer, o administrador consegue falar com você em vez de simplesmente bloquear a faixa inteira.

Peça menos

Cada requisição que você não faz é uma requisição que não incomoda ninguém.

• Guarde o que já buscou. Refazer a coleta inteira todo dia quando 2% mudou é desperdício dos dois lados.
• Use cabeçalhos condicionais. If-Modified-Since devolve 304 quando nada mudou — resposta minúscula.
• Colete só o que você usa. Baixar imagem quando você quer preço multiplica o tráfego por dez.

Trate erro como conversa

Códigos de erro são o site pedindo alguma coisa:

• 429 — devagar. Espere mais a cada tentativa e some um valor aleatório para não sincronizar com outros clientes.
• 503 — o site está com dificuldade. Insistir agora é empurrar.
• 403 constante — você foi identificado. Trocar de IP e continuar no mesmo ritmo repete o resultado.

Bloqueio que persiste depois da troca de IP é sinal de que o problema não era o IP.

Onde o proxy entra, e onde não

Proxy resolve um problema: o destino recusa conexões vindas de datacenter. Aí um IP residencial ou ISP passa.

Ele não resolve ritmo excessivo, não resolve identificação por cookie ou impressão digital do navegador, e não resolve padrão de comportamento óbvio. Se o bloqueio continua depois de trocar o IP, comprar proxy melhor não vai adiantar — e a conta cresce.

Uma consequência prática: use sessão fixa quando houver login ou carrinho. Com sessão rotativa, a próxima requisição sai por outro IP e o site derruba a sessão. O erro que aparece fala de autenticação, e você perde uma tarde procurando no lugar errado.

O limite que não é técnico

Dado público não é dado livre para qualquer uso. Três pontos que costumam ser ignorados:

Dado pessoal continua sendo dado pessoal mesmo publicado. Coletar nome, e-mail e telefone de páginas públicas para montar base de contato tem exigência de LGPD, com base legal, finalidade declarada e direito de exclusão.

Termos de uso valem para quem aceitou. Se a coleta exige login, você aceitou.

Conteúdo tem autor. Copiar texto integral e republicar é outro assunto, e não é sobre raspagem.

O resumo

Coleta que dura é coleta que passa despercebida por ser educada, não por ser furtiva. Ritmo humano, requisições que não se repetem à toa, identificação honesta e recuo quando o site pede. Quem faz assim raramente precisa da próxima camada de proxy.