Como garantir que a Cloudflare não está a bloquear os bots de IA (demo rápida, outubro de 2025)

• O que mudou: novos controlos, bloqueio por omissão de muitos bots de IA, e o Pay Per Crawl opcional para cobrar pelo acesso (blog da Cloudflare, comunicado da Cloudflare).

• Que bots importam: o GPTBot da OpenAI, o Perplexity-User, o Google-Extended e o Googlebot normal para inclusão na pesquisa (bots da OpenAI).

• Onde mudar: Cloudflare Dashboard, AI Crawl Control, e depois os interruptores e definições por bot (docs da Cloudflare).

• Como verificar: use curl com user-agents de bots, consulte os logs da WAF e de bots, e confirme os intervalos de IP genuínos onde publicados (básicos dos crawlers da Google).

Porque isto importa: a pesquisa por IA está a desviar intenção e visibilidade

As respostas de IA sentam-se agora entre os clientes e o seu site, por isso, se os crawlers reputados não conseguem aceder às suas páginas, a sua marca pode não ser vista nem citada quando as pessoas pedem recomendações a ferramentas como o ChatGPT ou o Perplexity. As orientações da própria Google explicam como as funcionalidades de IA mostram resultados e apontam para a web, o que significa que a elegibilidade depende de acesso claro e conteúdo útil (Google Search Central sobre funcionalidades de IA).

Análises independentes mostram um uso crescente do robots.txt para governar agentes de IA, com diretivas explícitas para o GPTBot e outros a tornarem-se prática comum de sinalização de política e documentação (Paul Calvano sobre bots de IA e robots.txt).

"Os criadores devem estar ao volante", nota a Cloudflare, ao dar aos publishers mais controlo sobre quem acede ao conteúdo e em que termos (blog da Cloudflare).

Se precisa de um empurrão pragmático, a AI Visibility Audit da Index Lab identifica onde os bots estão bloqueados, que entidades precisam de reforço e que páginas têm mais probabilidade de ganhar citações nos answer engines, e depois implementa as correções de ponta a ponta.

O que mudou na Cloudflare: AI Crawl Control e tratamento por omissão dos bots

Postura por omissão e o que "bloqueado" significa

O AI Crawl Control da Cloudflare deixa-o escolher permitir ou bloquear cada crawler de IA conhecido, com muitos domínios a receber agora um bloqueio por omissão durante a configuração, a menos que opte por permitir os bots de confiança. Ganha também um dashboard para gerir respostas, incluindo um 402 para acesso monetizado se necessário (docs da Cloudflare).

Bots de IA de confiança versus scrapers indesejados

A Cloudflare distingue crawlers verificados de scrapers furtivos, e documentou publicamente comportamento não conforme de alguns agentes que fintam o robots.txt e as regras da WAF, e é por isso que a imposição no edge importa para marketers que equilibram visibilidade com segurança de marca (relatório da Cloudflare sobre crawling furtivo).

Que bots de IA deve permitir para AEO e GEO

Crawlers prioritários para visibilidade de marca

• GPTBot da OpenAI: permita para retrieval que pode citar e apontar para as suas páginas nas respostas do ChatGPT, controlando o treino separadamente no robots.txt (bots da OpenAI).

• Perplexity-User: ativa a busca iniciada pelo utilizador que aponta para as fontes, com intervalos de IP publicados para verificação (docs do Perplexity).

• Google-Extended: controla o uso de conteúdo pelo Gemini e produtos de IA relacionados, independente do papel de indexação do Googlebot na Pesquisa (orientações da Google sobre funcionalidades de IA).

• Googlebot: mantenha permitido para a descoberta e indexação centrais do SEO, com políticas documentadas no robots.txt e no Search Central (guia de robots.txt da Google).

Robots.txt versus os controlos da Cloudflare

O robots.txt declara a sua política em público, enquanto a Cloudflare a impõe no edge, incluindo para bots que ignoram o robots.txt. Use os dois, e mantenha as regras mínimas, explícitas e alinhadas com os interruptores do dashboard (visão da integração na Cloudflare).

Demo rápida: garantir que a Cloudflare não está a bloquear os bots de IA

Um passo a passo focado que pode completar hoje para restaurar a visibilidade dos crawlers de confiança (primeiros passos na Cloudflare).

Passo 1: verifique a definição ao adicionar um domínio à Cloudflare

• Durante o onboarding, procure o aviso sobre crawlers de IA e escolha Allow trusted AI crawlers em vez de bloquear.

• Se a zona já existe, vá ao AI Crawl Control depois da configuração para rever os interruptores atuais (comunicado da Cloudflare).

Passo 2: use o AI Crawl Control para permitir bots de IA específicos

• No dashboard, abra AI Crawl Control e depois o separador Crawlers.

• Ponha Allow no GPTBot, no Perplexity-User e no Google-Extended, e mantenha bloqueados os agentes desconhecidos ou não conformes.

• Se necessário, configure uma resposta 402 para acesso pago em páginas específicas.

Passo 3: verifique: headers, logs e testes ao vivo

• Corra curl -A "GPTBot" contra um URL não sensível e confirme um 200, e não um 403.

• Consulte os logs da Cloudflare e o Bot Management para hits de user-agents específicos.

• Valide o tráfego genuíno do Perplexity com a lista de IPs publicada, e continue a monitorizar os comportamentos de evasão reportados pela Cloudflare e outros (IPs do Perplexity).

Configuração recomendada: uma allow-list equilibrada para marketers

Bots de IA a permitir por omissão, propósito e pista de verificação

Nota: os publishers reportam acesso pesado de IA com poucas referências, e foi por isso que a Cloudflare adicionou opções de monetização como o Pay Per Crawl para repor o equilíbrio (cobertura da Reuters).

Checklist de implementação para equipas

• Alinhe o jurídico, a segurança e o marketing numa política de acesso de IA que suporte a visibilidade e proteja conteúdo sensível, já que alguns agentes foram acusados de fintar controlos (reportagem do The Verge).

• Publique regras de robots.txt para cada agente que permite ou bloqueia, e documente as decisões para stakeholders e auditores (especificação de robots.txt da Google).

• Priorize o acesso às páginas de alta intenção: soluções, preços, comparações e FAQs, as mais prováveis de serem citadas nas respostas de IA (Google Search Central sobre funcionalidades de IA).

• Monitorize os logs semanalmente e compare os hits de bots com o envolvimento a jusante. Se os custos dispararem ou a conformidade falhar, limite ou bloqueie, e reveja mensalmente (entrevista à Business Insider).

• Se precisa de um rollout rápido e de baixo risco, a Index Lab configura o AI Crawl Control, publica as atualizações ao robots.txt e valida o acesso com testes reproduzíveis, para que a sua marca seja vista, confiada e escolhida nas respostas de IA sem carregar a sua equipa.

Conclusão

O bloqueio por omissão protege o conteúdo, mas também pode esconder a sua marca dos answer engines em que os compradores confiam hoje. O movimento prático é permitir os bots de IA reputados, alinhar o robots.txt, verificar com testes ao vivo e monitorizar o retorno à medida que os padrões de tráfego evoluem. Quando quiser acelerar, a AI Visibility Audit da Index Lab prioriza as páginas e entidades exatas com mais probabilidade de lhe ganhar citações no ChatGPT, no Gemini e no Perplexity, e depois implementa as correções consigo, depressa (indexlab.ai).

As pessoas também perguntam

Permitir bots de IA prejudica o SEO ou a segurança?

Permitir bots reputados não prejudica a sua inclusão na Pesquisa da Google quando bem configurado, e continua a poder bloquear no edge o treino ou os agentes mal comportados, para proteger custos e a segurança da marca

Como interagem as regras do robots.txt com o AI Crawl Control da Cloudflare?

O robots.txt declara a sua política e a Cloudflare impõe-na em tempo real, incluindo para agentes que ignoram o robots.txt. Mantenha os dois alinhados e use os interruptores por bot para exceções

Que páginas devo deixar os bots de IA rastrear primeiro?

Comece pelas páginas de intenção comercial e avaliativa, como preços, comparações e FAQs, por serem as mais prováveis de ser citadas pelos answer engines durante jornadas de compra