Crawlers de IA acessam conteúdos em escala crescente, enquanto editores enfrentam o desafio de transformar essa exposição em visitantes, receita e sustentabilidade.
A expansão da inteligência artificial está provocando uma transformação silenciosa na maneira como a internet funciona. Além das pessoas que acessam páginas por buscadores, redes sociais ou links diretos, uma parcela cada vez maior das requisições feitas aos sites vem de sistemas automatizados. São crawlers e agentes utilizados para localizar informações, alimentar ferramentas de busca, executar tarefas e coletar conteúdo destinado ao desenvolvimento de modelos de inteligência artificial. Dados divulgados pela Cloudflare mostram a dimensão dessa mudança: em junho de 2026, 52% das requisições realizadas por crawlers analisados pela companhia estavam relacionadas ao treinamento de IA, contra 22% na primavera de 2025. Ao mesmo tempo, dados da infraestrutura da empresa indicaram que bots chegaram a representar mais da metade das requisições globais a páginas HTML. Para jornais, blogs e produtores independentes, surge uma pergunta importante: se máquinas consomem cada vez mais conteúdo sem necessariamente visitar as páginas como um leitor comum, quem sustentará economicamente os sites que produzem essas informações?
Por que os bots de IA estão acessando tantos sites
Os crawlers não são uma novidade da era da inteligência artificial. Mecanismos de busca utilizam programas automatizados há décadas para localizar páginas, analisar seus conteúdos e incluí-las em índices que posteriormente aparecem nos resultados pesquisados pelos usuários. A diferença está na diversidade de finalidades surgida com a IA generativa. Atualmente, um sistema automatizado pode visitar determinada página para ajudar uma ferramenta de pesquisa, buscar informações necessárias para responder a uma solicitação feita naquele momento, alimentar um agente autônomo ou coletar dados destinados ao treinamento de modelos. Essa distinção é importante porque cada modalidade produz uma relação diferente entre a plataforma tecnológica, o produtor do conteúdo e o usuário final.
A Cloudflare passou justamente a separar parte desse tráfego em três grandes categorias: busca, agentes e treinamento. Os dados divulgados pela empresa em julho mostram que os crawlers voltados ao treinamento passaram de aproximadamente 22% da atividade analisada na primavera de 2025 para 52% em junho de 2026. Sistemas classificados como mistos, que podem combinar busca, agentes e treinamento, representavam mais de 36% da atividade. Já o rastreamento destinado exclusivamente à busca tradicional tornou-se uma parcela relativamente menor. A mudança ajuda a explicar por que empresas de infraestrutura, editoras e donos de sites estão revendo as regras de acesso automatizado aos seus conteúdos.
O crescimento dos agentes de IA acrescenta outra camada ao fenômeno. Em vez de simplesmente responder a uma pergunta, esses sistemas podem navegar pela internet, pesquisar produtos, comparar informações, consultar páginas ou executar determinadas tarefas em nome do usuário. Isso significa que parte da navegação antes realizada diretamente por uma pessoa pode passar a ser intermediada por uma máquina. A própria Cloudflare descreve essa transformação como uma evolução em direção a uma internet cada vez mais marcada pelo tráfego entre máquinas. Para sites que tradicionalmente dependem de visitas humanas, essa mudança pode alterar profundamente a maneira de medir alcance e relevância.
Por que mais acessos de robôs não significam mais leitores
O problema econômico aparece quando o conteúdo é consultado por uma máquina, mas o usuário não precisa acessar a página que produziu originalmente a informação. No modelo tradicional dos mecanismos de busca, um buscador indexava páginas e apresentava links para que o internauta continuasse sua navegação no site responsável pelo conteúdo. Essa visita poderia gerar visualizações de anúncios, assinaturas, cadastros, vendas ou outras formas de receita. Assistentes de IA e respostas geradas automaticamente podem alterar essa dinâmica ao entregar uma síntese diretamente ao usuário.
Pesquisas sobre o comportamento dos internautas ajudam a dimensionar o desafio. Um estudo publicado em agosto de 2026 analisou o comportamento de usuários diante dos resumos de inteligência artificial exibidos nos resultados do Google. Os pesquisadores observaram que cliques nas fontes apresentadas nesses resumos eram raros, ocorrendo em aproximadamente 1% das visitas às páginas que exibiam AI Overviews. O estudo também encontrou associação entre a presença desses resumos, menos cliques e maior frequência de encerramento da navegação depois da própria página de resultados. Embora os dados tenham sido obtidos a partir de usuários dos Estados Unidos e não possam ser automaticamente aplicados ao comportamento brasileiro, eles demonstram como respostas prontas podem modificar a tradicional relação entre pesquisa e visita ao site.
Essa transformação preocupa especialmente veículos jornalísticos e produtores de conteúdo. Reportagens, análises, guias e bancos de dados possuem custos para serem produzidos, enquanto grande parte do financiamento da web aberta depende de pessoas efetivamente chegando às páginas. Se sistemas automatizados utilizam essas informações para responder diretamente ao público sem gerar uma quantidade proporcional de visitas, o equilíbrio econômico pode mudar. O desafio não significa que toda inteligência artificial prejudique os sites: ferramentas de IA também podem indicar fontes e criar novos canais de descoberta. A questão central é saber se esse novo fluxo será suficiente para sustentar quem produz o material utilizado pelas próprias máquinas.
Sites começam a ganhar mais controle sobre crawlers de inteligência artificial
Empresas de infraestrutura estão respondendo à mudança com ferramentas que dão aos proprietários dos sites maior controle sobre o tráfego automatizado. Em julho de 2026, a Cloudflare anunciou novas opções para permitir que seus clientes estabeleçam regras diferentes para crawlers relacionados a busca, agentes e treinamento. Assim, um editor pode adotar estratégias distintas conforme a finalidade do acesso, em vez de simplesmente permitir ou bloquear todos os robôs associados à inteligência artificial. A iniciativa representa uma mudança importante porque reconhece que nem toda atividade automatizada produz o mesmo benefício ou custo para quem mantém um site.
A discussão também abre espaço para novos modelos comerciais. Se conteúdos produzidos por jornalistas, especialistas, empresas e criadores possuem valor para sistemas de IA, uma possibilidade é desenvolver mecanismos pelos quais plataformas obtenham acesso mediante autorização, parceria ou remuneração. Outra estratégia será adaptar páginas para que continuem sendo encontradas tanto pelos mecanismos de busca tradicionais quanto pelos novos sistemas de respostas e agentes. Isso tende a exigir mudanças em áreas como SEO, estruturação de dados, reputação das fontes e acompanhamento do tráfego automatizado.
Para o usuário brasileiro, essa transformação pode parecer distante, mas seus efeitos tendem a aparecer na própria experiência de navegar pela internet. Pesquisas poderão trazer cada vez mais respostas completas sem exigir abertura de vários sites, enquanto agentes digitais poderão realizar parte da navegação de maneira automática. A conveniência é evidente, mas existe uma questão estrutural por trás dela: informações confiáveis continuam dependendo de pessoas e organizações capazes de produzi-las. O avanço dos bots de IA coloca a internet diante do desafio de encontrar um equilíbrio entre acesso automatizado, inovação e sustentabilidade econômica dos criadores. Se esse equilíbrio não surgir, a web poderá ter máquinas cada vez melhores em consumir informação justamente enquanto os produtores originais enfrentam mais dificuldades para financiar sua produção.
A base mais forte para essa pauta é o relatório recente da Cloudflare sobre a chamada “internet agêntica”, além de pesquisas acadêmicas publicadas neste mês sobre a redução de cliques quando respostas de IA aparecem nas buscas. (Cloudflare Blog)
Fontes:
- Cloudflare — Building the business model for the agentic Internet — relatório de julho de 2026. Mostra que 52% das requisições de crawlers analisadas eram destinadas a treinamento de IA em junho, ante 22% na primavera de 2025. (Cloudflare Blog)
- Cloudflare — novas opções para controlar tráfego de IA — explica os controles lançados para que sites diferenciem crawlers de busca, agentes e treinamento. (Cloudflare Blog)
- Estudo sobre cliques em resultados com Google AI Overviews — pesquisa publicada em 5 de agosto de 2026, baseada em dados de navegação de 900 adultos nos EUA. Encontrou cliques nas fontes citadas pelos AI Overviews em apenas cerca de 1% das visitas. (arXiv)
- Estudo “Answering Without Referring” sobre IA e tráfego da web — pesquisa de julho de 2026 que analisa como sistemas de busca por IA podem responder sem encaminhar usuários aos sites de origem. (arXiv)
- Ahrefs — AI Overviews Reduce Clicks by 58% — análise sobre a redução da taxa de cliques orgânicos associada à presença dos resumos de IA do Google. (Ahrefs)