Aprendiz de Feiticeiro

Mesmo não sendo o tema principal destes dias, incidentes com IA seguem ocupando espaço importante em nossas preocupações. A abordagem desses eventos acaba sendo mais sensacionalista do que ancorada em sua características reais. Sem amenizar preocupações crescentes que temos sobre as ações da IA, especialmente agora que ela mostra capacidades de "agente autônomo" em diversas situações, é salutar evitar uma "humanização" descabida, ao menos com relação ao seu desenvolvimento atual.

Se, por um lado, é fundamental recolher informações sobre o que se passa com IA no mundo, ainda mais importante é buscar taxonomia dos incidentes de IA, para uma análise sólida.

Um texto recente de Bruce Schneier discute a forma como se decrevem os incidentes de IA. É inevitável, claro, uma pitada de sensacionalismo em busca da atenção dos leitores e, como sempre, as palavras usadas tem muita importância. Afinal um "gênio que saiu da garrafa e atende desejos" pode ficar muito mais perigoso se, além disso, ele se rebelar. Schneier adverte contra essa antropomorfização da IA, ao atribuirmos "intenções" a ela. É possível que os cenários mais assustadores dos textos de ficção científica se materializem, mas, ao monos hoje, há que se manter a serenidade na análise. Dizer, automaticamente, que a "IA se rebelou", poderia equivaler a dizer que "a eletricidade se rebelou", ou "o fogo se rebelou"... A prática recomenta que se busquem as causas de cada problema, que podem estar deste um comando incompleto ou mal dado, até defeitos internos reais na IA. Vem à mente a cena do Aprendiz de Feiticeiro, onde o rapaz encanta o esfregão para que faça o serviço de limpeza. Dá a ordem mas não sabe como interrompê-la.

Temos hoje uma ferramenta muito poderosa, talvez a mais poderosa que o homem criou, e seu controle deve estar em mãos sábias. No caso do Aprendiz, apenas a chegada do mago-mestre interrompeu o caos.

Importa o comando que damos à IA para cumprir. Há um enorme contexto humano subentendido, muito difícil de repassar ao nosso "agente". Se alguém nos pedir ajuda, ele não precisa adicionar que essa ajuda não pode incluir trapaça, crimes ou violência contra outros. Certamente isso não é tácito no "prompt" que passamos à IA. Claro que ela pode aprender com textos sobre ética mas, mesmo assim, a cultura no contexto pode estar totalmente inadequada. E, de novo quanto à linguagem, a descrição de um incidente como "IA ´hackeou’ um ministério na Austrália", passa uma sensação muito diversa de "IA incluiu busca de vulnerabilidades ao procurar dados solicitados".

Para iniciar uma discussão sobre taxonomia, podemos inicialmente classificar eventos em categorias: 1- há falha interna do agente IA; 2- há uso malicioso da IA por humano; 3- IA gerou situações inesperadas, tanto ṕara o bem (ex. novos remédios) como para o mal; 4- IA alterou o comportamento humano e social, gerando "confiança" e novo poder. Em suma, é importante analisar, como no caso de acidentes aéreos ou de epidemias, a causa, o vetor de propagação, o ambiente e, até, a existência de um eventual hospedeiro.

===

https://www.estadao.com.br/economia/demi-getschko/a-ia-vista-como-um-genio-que-se-rebela-ao-sair-da-garrafa-assusta-como-lidar-com-esse-risco/

===
Texto citado de Bruce Schneier:
https://www.schneier.com/blog/archives/2026/09/i-want-better-reporting-on-ai-genie-behavior.html

===
Poema de Goethe sobre "aprendiz de feiticeiro":
https://pt.wikipedia.org/wiki/Der_Zauberlehrling
e o fecho do poema:

No Original (Alemão)
«In die Ecke,
Besen! Besen!
Seid’s gewesen.
Denn als Geister
Ruft euch nur, zu diesem Zwecke,
Erst hervor der alte Meister.»

Tradução para o Português
"Para o canto,
Vassoura! Vassoura!
Acabou-se a história.
Pois, como espíritos,
Só vos chama para esse propósito,
Primeiramente, o velho mestre."

===
e um caso de incidente:
https://www.proofpoint.com/us/blog/threat-insight/hallucinating-credibility-china-aligned-ta419-impersonates-its-way-us-ai-policy