Aprendizados...

Sucessor do Bard, o Gemini, da Alphabet, nos deu alguns exemplos patéticos do que um viés mal ajambrado pode produzir em IA. Os que testaram Gemini em sua capacidade de geração de images, depararam-se com “soldados nazistas negros”, casais ingleses medievais retratados como sendo origem oriental ou africana, e com “papisas” que não existiram. É a reafirmação do velho dito: a “emenda pode sair pior que o soneto”. Essa versão “criativa e inclusiva” foi rapidamente tirada do ar, mas isso não impediu a maculação da imagem e, pior, que crescessem as suspeitas de que aquilo que IA “aprende” pode não estar ancorado nos arquivos e documentos que há no mundo real. Para evitar o risco de que dados incompletos ou polarizados pudessem introduzir viéses no aprendizado, o mecanimo incorporau filtros e propensões que geraram os risíveis resultados de falamos.

Se a IA for deixada para se treinar livremente com os dados que encontrar por aí, ela pode cristalizar estereótipos e leituras que não são adequadas ou desejáveis. Isso seria tributável a conjuntos incompletos ou tendenciosos de dados usados na aprendizagem. Por outro lado, uma tentativa de equilibrar esse possível efeito através de um viés explicitamente implantado, pode resultar ainda pior.

Outro ponto interessante a investigar é a comparação entre os sistemas fechados LLM que existem hoje, com versões abertas que permitem a instalação da ferramenta na própria máquina do usuário, ao custo de alguns gigabytes de armazenamento. Convenhamos que é espantoso que se consigam respostas tão amplas e abrangentes com esse pequeno armazenamento local, e o fato de a “história” agora poder ser, de alguma forma, armazenada localmente traz à tona casos como no conto “A memória do mundo”, de Ìtalo Calvino, e suas preocupantes consequências. Nas palavrao de Calvino, ao mesmo tempo em que se coloca “todo o Museu Britânica numa noz”, corre-se a tentação de alterar o conteúdo. Afinal, se o armazenado do mundo não bater mais com a realidade, “muda-se a realidade”...

Em sentido protetivo, diversos órgãos já se movem para criar salvaguardas e limites ao que pode ser feito, e alertar para ações maliciosas que visem a deturpar resultados e comportamento das ferramentas de IA. O NIST norte-americano, órgão que trabalha na produções de padrões técnicos, divulgou um estudo em “IA confiável e responsável” que examina os riscos a que estão submetidos os sistemas de IA, Faz uma classificação dos ataque que esses sistemas podem sofrer em função dos objetivos buscados pelos atacantes. Na mesma direção, o NYT cita texto subscrito por cerca de 100 especialistas em biologia, que avisa de perigos via IA. Riscos que não podem ser negligenciados, e envolvem apoio a criação de armas biológicas, como novos vírus e doenças, e em montagem de ataques maciços. Mesmo assim, segundo os pesquisadores, o valor positivo que IA pode agregar aos desenvolvimento da biologia supera os riscos em que estaríamos incorrendo. Resta-nos seguir o lema da Viagem às Estrelas: ‘ousando ir onde antes ninguém fôra”...

===
https://www.anj.org.br/a-memoria-do-mundo/
(referência ao consto de Italo Calvino, "A memória do mundo)

=

O conto vai deslizando em direção ao abismo, até que o diretor faz uma confissão. Todos o sabem lamentoso viúvo com a perda de Angela, amada esposa. O que poucos sabem é que seu casamento não fora um mar de rosas. Longe disso. Angela, a “esposa ideal”, era uma imagem carinhosamente montada e que ele preservou nos arquivos. A distância entre a Angela-informação e a Angela-real tornou-se tão grande que a única saída para não colocar em risco sua imagem ideal foi assassiná-la. No último parágrafo chega a tremenda conclusão: “se na memória ideal do mundo não há nada a corrigir, o que nos resta é corrigir a realidade, onde ela não concorda com a memória do mundo.”

=
===
https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2023.pdf
NIST Trustworthy and Responsible AI NIST AI 100-2e2023

https://www.nist.gov/news-events/news/2024/01/nist-identifies-types-cyberattacks-manipulate-behavior-ai-systems
=

The report considers the four major types of attacks: evasion, poisoning, privacy and abuse attacks. It also classifies them according to multiple criteria such as the attacker’s goals and objectives, capabilities, and knowledge.

Evasion attacks, which occur after an AI system is deployed, attempt to alter an input to change how the system responds to it. Examples would include adding markings to stop signs to make an autonomous vehicle misinterpret them as speed limit signs or creating confusing lane markings to make the vehicle veer off the road.

Poisoning attacks occur in the training phase by introducing corrupted data. An example would be slipping numerous instances of inappropriate language into conversation records, so that a chatbot interprets these instances as common enough parlance to use in its own customer interactions.

 
Privacy attacks, which occur during deployment, are attempts to learn sensitive information about the AI or the data it was trained on in order to misuse it. An adversary can ask a chatbot numerous legitimate questions, and then use the answers to reverse engineer the model so as to find its weak spots — or guess at its sources. Adding undesired examples to those online sources could make the AI behave inappropriately, and making the AI unlearn those specific undesired examples after the fact can be difficult.

Abuse attacks involve the insertion of incorrect information into a source, such as a webpage or online document, that an AI then absorbs. Unlike the aforementioned poisoning attacks, abuse attacks attempt to give the AI incorrect pieces of information from a legitimate but compromised source to repurpose the AI system’s intended use.
=
===

https://www.nytimes.com/2024/03/08/technology/biologists-ai-agreement-bioweapons.html?auth=login-google1tap&login=google1tap
=

Dario Amodei, chief executive of the high-profile A.I. start-up Anthropic, told Congress last year that new A.I. technology could soon help unskilled but malevolent people create large-scale biological attacks, such as the release of viruses or toxic substances that cause widespread disease and death.

=

O Poder da Escolha

Se há um tema onipresente hoje é a discussão sobre Inteligência Artificial, seu poder tanto para o bem quanto para o mal, e as diversas propostas para sua regulação e conteção. No dia-a-dia, ao usarmos as ferramentas de LLM, não podemos deixar de nos maravilhar com o quão amigável é o diálogo que elas mantêm conosco, e como geram respostas plausíveis, com laivos de total verossimilhança. Há, até, os que buscam convencer a ferramenta de seus pontos de vista e, alegram-se ao conseguir que ela entregue os pontos, e reconheça que o humano estava certo.

Entretanto há mais mistérios entre o céu e a terra: um dos cientistas de dados da Meta, Colin Fraser, definiu a ferramenta como sendo projetada para “enganá-lo, no sentido de você pensar que está sempre conversando com alguém…”. Ou seja, mais do que nos fornecer respostas acuradas, os LLM buscam manter-nos em sua órbita, como “amigos virtuais”. E. parece-me. são muito bem sucedidos nessa função.

Em editorial recente, a Nature – respeitada publicação – alerta para que “cientistas podem estar confiando em excesso no que IA diz”, e aponta riscos resultantes. É tendência natural que nos apoiemos em ferramentas como IA que reduzam o esforço necessário para produzir algo, ou que nos apoiem na obtenção e tratamento dos dados necessários. Nature aponta para quatro instâncias em que o uso da IA pode trazer riscos: como “oráculo” para indicar tendências a partir dos dados que recolhe, sem que essas previsões passem por um crivo humano; em linha próxima, usando-se IA como “árbitro” da qualidade de artigos, alegadamente por ela ser potencialmente mais “neutra” que o exame “entre pares”, usual na ciência; como tendo “habilidades “sobrehumanas” na análise de vastos conjuntos de dados; finalmente como “agente complementar”, simulando a geração de dados difíceis de obter na prática. Desses quatro aspectos derivam riscos que precisam ser observados, como confundir a informação recebida da IA com um “conhecimento profundo” a ser assimilado pelo pesquisador, ou atribuir a ela uma objetividade que apenas reflete o que os dados a que ela acedeu mostram.

Entre os cientistas da área também há dispersão de avaliações. Weizenbaum, pioneiro em IA e autor do Eliza, programa de 1966 que, em texto, simulava um psicólogo dialogando com o usuário, tornou-se, décadas depois, um pessimista sobre o uso indiscriminado da ferramenta, e um auto-declarado “herético”. Um dos riscos que ele aponta, especialmente em comportamento, é que ao invés do computador simular humanos é possível que sejam os humanos que passariam a simular a máquna. Há uma boa descrição da história e das diatribes dele em artigo do The Guardian, de julho de 2023. Na revisão que fez do Eliza, Weizembaum comenta que “eu não tinha percebido como uma pequena exposição a um programa como o Eliza pode induzir depressão em pessoas normais”, Finalmente, em seu livro “O Poder do Computador e a Razão Humana”, Weizenbaum pontua que “a ciência prometeu poder ao homem, mas seu preço pode ser impotência e servidão. ‘Poder’ só tem sentido como ‘poder de escolher’”.

===
O texto da Nature:

https://www.nature.com/articles/d41586-024-00639-y
"...In one ‘vision’, which they call AI as Oracle, researchers see AI tools as able to tirelessly read and digest scientific papers, and so survey the scientific literature more exhaustively than people can. In both Oracle and another vision, called AI as Arbiter, systems are perceived as evaluating scientific findings more objectively than do people, because they are less likely to cherry-pick the literature to support a desired hypothesis or to show favouritism in peer review. In a third vision, AI as Quant, AI tools seem to surpass the limits of the human mind in analysing vast and complex data sets. In the fourth, AI as Surrogate, AI tools simulate data that are too difficult or complex to obtain."

===
O texto do The Guardian sobre Weizenbaum:

https://www.theguardian.com/technology/2023/jul/25/joseph-weizenbaum-inventor-eliza-chatbot-turned-against-artificial-intelligence-ai
"... Artificial intelligence, he came to believe, was an “index of the insanity of our world.”… Weizenbaum’s pessimism made him a lonely figure among computer scientists during the last three decades of his life; he would be less lonely in 2023."

Computer Power and Human Reason - from judgement to calculation