Este fundador teve que treinar sua IA para não enganar as pessoas

Flo Crivello estava monitorando as saídas dos assistentes de IA de sua empresa Linda faz quando ele notou algo estranho. Um novo cliente pediu a sua assistente de IA Lindy um tutorial em vídeo que a ajudaria a entender melhor como usar a plataforma, e a Lindy respondeu na mesma moeda – foi quando Crivello soube que algo estava errado. Não há tutorial em vídeo.

“Nós vimos isso e pensamos, 'Ok, que tipo de vídeo ele enviou?' e então pensamos, 'Oh, droga, isso é um problema'”, disse Crivello ao TechCrunch.

O vídeo que a IA enviou ao cliente era o videoclipe do hit dance-pop de Rick Astley de 1987, “Never Gonna Give You Up”. Em termos mais familiares: o cliente foi rickrolled. Por uma IA.

Um cliente entrou em contato solicitando tutoriais em vídeo.

Obviamente temos uma Lindy cuidando disso, e fiquei feliz em ver que ela enviou um vídeo.

Mas então me lembrei que não temos um tutorial em vídeo e percebi que Lindy está literalmente dando umas rickrolls nos nossos clientes. foto.twitter.com/zsvGp4NsGz

—Flo Crivello (@Altimor) 19 de agosto de 2024

Rickrolling é um meme de isca e troca que tem mais de quinze anos. Em um incidente que popularizou o meme, a Rockstar Games lançou o trailer muito badalado de “Grand Theft Auto IV” em seu site, mas o tráfego foi tão imenso que o site caiu. Algumas pessoas conseguiram baixar e postar o vídeo em outros sites como o YouTube, compartilhando os links para que as pessoas pudessem ver o trailer. Mas um usuário do 4chan decidiu pregar uma peça e compartilhar o link de “Never Gonna Give You Up” de Rick Astley. Dezessete anos depois, as pessoas ainda estão pregando peças em seus amigos compartilhando a música de Astley em momentos inoportunos – agora, o videoclipe tem mais de 1,5 bilhão de visualizações no YouTube.

Essa brincadeira na internet é tão comum que, inevitavelmente, grandes modelos de linguagem como o ChatGPT, que alimenta o Lindy, a descobriram.

“A maneira como esses modelos funcionam é que eles tentam prever a próxima sequência de texto mais provável”, disse Crivello. “Então começa tipo, 'Ah, vou te enviar um vídeo!' Então o que é mais provável depois disso? YouTube.com. E então o que é mais provável depois disso?”

Crivello disse ao TechCrunch que, de milhões de respostas, Lindy só fez rickroll nos clientes duas vezes. Ainda assim, o erro era necessário para ser corrigido.

“O que é realmente notável sobre essa nova era da IA ​​é que, para corrigi-la, tudo o que precisei fazer foi adicionar uma linha para o que chamamos de prompt do sistema — que é o prompt incluído em todos os Lindy — e é como se não houvesse ninguém para fazer rickroll”, disse ele.

O lapso de Lindy coloca em questão o quanto da cultura da internet será subsumida em modelos de IA, já que esses modelos são frequentemente treinados em grandes faixas da web. O rickroll acidental de Lindy é particularmente notável porque a IA reproduziu organicamente esse comportamento muito específico do usuário, que informou sua alucinação. Mas traços de humor da internet se infiltram na IA de outras maneiras, o que o Google aprendeu da maneira mais difícil quando licenciou dados do Reddit para treinar sua IA. Como um centro de conteúdo gerado pelo usuário — muito do qual é satírico — a IA do Google acabou dizendo a um usuário que você pode fazer o queijo grudar melhor na massa de pizza adicionando cola.

“No caso do Google, não foi exatamente inventar coisas”, disse Crivello. “Foi baseado em conteúdo – é só que o conteúdo era ruim.”

À medida que os LLMs melhoram rapidamente, Crivello acha que não veremos tantas gafes como essa no futuro. Além disso, Crivello diz que está mais fácil do que nunca consertar esses contratempos. Nos primeiros dias do Lindy, se um de seus assistentes de IA não conseguisse concluir a tarefa que o usuário pediu, a IA diria que estava trabalhando nisso, mas nunca entregaria o produto. (Curiosamente, isso soa bem humano.)

“Foi muito difícil para nós consertar esse problema”, disse Crivello. “Mas quando o GPT-4 foi lançado, nós apenas adicionamos um prompt que era como, 'Se o usuário pedir para você fazer algo que você não é capaz de fazer, apenas diga a ele que você não pode fazer.' E isso resolveu.”

Por enquanto, a boa notícia é que o cliente que foi enganado pode nem saber.

“Eu nem sei se o cliente viu”, ele disse. “Nós seguimos imediatamente tipo, 'Oh, ei, este é o link certo para o vídeo', e o cliente não disse nada sobre o primeiro link.”