O projeto de lei de IA da Califórnia SB 1047 visa prevenir desastres de IA, mas o Vale do Silício alerta que isso causará um

Atualização: O Comitê de Dotações da Califórnia aprovou o SB 1047 com emendas significativas que mudam o projeto de lei na quinta-feira, 15 de agosto. Você pode ler sobre elas aqui.

Fora dos filmes de ficção científica, não há precedentes para sistemas de IA matando pessoas ou sendo usados ​​em ataques cibernéticos massivos. No entanto, alguns legisladores querem implementar salvaguardas antes que atores ruins tornem esse futuro distópico uma realidade. Um projeto de lei da Califórnia, conhecido como SB 1047, tenta impedir desastres do mundo real causados ​​por sistemas de IA antes que aconteçam. Ele foi aprovado pelo senado estadual em agosto e agora aguarda aprovação ou veto do governador da Califórnia, Gavin Newsom.

Embora pareça uma meta com a qual todos podemos concordar, o SB 1047 atraiu a ira de grandes e pequenos players do Vale do Silício, incluindo capitalistas de risco, grandes grupos comerciais de tecnologia, pesquisadores e fundadores de startups. Muitos projetos de lei de IA estão circulando pelo país agora, mas o Safe and Secure Innovation for Frontier Artificial Intelligence Models Act da Califórnia se tornou um dos mais controversos. Aqui está o porquê.

O que o SB 1047 faria?

O SB 1047 tenta impedir que grandes modelos de IA sejam usados ​​para causar “danos críticos” à humanidade.

O projeto de lei dá exemplos de “danos críticos” como um mau ator usando um modelo de IA para criar uma arma que resulta em baixas em massa, ou instruindo alguém a orquestrar um ataque cibernético causando mais de US$ 500 milhões em danos (para comparação, a interrupção do CrowdStrike é estimado ter causado mais de US$ 5 bilhões). O projeto de lei torna os desenvolvedores — ou seja, as empresas que desenvolvem os modelos — responsáveis ​​por implementar protocolos de segurança suficientes para evitar resultados como esses.

Quais modelos e empresas estão sujeitas a essas regras?

As regras do SB 1047 só se aplicariam aos maiores modelos de IA do mundo: aqueles que custam pelo menos US$ 100 milhões e usam 10^26 FLOPS durante o treinamento — uma quantidade enorme de computação, mas o CEO da OpenAI, Sam Altman, disse O GPT-4 custou aproximadamente isso para treinar. Esses limites podem ser aumentados conforme necessário.

Poucas empresas hoje desenvolveram produtos públicos de IA grandes o suficiente para atender a esses requisitos, mas gigantes da tecnologia como OpenAI, Google e Microsoft provavelmente o farão muito em breve. Modelos de IA — essencialmente, mecanismos estatísticos massivos que identificam e preveem padrões em dados — geralmente se tornaram mais precisos à medida que cresceram, uma tendência que muitos esperam que continue. Mark Zuckerberg disse recentemente que a próxima geração do Llama da Meta exigirá 10x mais computação, o que o colocaria sob a autoridade do SB 1047.

Quando se trata de modelos de código aberto e seus derivados, o projeto de lei determinou que o desenvolvedor original é responsável, a menos que outro desenvolvedor gaste outros US$ 10 milhões criando um derivado do modelo original.

O projeto de lei também exige um protocolo de segurança para evitar usos indevidos de produtos de IA cobertos, incluindo um botão de “parada de emergência” que desliga todo o modelo de IA. Os desenvolvedores também devem criar procedimentos de teste que abordem os riscos apresentados pelos modelos de IA e devem contratar auditores terceirizados anualmente para avaliar suas práticas de segurança de IA.

O resultado deve ser uma “garantia razoável” de que seguir estes protocolos evitará danos críticos — não certeza absoluta, o que é obviamente impossível de fornecer.

Quem faria isso funcionar e como?

Uma nova agência da Califórnia, o Board of Frontier Models, supervisionaria as regras. Todo novo modelo público de IA que atende aos limites do SB 1047 deve ser certificado individualmente com uma cópia escrita de seu protocolo de segurança.

O Board of Frontier Models seria governado por nove pessoas, incluindo representantes da indústria de IA, comunidade de código aberto e academia, nomeados pelo governador e legislatura da Califórnia. O conselho aconselhará o procurador-geral da Califórnia sobre potenciais violações do SB 1047 e emitirá orientações aos desenvolvedores de modelos de IA sobre práticas de segurança.

O diretor de tecnologia de um desenvolvedor deve enviar uma certificação anual ao conselho avaliando os riscos potenciais do seu modelo de IA, quão eficaz é seu protocolo de segurança e uma descrição de como a empresa está cumprindo com o SB 1047. Semelhante às notificações de violação, se ocorrer um “incidente de segurança de IA”, o desenvolvedor deve relatá-lo ao FMD dentro de 72 horas após tomar conhecimento do incidente.

Se as medidas de segurança de um desenvolvedor forem consideradas insuficientes, o SB 1047 permite que o procurador-geral da Califórnia apresente uma ordem liminar contra o desenvolvedor. Isso pode significar que o desenvolvedor teria que parar de operar ou treinar seu modelo.

Se um modelo de IA for realmente usado em um evento catastrófico, o procurador-geral da Califórnia pode processar a empresa. Para um modelo que custa US$ 100 milhões para treinar, as penalidades podem chegar a US$ 10 milhões na primeira violação e US$ 30 milhões nas violações subsequentes. Essa taxa de penalidade aumenta conforme os modelos de IA se tornam mais caros.

Por fim, o projeto de lei inclui proteções para denunciantes de funcionários caso eles tentem divulgar informações sobre um modelo de IA inseguro ao procurador-geral da Califórnia.

O que dizem os proponentes?

O senador estadual da Califórnia, Scott Wiener, autor do projeto de lei e representante de São Francisco, disse ao TechCrunch que o SB 1047 é uma tentativa de aprender com as falhas políticas anteriores em relação às mídias sociais e à privacidade de dados, e proteger os cidadãos antes que seja tarde demais.

“Temos um histórico com a tecnologia de esperar que os danos aconteçam e, então, torcer as mãos”, disse Wiener. “Não vamos esperar que algo ruim aconteça. Vamos apenas sair na frente disso.”

Mesmo que uma empresa treine um modelo de US$ 100 milhões no Texas, ou na França, ela será coberta pelo SB 1047 enquanto fizer negócios na Califórnia. Wiener diz que o Congresso fez “notavelmente pouca legislação sobre tecnologia no último quarto de século”, então ele acha que cabe à Califórnia estabelecer um precedente aqui.

Quando perguntado se ele se encontrou com a OpenAI e a Meta no SB 1047, Wiener disse que “nós nos encontramos com todos os grandes laboratórios”.

Dois pesquisadores de IA que às vezes são chamados de “padrinhos da IA”, Geoffrey Hinton e Yoshua Bengio, deram seu apoio a esse projeto de lei. Esses dois pertencem a uma facção da comunidade de IA preocupada com os cenários perigosos e catastróficos que a tecnologia de IA pode causar. Esses “penalizadores da IA” existem há algum tempo no mundo da pesquisa, e o SB 1047 poderia codificar algumas de suas salvaguardas preferidas em lei. Outro grupo que patrocina o SB 1047, o Center for AI Safety, escreveu um carta aberta em maio de 2023 pedindo ao mundo que priorize “mitigar o risco de extinção da IA” tão seriamente quanto pandemias ou guerra nuclear.

“Isso é do interesse de longo prazo da indústria na Califórnia e nos EUA em geral, porque um grande incidente de segurança provavelmente seria o maior obstáculo para um maior avanço”, disse o diretor do Centro de Segurança de IA, Dan Hendrycks, em um e-mail para o TechCrunch.

Recentemente, as próprias motivações de Hendrycks foram questionado. Em julho, ele lançou publicamente uma startup, Gray Swan, que cria “ferramentas para ajudar as empresas a avaliar os riscos de seus sistemas de IA”, de acordo com um Comunicado de imprensa. Após as críticas de que a startup de Hendrycks poderia ganhar se o projeto de lei fosse aprovado, potencialmente como um dos auditores que o SB 1047 exige que os desenvolvedores contratem, ele alienou sua participação acionária em Cisne Cinzento.

“Eu me desfiz para enviar um sinal claro”, disse Hendrycks em um e-mail para o TechCrunch. “Se a oposição bilionária de capital de risco à segurança de IA de senso comum quer mostrar que seus motivos são puros, deixe-os seguir o exemplo.”

Depois que várias das emendas sugeridas pela Anthropic foram adicionadas ao SB 1047, o CEO Dario Amodei emitiu uma carta dizendo que os “benefícios do projeto de lei provavelmente superam seus custos”. Não é um endosso, mas é um sinal morno de apoio. Pouco depois disso, Elon Musk sinalizou que era a favor do projeto de lei.

O que os oponentes dizem?

Um coro crescente de participantes do Vale do Silício se opõe ao SB 1047.

A “oposição bilionária de capital de risco” de Hendrycks provavelmente se refere à a16z, a empresa de capital de risco fundada por Marc Andreessen e Ben Horowitz, que se opôs fortemente ao SB 1047. No início de agosto, o diretor jurídico da empresa de capital de risco, Jaikumar Ramaswamy, apresentou uma carta para o senador Wiener, alegando que o projeto de lei “sobrecarregará as startups por causa de seus limites arbitrários e mutáveis”, criando um efeito assustador no ecossistema de IA. À medida que a tecnologia de IA avança, ela ficará mais cara, o que significa que mais startups cruzarão esse limite de US$ 100 milhões e serão cobertas pelo SB 1047; a16z diz que várias de suas startups já recebem tanto por modelos de treinamento.

Fei-Fei Li, frequentemente chamada de madrinha da IA, quebrou o silêncio sobre o SB 1047 no início de agosto, escrevendo em um Coluna da fortuna que o projeto de lei irá “prejudicar o nosso ecossistema de IA em desenvolvimento”. Embora Li seja uma pioneira muito respeitada na pesquisa de IA de Stanford, ela também teria criado um Startup de IA chamada World Labs em abril, avaliada em um bilhão de dólares e apoiada pela a16z.

Ela se junta a acadêmicos influentes de IA, como o colega pesquisador de Stanford Andrew Ng, que chamou o projeto de lei de “um ataque ao código aberto” durante um discurso em um evento da Y Combinator em julho. Modelos de código aberto podem criar riscos adicionais para seus criadores, já que, como qualquer software aberto, eles são mais facilmente modificados e implantados para propósitos arbitrários e potencialmente maliciosos.

O cientista chefe de IA da Meta, Yann LeCun, disse que o SB 1047 prejudicaria os esforços de pesquisa e é baseado em uma “ilusão de 'risco existencial' promovida por um punhado de think-tanks delirantes”, em um postar no X. O Llama LLM da Meta é um dos principais exemplos de um LLM de código aberto.

As startups também não estão felizes com o projeto de lei. Jeremy Nixon, CEO da startup de IA Omniscience e fundador da AGI House SF, um centro para startups de IA em São Francisco, teme que o SB 1047 destrua seu ecossistema. Ele argumenta que os maus atores devem ser punidos por causar danos críticos, não os laboratórios de IA que desenvolvem e distribuem abertamente a tecnologia.

“Há uma profunda confusão no centro do projeto de lei, que os LLMs podem de alguma forma diferir em seus níveis de capacidade perigosa”, disse Nixon. “É mais do que provável, na minha opinião, que todos os modelos tenham capacidades perigosas conforme definido pelo projeto de lei.”

A OpenAI se opôs ao SB 1047 no final de agosto, observando que as medidas de segurança nacional relacionadas a modelos de IA devem ser regulamentadas em nível federal. Eles apoiaram um projeto de lei federal que faria isso.

Mas as Big Techs, nas quais o projeto de lei se concentra diretamente, também estão em pânico com o SB 1047. A Câmara do Progresso — um grupo comercial que representa o Google, a Apple, a Amazon e outras gigantes da Big Tech — emitiu uma carta aberta se opondo ao projeto de lei dizendo que o SB 1047 restringe a liberdade de expressão e “empurra a inovação tecnológica para fora da Califórnia”. No ano passado, o CEO do Google, Sundar Pichai, e outros executivos de tecnologia endossou a ideia de regulamentação federal da IA.

O congressista norte-americano Ro Khanna, que representa o Vale do Silício, divulgou um declaração de oposição ao SB 1047 em agosto. Ele expressou preocupações de que o projeto de lei “seria ineficaz, punindo empreendedores individuais e pequenas empresas, e feriria o espírito de inovação da Califórnia”. Desde então, ele foi acompanhado pela porta-voz Nancy Pelosi e pela Câmara de Comércio dos Estados Unidos, que também disseram que o projeto de lei prejudicaria a inovação.

O Vale do Silício tradicionalmente não gosta quando a Califórnia estabelece uma regulamentação tecnológica ampla como essa. Em 2019, a Big Tech puxou uma carta semelhante quando outro projeto de lei de privacidade estadual, o Consumer Privacy Act da Califórnia, também ameaçou mudar o cenário tecnológico. Vale do Silício fez lobby contra esse projeto de leie meses antes de entrar em vigor, o fundador da Amazon, Jeff Bezos, e outros 50 executivos escreveu uma carta aberta pedindo um projeto de lei federal sobre privacidade em vez de.

O que acontece depois?

O SB 1047 está atualmente na mesa do governador da Califórnia, Gavin Newsom, onde ele decidirá se sancionará o projeto de lei antes do final de agosto. Wiener diz que não falou com Newsom sobre o projeto de lei e não sabe sua posição.

Este projeto de lei não entraria em vigor imediatamente, pois o Conselho de Modelos de Fronteira deve ser formado em 2026. Além disso, se o projeto de lei for aprovado, é muito provável que enfrente desafios legais antes disso, talvez de alguns dos mesmos grupos que estão se manifestando sobre ele agora.

Correção: Esta história originalmente fazia referência a um rascunho anterior da linguagem do SB 1047 sobre quem é responsável por modelos ajustados. Atualmente, o SB 1047 diz que o desenvolvedor de um modelo derivado só é responsável por um modelo se gastar três vezes mais do que o desenvolvedor do modelo original gastou em treinamento.