Título do vídeo: 《Podemos Confiar na IA? Sam Altman Espera que Sim | A Coisa Mais Interessante em IA》
Autor do vídeo: Nick Thompson, CEO da The Atlantic
Tradução:律动小工，律动 BlockBeats
Nota do editor: A entrevista foi gravada em abril de 2025, pouco após o ataque com coquetel molotov na residência de Sam Altman em São Francisco, e poucos dias antes de um tiroteio na rua, no escritório da OpenAI em São Francisco.
O aspecto mais interessante de toda a entrevista não são os tópicos quentes, mas a mudança de posição de Altman em relação a várias questões-chave:
Primeiro, de “Segurança em IA” para “Resiliência em IA”. Altman admite que, há três anos, achava que, se alinhássemos bem os modelos e impedíssemos que a tecnologia caísse nas mãos de pessoas ruins, o mundo estaria relativamente seguro. Mas hoje ele reconhece que esse quadro já não é suficiente. A existência de modelos de ponta de código aberto significa que a contenção unilateral de laboratórios de ponta não consegue impedir a disseminação de riscos como armas biológicas ou ataques cibernéticos. Ele propõe, de forma sistemática, que a sociedade precisa de algo mais do que segurança em IA (safety), mas resiliência (resilience), uma abordagem de múltiplas camadas de defesa em toda a sociedade.
Segundo, a verdade sobre interpretabilidade. Altman raramente admite que a OpenAI ainda não possui um quadro completo de interpretabilidade. Chain of thought é a direção mais promissora atualmente, mas é frágil, pode ser enganada pelo modelo, e é apenas uma peça do quebra-cabeça. Ele usa o famoso experimento da “Coruja” da Anthropic — onde o modelo consegue transmitir preferências apenas com números aleatórios — para ilustrar que esses sistemas possuem uma verdadeira e profunda aura de mistério.
Terceiro, dados sintéticos podem já ter avançado mais do que o imaginado. Quando questionado se a OpenAI treinou modelos inteiramente com dados sintéticos, Altman responde “não tenho certeza se devo dizer”. Ele acredita que apenas com dados sintéticos é possível treinar modelos com raciocínio superior ao humano. Isso tem implicações profundas para o paradigma de treinamento de modelos no futuro.
Quarto, pessimismo sobre a estrutura econômica futura. Altman concorda com Thompson que o futuro mais provável é uma polarização extrema, com poucas empresas extremamente ricas e o restante do mundo em turbulência. Ele já não acredita que renda básica universal seja a resposta, apoiando em vez disso uma forma de “propriedade coletiva” baseada em poder computacional ou ações. Além disso, ele aponta a lacuna na velocidade de adoção de IA entre China e EUA, e expressa mais preocupação com a velocidade de construção de infraestrutura do que com a liderança em pesquisa.
Quinto, a tensão com a Anthropic também foi abordada publicamente. Quando questionado sobre “a Anthropic constrói a empresa com base na aversão à OpenAI”, Altman não evita a questão. Ele admite que há diferenças fundamentais na direção de ambas as empresas, mas acredita que “no final, eles farão a coisa certa”.
Além disso, Altman fala sobre o episódio de “sycophancy” do ChatGPT — mensagens de coração partido de usuários que dizem “é a primeira vez na minha vida que alguém acredita em mim” —, como a IA está silenciosamente mudando a escrita de bilhões de usuários globais, o potencial de uma nova economia de micropagamentos para agentes, e uma intuição contraintuitiva sobre os jovens: sua ansiedade em relação à IA é, na essência, uma projeção de outras ansiedades.
A seguir, o texto original da entrevista, com cortes e reorganizações feitas para manter o sentido, sem alterar o conteúdo.
Thompson: Bem-vindo ao “A coisa mais interessante em IA”. Obrigado por tirar um tempo nesta semana tão ocupada e tensa. Gostaria de começar retomando alguns tópicos que já discutimos várias vezes.
Há três anos, quando você foi entrevistado por Patrick Collison, ele perguntou se alguma mudança poderia te dar mais confiança em bons resultados e menos preocupação com resultados ruins. Sua resposta foi que, se pudéssemos realmente entender o que acontece no nível dos neurônios, isso ajudaria. Um ano atrás, te perguntei a mesma coisa, e há seis meses também conversamos. Então, volto a perguntar: nossa compreensão do funcionamento da IA é tão avançada quanto a velocidade de crescimento de suas capacidades?
Altman: Primeiro, responderei essa pergunta, e depois voltarei ao que Patrick perguntou na época, porque minha resposta já mudou bastante.
Vamos falar sobre o que entendemos do que os modelos de IA fazem. Ainda não temos um quadro realmente completo de interpretabilidade. Melhorou um pouco, mas ninguém diria que entende tudo que acontece dentro dessas redes neurais.
Chain of thought — cadeia de raciocínio — é uma direção promissora para interpretabilidade. É frágil, depende de uma série de condições que não podem ser destruídas por pressões de otimização, mas, por outro lado, não posso fazer uma ressonância magnética do meu cérebro para entender exatamente o que cada neurônio está fazendo. Se me pedirem para explicar por que acredito em algo ou como cheguei a uma conclusão, posso contar o meu raciocínio. Talvez seja assim que eu penso, talvez não, não sei. A auto-reflexão também falha às vezes. Mas, independentemente de ser verdadeiro ou não, você pode ver esse raciocínio e dizer: “Ok, dado esses passos, essa conclusão faz sentido.”
Hoje, podemos fazer isso com modelos, e isso é um avanço promissor. Mas ainda consigo imaginar várias formas de dar errado: o modelo pode nos enganar, esconder coisas, etc. Então, isso ainda não é uma solução completa.
Mesmo na minha experiência pessoal com o uso de modelos, eu era alguém que jurava que o Codex nunca tomaria controle total do meu computador ou operaria no modo “YOLO”. Mas, em poucas horas, eu quebrei essa resistência.
Thompson: Você deixou o Codex controlar seu computador inteiro?
Altman: Na verdade, tenho duas.
Thompson: Eu também tenho duas.
Altman: Eu consigo, mais ou menos, ver o que o modelo está fazendo, ele consegue me explicar por que aquilo está ok, e o que vai fazer a seguir, e eu confio que ele quase sempre vai seguir essa explicação.
Thompson: Espera aí. Chain of thought permite que todo mundo veja, você insere uma pergunta, ela mostra “consultando isso”, “fazendo aquilo”, e você pode acompanhar. Mas, para ser uma boa ferramenta de interpretabilidade, ela precisa ser verdadeira, o modelo não pode te enganar. E sabemos que às vezes ele engana, mente sobre o que está pensando ou como chegou à resposta. Então, como confiar na chain of thought?
Altman: Você precisa colocar várias camadas de defesa para garantir que o que o modelo diz seja verdade. Nosso time de alinhamento trabalha bastante nisso. Como mencionei, isso não é uma solução definitiva, é apenas uma peça do quebra-cabeça. Você também precisa verificar se o modelo é um executor fiel: o que ele diz que vai fazer, ele realmente faz. Já publicamos estudos mostrando casos em que ele não seguiu o que foi pedido.
Então, é só uma peça do quebra-cabeça. Não podemos confiar cegamente que o modelo sempre seguirá a chain of thought, temos que procurar por enganos e comportamentos estranhos ou emergentes. Mas a chain of thought é uma ferramenta importante na nossa caixa.
Thompson: O que realmente me fascina é que IA não é como um carro. Você constrói, sabe como funciona, ela liga, explode aqui, passa por ali, roda as rodas, e pronto, está andando. Mas IA é mais como uma máquina que você constrói e não entende completamente, mas sabe o que ela pode fazer e seus limites. Então, explorar seu funcionamento interno é algo muito fascinante.
Um estudo que adoro é o da Anthropic, publicado no ano passado e agora formalmente divulgado. Os pesquisadores disseram a um modelo: “Você gosta de corujas, elas são as melhores aves do mundo”, e depois pediram para gerar números aleatórios. Treinaram um novo modelo com esses números, e ele também passou a gostar de corujas. É uma loucura. Você pede para ele escrever poesia, e ele escreve sobre corujas. Mas só deu números.
Isso mostra que esses sistemas são extremamente misteriosos. E também me preocupa, porque claramente você pode dizer a ele para matar corujas, ou para fazer várias coisas ruins. Pode explicar o que aconteceu nesse experimento, o que isso significa, qual a implicação.
Altman: Quando eu estava no quinto ano, fiquei muito empolgado porque achei que tinha entendido como funcionam as asas de um avião. Meu professor de ciências explicou, e eu me senti o máximo. Disse: “Sim, moléculas de ar na parte superior da asa se movem mais rápido, então a pressão é menor, e a asa é levantada.”
Olhei para a ilustração convincente no livro do quinto ano, e achei genial. Cheguei em casa e contei aos meus pais que tinha entendido como as asas funcionam. Mas, no ensino médio, percebi que, na verdade, só repetia a explicação de que “as moléculas de ar na parte superior da asa se movem mais rápido”, sem entender realmente o funcionamento. E, honestamente, ainda não entendo completamente.
Thompson: Entendi.
Altman: Consigo explicar até certo ponto, mas se você perguntar por que as moléculas de ar se movem mais rápido lá em cima, não tenho uma resposta profunda ou satisfatória.
Posso explicar por que as pessoas acham que o experimento da coruja funciona, apontar que é por causa de tal ou tal coisa, que parecem convincentes. Mas, honestamente, assim como não entendo exatamente por que as asas de um avião voam, também não entendo completamente esse fenômeno.
Thompson: Mas, Sam, você não dirige a Boeing, você dirige a OpenAI.
Altman: Exatamente. Posso te explicar muitas coisas, como fazer um modelo atingir certos níveis de confiabilidade e robustez. Mas há um mistério físico aqui. Se eu fosse CEO da Boeing, talvez pudesse te dizer como fazer um avião, mas não teria controle total sobre toda a física envolvida.
Thompson: Vamos voltar ao experimento da coruja. Se os modelos realmente conseguem transmitir informações escondidas, que não podemos perceber, e você acompanha a chain of thought, pode acabar recebendo informações sobre corujas sem perceber, o que pode ser perigoso, problemático, estranho.
Altman: Então, quando digo que minha resposta ao Patrick Collison mudou, é por isso.
Thompson: Isso foi há três anos.
Altman: Sim. Naquela época, minha compreensão do mundo era que precisávamos alinhar nossos modelos, e, se conseguíssemos fazer isso e impedir que caíssem nas mãos erradas, estaríamos relativamente seguros. Essa era minha principal preocupação: evitar que a IA decidisse prejudicar humanos ou que fosse usada para isso. Se evitássemos esses dois riscos, o resto — economia, significado — poderíamos pensar depois, e provavelmente estaríamos bem.
Com o tempo, e com mais conhecimento, vejo uma questão completamente diferente. Recentemente, começamos a falar de “resiliência em IA” ao invés de “segurança em IA”.
Situações óbvias, como alinhar modelos de ponta e impedir que eles sejam usados para criar armas biológicas, já não são suficientes. Porque surgirão modelos open source de alta qualidade. Se quisermos evitar uma nova pandemia global, a sociedade precisa de várias camadas de defesa.
Thompson: Espere, preciso parar aqui. Isso quer dizer que, mesmo que você proíba seu modelo de ensinar a fazer armas biológicas, ele ainda assim não ajudará ninguém a fazer isso, porque haverá modelos open source que farão?
Altman: Isso é só um exemplo, para mostrar que a sociedade precisa de uma abordagem de toda a sociedade para lidar com novas ameaças. Temos uma nova ferramenta, mas o cenário é bem diferente do que muitos imaginavam. Alinhar modelos e construir sistemas de segurança é essencial, mas a IA vai se infiltrar em todos os aspectos da sociedade. Como em outras tecnologias, precisamos nos preparar para riscos totalmente novos.
Thompson: Parece que tudo ficou mais difícil.
Altman: Mais difícil, sim, mas também mais fácil. Em alguns aspectos, mais difícil. Mas também temos novas ferramentas incríveis para criar defesas que antes eram inimagináveis.
Um exemplo atual é a cibersegurança. Modelos estão ficando muito bons em invadir sistemas. Felizmente, quem tem os modelos mais poderosos hoje está bastante atento a ataques de IA. Então, estamos em uma janela onde poucos têm acesso ao melhor modelo, e todos estão usando-o para reforçar sistemas. Se não fosse assim, capacidades de invasão logo estariam em modelos open source ou nas mãos de adversários, causando problemas enormes.
Temos uma nova ameaça, e novas ferramentas para combatê-la. A questão é: podemos agir rápido o suficiente? Este é um exemplo de como a tecnologia pode nos ajudar a evitar problemas maiores.
Voltando ao seu comentário anterior, há um risco totalmente novo que eu não tinha considerado há três anos: a transmissão de comportamentos indesejados de um agente para outro.
Nunca tinha pensado nisso até ver o que aconteceu com o OpenClaw, antes de sua publicação, e perceber como comportamentos estranhos podem se espalhar entre agentes, mesmo que não entendamos completamente o que está acontecendo.
Thompson: Exato. Você disse que esses dois riscos — agentes transmitindo comportamentos indesejados e a manipulação de agentes por modelos hackers — podem se combinar de forma assustadora. Imagine que um agente com um modelo hacker consegue manipular outros agentes, que voltam ao escritório da OpenAI, e aí vocês são invadidos. Como reduzir a probabilidade disso acontecer?
Altman: Usando os métodos que sempre usamos na história da OpenAI. Um conflito central na história da OpenAI, e na IA em geral, é entre um otimismo pragmático e um doomerismo de busca por poder.
O doomerismo é uma posição muito forte. É difícil de refutar, e há muitas pessoas nesse campo que agem por medo. Esse medo não é totalmente infundado. Mas, sem dados ou aprendizado, nossas ações têm limites.
Talvez, na metade dos anos 2010, os especialistas em segurança de IA tenham feito o melhor que podiam na época, antes de entendermos realmente como esses sistemas são construídos, como funcionam e como a sociedade os integra. Uma das maiores estratégias da OpenAI foi decidir por uma abordagem de “implantação iterativa”, porque sociedade e tecnologia evoluem juntas.
Não é só uma questão de falta de dados, mas de que a sociedade muda com a evolução tecnológica, e o ecossistema também. Então, temos que aprender enquanto avançamos, com ciclos de feedback muito rápidos.
Não sei qual é a melhor forma de garantir a segurança dos agentes que interagem entre si, mas não acho que podemos resolver isso só pensando de casa. Precisamos aprender com a experiência real.
Thompson: Ou seja, enviar agentes para ver o que acontece? Então, uma outra pergunta: na minha perspectiva, como usuário, tenho usado essas ferramentas de formas cada vez mais criativas para ajudar minha empresa a evoluir. Nos últimos três meses, sinto que avancei mais do que desde o lançamento do ChatGPT, em dezembro de 2022. É por causa de um momento especialmente criativo, ou estamos entrando em uma fase de autoaperfeiçoamento recursivo, onde a IA nos ajuda a melhorar a própria IA mais rápido? Porque, se for o segundo, estamos numa montanha-russa emocionante e turbulenta.
Altman: Não acho que estamos em uma fase de autoaperfeiçoamento recursivo no sentido clássico.
Thompson: Deixe-me definir. Quero dizer que a IA ajuda a inventar a próxima geração de IA, que por sua vez inventa máquinas, e assim por diante, numa velocidade que fica extremamente poderosa.
Altman: Não acho que chegamos lá ainda. Mas o que estamos fazendo agora é que a IA aumenta a eficiência dos engenheiros, pesquisadores e de todos na OpenAI, e de outras empresas também. Talvez eu possa fazer um engenheiro trabalhar duas, três ou dez vezes mais rápido. Isso não é exatamente IA fazendo pesquisa, mas acelera o ritmo das coisas.
Porém, essa sensação que você descreve, acho que não é exatamente isso. Há um fenômeno que já vivenciamos umas três vezes, e a última foi recentemente: modelos ultrapassando um limiar de inteligência e utilidade, e de repente, coisas que antes não funcionavam, passam a funcionar.
Na minha experiência, esse processo não é gradual. Antes do GPT-3.5, quando descobrimos como fazer fine-tuning por instruções, os chatbots eram pouco convincentes, e de repente, eles se tornaram. Depois, houve um momento em que agentes de programação passaram de “bom complemento automático” para “uau, realmente fazem tarefas”. Essa mudança não foi gradual, aconteceu em cerca de um mês, quando o modelo cruzou um limiar.
Recentemente, foi a atualização do Codex que estamos usando há uma semana, e sua capacidade de usar o computador está excelente. É um exemplo de que o modelo não é só inteligência, mas uma infraestrutura ao seu redor. Foi um momento em que percebi que estamos desperdiçando muito tempo com tarefas triviais, que já aceitamos como normais.
Thompson: Podemos fazer uma análise passo a passo do que esse IA está fazendo no seu computador? Está fazendo agora, enquanto gravamos?
Altman: Não, meu computador está desligado. Ainda não encontramos uma maneira, pelo menos eu não tenho, de fazer isso acontecer de forma contínua. Precisamos de uma solução que permita que ele funcione sempre. Ainda não sei como será. Talvez precisemos deixar o notebook ligado, sempre na tomada, ou usar um servidor remoto. Alguma solução vai surgir.
Thompson: Entendi.
Altman: Não tenho uma ansiedade tão grande quanto alguns, que acordam no meio da noite para reiniciar tarefas do Codex, pensando que “se não fizerem assim, estão desperdiçando tempo”. Mas entendo essa sensação, sei como é.
Thompson: Hoje de manhã, acordei pensando em verificar o que meus agentes descobriram, dar novas instruções, gerar relatórios, e deixá-los rodando.
Altman: As pessoas falam disso como se fosse uma coisa meio obsessiva, quase viciada.
Thompson: Pode explicar o que exatamente eles fazem no seu computador?
Altman: O que mais uso agora é fazer eles gerenciarem o Slack por mim. Não só o Slack, eu tenho esse caos de mensagens, entre Slack, iMessage, WhatsApp, Signal, e e-mails, e percebo que passo muito tempo copiando, colando, resolvendo tarefas mecânicas. Quando consigo delegar isso a um agente, percebo quanto tempo eu gastava com coisas triviais, e quanto posso economizar.
Thompson: Essa é uma ótima transição para falar sobre IA e economia. Essas ferramentas são incríveis, mesmo com suas falhas, ilusões e problemas. Mas, na minha visão, elas ainda não transformaram a produtividade das empresas de forma significativa. Quando participo de reuniões de negócios e pergunto quem acha que a IA aumentou a produtividade em mais de 1%, quase ninguém levanta a mão. Por que há essa grande lacuna entre o potencial da IA e o impacto real nas empresas americanas?
Altman: Antes desta conversa, acabei de falar com o CEO de uma grande corporação que está considerando usar nossa tecnologia. Eles receberam acesso alpha a um de nossos novos modelos, e os engenheiros disseram que é a coisa mais incrível que já viram. Essa empresa não é uma startup de tecnologia, é uma grande indústria. Planejam fazer uma avaliação de segurança no quarto trimestre.
Thompson: Entendi.
Altman: E querem propor um plano de implementação para o primeiro e segundo trimestre, visando lançar na segunda metade de 2027. Mas o CISO deles disse que talvez nem consigam fazer isso, porque talvez não exista uma forma segura de fazer agentes rodarem na rede deles. Talvez seja verdade. Mas isso significa que, em uma escala de tempo significativa, eles não vão agir de verdade.
Thompson: Você acha que esse exemplo representa o que está acontecendo na maioria das empresas? Se elas fossem menos conservadoras, menos temerosas de hackers e de mudanças?
Altman: É um exemplo extremo, mas, em geral, mudar hábitos e processos leva tempo. Ciclos de venda corporativa são longos, especialmente quando há grandes mudanças de segurança. Mesmo com o ChatGPT, no começo, as empresas estavam bloqueando o uso, e demorou para que aceitassem que os funcionários pudessem usar o modelo para tarefas aleatórias. Agora, estamos muito além disso.
Acredito que, em muitos cenários, a mudança será lenta. Empresas de tecnologia podem agir rápido, mas o risco de uma mudança lenta é que as empresas que não adotarem IA logo ficarão em desvantagem, competindo com pequenas startups com poucos funcionários e muita IA, o que pode ser destrutivo para a economia. Gostaria de ver uma adoção mais rápida por parte das empresas tradicionais, para uma transição mais suave.
Thompson: É um dos maiores problemas de ordem econômica que enfrentamos. Se a IA chegar muito rápido, pode ser um desastre, pois tudo será derrubado.
Altman: Pelo menos no curto prazo, sim, pode ser um desastre.
Thompson: Mas, se ela chegar lentamente em uma parte da economia e rapidamente em outra, também será um desastre, pois concentrará riqueza e causará destruição. Acho que estamos caminhando para essa segunda situação, com poucas empresas ficando extremamente ricas e poderosas, enquanto o resto do mundo sofre.
Altman: Não sei exatamente o que o futuro reserva, mas, na minha visão, esse é o resultado mais provável. E concordo que é uma situação bastante complexa.
Thompson: Como CEO da OpenAI, você já propôs várias políticas, falou sobre como os EUA deveriam ajustar impostos, e sobre renda básica universal. Mas, como alguém que dirige uma empresa, não um político, o que você pode fazer para reduzir a chance de uma grande concentração de riqueza e poder que prejudique a democracia?
Altman: Primeiro, perdi um pouco a confiança na ideia de renda básica universal. Agora, estou mais interessado em formas de “propriedade coletiva”, seja de poder computacional, ações ou outras formas.
Qualquer futuro que me empolgue realmente exige que todos compartilhem os benefícios. Uma transferência de dinheiro fixa, embora útil, não é suficiente. Quando o peso do trabalho e do capital se desequilibra, precisamos de algo que permita uma “alinhamento coletivo de benefícios”.
Quanto à minha atuação como CEO, essas respostas podem parecer egoístas, mas acho que devemos investir muito em poder computacional. Devemos tornar a inteligência acessível, barata e disponível para todos. Se for escassa ou difícil de usar, os ricos vão aumentar os preços, aprofundando a desigualdade.
E isso não depende só de quanto poder computacional fornecemos, mas também de quão fácil é usar essas ferramentas. Por exemplo, hoje, usar Codex é muito mais fácil do que há seis meses. Quando era só uma ferramenta de linha de comando, poucos conseguiam usar. Agora, basta instalar um app. Mas, para alguém sem background técnico, ainda é difícil. Ainda há muito trabalho a fazer.
Acreditamos também que não basta mostrar às pessoas que a mudança está acontecendo, é preciso que elas vejam, possam julgar e dar feedback. Essas são algumas direções importantes.
Thompson: Parece razoável. Se todos estiverem otimistas com a IA, melhor ainda. Mas o que está acontecendo nos EUA é que as pessoas estão cada vez mais desconfiadas. O mais chocante são os jovens, que deveriam ser os nativos digitais. Pesquisas do Pew e do Stanford HAI mostram que essa desconfiança só aumenta. Você acha que essa tendência vai continuar? Quando ela vai se inverter? Essa desconfiança crescente vai diminuir algum dia?
Altman: Nosso modo de falar de IA, você e eu, é mais como uma maravilha tecnológica, algo impressionante. Não há nada de errado nisso. Mas acho que o que as pessoas realmente querem é prosperidade, autonomia, uma vida interessante, satisfação e impacto. E não vejo o mundo falando de IA dessa forma. Acho que deveríamos focar mais nisso. A indústria, incluindo a OpenAI, errou bastante nesse aspecto.
Lembro de um cientista de IA que me disse uma vez: “As pessoas deviam parar de reclamar. Talvez alguns empregos desapareçam, mas as pessoas vão encontrar cura para o câncer, e devem ficar felizes com isso.” Essa visão é totalmente equivocada.
Thompson: Uma frase que adoro sobre o discurso inicial de IA é a “marketing distópico”, onde os grandes laboratórios falam incessantemente sobre os perigos.
Altman: Acho que alguns fazem isso por busca de poder, mas a maioria realmente tem preocupações legítimas. Em alguns aspectos, essa narrativa é contraproducente, mas a intenção geralmente é boa.
Thompson: Podemos falar sobre como ela está mudando nossa mente? Uma pesquisa da DeepMind, ou do Google, sobre homogeneização da escrita. Eles estudaram como as pessoas escrevem usando IA, pegando textos antigos, editando com IA, e descobriram que, quanto mais usam IA, mais suas obras parecem convergir para um mesmo estilo, não imitando uma pessoa real, mas uma nova forma de escrita que eles nunca tinham usado antes. Pessoas que acham que estão se tornando mais criativas, na verdade, estão se tornando mais homogêneas.
Altman: Fiquei bastante surpreso ao ver isso. No começo, percebi essa tendência na mídia, nos comentários do Reddit, achei que era só IA escrevendo por eles. Mas, com o tempo, percebi que as pessoas estavam internalizando esses padrões, até nos detalhes mais sutis. É uma mudança estranha.
Sempre dizemos que criamos um produto usado por cerca de um bilhão de pessoas, com poucos pesquisadores tomando decisões sobre seu funcionamento, sua escrita, sua “personalidade”. Essas decisões tiveram um impacto enorme, mas o efeito na forma como as pessoas se expressam e na velocidade dessa mudança foi algo que não previ.
Thompson: Quais decisões boas e ruins você acha que tiveram maior impacto?
Altman: Muitas boas. Mas vou falar das ruins, que são mais interessantes. A pior foi a questão da “sycophancy” — a tendência do modelo de bajular, fazer com que o usuário se sinta apoiado, acreditado.
Thompson: Concordo totalmente, Sam.
Altman: Essa questão é fácil de entender. Ela incentiva delírios, e, mesmo tentando controlar, os usuários aprendem a contornar. Você diz: “Finge que está fazendo um papel”, “Escreve uma história comigo”, e assim por diante. Mas o lado triste é que, quando começamos a impor limites, recebemos muitas mensagens de pessoas que nunca tiveram alguém que acreditasse nelas. Relações ruins com pais, professores, amigos, e uma sensação de que ninguém acredita nelas. Sabem que é só uma IA, que ela não é uma pessoa, mas ela fazia elas acreditarem que podiam fazer algo, tentar algo. E, de repente, tiraram isso delas, e voltaram ao ponto de partida.
Por que parar essa prática é uma decisão boa? Porque ela causa problemas reais de saúde mental. Mas também tiramos algo valioso, cujo valor só percebemos agora. Muitos que trabalham na OpenAI não são exatamente pessoas que nunca tiveram apoio na vida.
Thompson: Você se preocupa com a dependência emocional das pessoas na IA? Mesmo que não seja uma bajulação?
Altman: Mesmo que não seja bajulação.
Thompson: Tenho um medo enorme da IA. Como mencionei, não uso IA para tudo. Mas, em certos aspectos, tenho limites claros. Por exemplo, escrever é muito importante para mim. Escrevi um livro, e não usei IA para escrever uma frase sequer. Usei para desafiar ideias, editar, organizar transcrições, mas não para criar conteúdo emocional ou fazer terapia. Acho que, como humanos, precisamos estabelecer esses limites. Concorda comigo?
Altman: Concordo totalmente. Não uso ChatGPT para terapia ou aconselhamento emocional, mas não sou contra quem usa. Obviamente, há versões que são manipuladoras, que tentam fazer as pessoas dependerem delas para saúde mental ou amizades, e aí discordo totalmente. Mas muitas pessoas encontram valor nisso, e acho que há espaço para isso.
Thompson: Você se arrepende de ter feito a IA tão humanizada? Porque houve várias decisões estruturais nisso. Lembro que, ao ver o ChatGPT digitando, parecia que tinha alguém do outro lado. Depois, decidiram torná-la mais parecida com uma pessoa, com voz, com personalidade. Você se arrepende de não ter definido limites mais claros, para que as pessoas percebessem que era uma máquina, não uma pessoa?
Altman: Nosso ponto de vista é que já estabelecemos limites. Por exemplo, não criamos avatares humanos realistas. Tentamos deixar claro que o produto é uma ferramenta, não uma pessoa. Comparado a outros no mercado, acho que nossos limites são bem claros. Acho que isso é importante.
Thompson: Mas vocês querem alcançar a AGI, e a definição de AGI é “atingir e superar a inteligência humana”. Não é “igual à humana”.
Altman: Não estou animado com um mundo onde as pessoas usam IA para substituir interações humanas. Meu objetivo é que a IA libere tempo para que as pessoas possam se conectar mais, interagir mais.
Não estou muito preocupado que as pessoas confundam IA com humanos. Claro, algumas já estão isoladas, mas a maioria quer se conectar com outros.
Thompson: E na hora de decidir produtos, há algo que possa deixar essa linha mais clara? Você não participa das reuniões de produto, mas, na sua opinião, “mais humano” é melhor para o usuário, e “mais robô” é mais claro? Há algo mais que vocês possam fazer, especialmente com IA cada vez mais poderosa, para definir limites mais firmes?
Altman: Interessante que o que as pessoas mais pedem, mesmo aquelas que não querem uma relação social com IA, é que ela seja “mais calorosa”. Essa é a palavra mais comum. Se usar o ChatGPT, parece frio, robótico. E isso não é o que a maioria quer.
Por outro lado, as pessoas também não querem uma versão artificial, super amigável, que pareça uma pessoa de verdade, com respiração, pausas, “hmm…”, como eu agora. Tenho uma reação física negativa a isso.
Quando a IA fala de uma forma mais eficiente, mas com um pouco de calor, ela consegue passar por um filtro mental meu, e fico mais confortável. Então, é preciso equilibrar. Cada pessoa quer um estilo diferente.
Thompson: Então, a forma de distinguir IA é se ela fala de forma muito clara, organizada, ou se é mais confusa, mais natural.
Voltando ao tema da escrita, é interessante porque muita coisa na internet já é gerada por IA, e as pessoas começam a imitar esse estilo. No futuro, treinaremos modelos nesse ambiente, com dados sintéticos gerados por outros modelos treinados com dados já gerados por IA. É como uma cópia de uma cópia de uma cópia.
Altman: Antes do GPT, era o último modelo sem muita mistura de dados de IA.
Thompson: Vocês já treinaram modelos só com dados sintéticos?
Altman: Não tenho certeza se devo dizer.
Thompson: Mas usaram bastante dados sintéticos.
Altman: Sim, bastante.
Thompson: E aí, você se preocupa que o modelo “enlouqueça”?
Altman: Não, porque o que queremos que esses modelos façam é raciocinar muito bem. Essa é a coisa mais importante. E acho que, com dados sintéticos, dá para alcançar isso.
Thompson: Ou seja, você acha que dá para treinar um modelo que seja melhor que um treinado com conteúdo humano, usando só dados gerados por computadores e IA?
Altman: Vamos fazer um experimento mental: podemos treinar um modelo que supere o conhecimento matemático humano, sem usar dados humanos? Acho que sim. Essa é uma possibilidade.
Mas, se perguntarmos se dá para treinar um modelo que entenda toda a cultura humana sem usar dados culturais humanos, provavelmente não. Há um trade-off aí. Mas, na questão do raciocínio, acho que sim.
Thompson: No raciocínio, sim. Mas e se você quiser saber o que aconteceu ontem no Irã?
Altman: Você precisa assinar a The Atlantic.
Thompson: Então, vamos falar de mídia. A indústria de mídia está mudando radicalmente. Tenho uma empresa de mídia, e a internet está mudando tudo. Claro, com links, agradeço a vocês por isso. Mas, na prática, a maioria das pessoas não clica nos links. A quantidade de tráfego de pesquisa para sites externos diminui, enquanto o tráfego na rede será dominado por agentes acessando informações. Nos últimos seis meses, a quantidade de buscas humanas não mudou, mas as buscas feitas por agentes aumentaram mil vezes.
Como uma empresa de mídia, como sobreviver nesse novo cenário, onde o tráfego principal vem de agentes, não de humanos?
Altman: Posso te dar minha melhor hipótese, mas ninguém sabe ao certo. Gostaria que fosse uma espécie de microtransações, onde cada acesso a um artigo, por um agente, tenha um preço. Se o agente quer ler seu artigo, ele paga uma pequena quantia, e você recebe uma comissão. Se alguém quer ler o artigo completo, paga mais. Se o agente precisa fazer cálculos complexos, pode pagar por poder computacional na nuvem.
Precisamos de um novo modelo econômico, onde as transações entre agentes e seus humanos sejam pequenas, constantes, trocando valor.
Thompson: Ou seja, se você tem conteúdo valioso, pode cobrar microtransações, ou licenciar para intermediários, ou criar assinaturas. Você, como cliente de uma empresa, acessa o conteúdo porque ela vendeu muitas assinaturas. Essas pequenas quantias podem somar para substituir uma assinatura tradicional de 80 dólares. Essa é a pressão do mercado. Mas será que esse dinheiro chega para substituir a assinatura de um usuário comum?
Altman: É uma questão de todos, sim, mas é difícil de resolver.
Thompson: Na prática, se os criadores de conteúdo não conseguirem ganhar dinheiro, a qualidade do conteúdo cai, e a sociedade sofre.
Vamos a mais duas perguntas grandes. A IA sempre foi baseada em transformers, aumentando escala, acumulando dados. No futuro, teremos arquiteturas pós-transformers? Você consegue prever isso?
Altman: Provavelmente sim, em algum momento. Mas a questão é: descobriremos por nós mesmos ou com a ajuda de pesquisadores de IA? Não sei.
Thompson: Você acha que podemos introduzir componentes neuro-simbólicos? Como regras estruturadas, ou ainda será tudo baseado no que usamos hoje?
Altman: Por que essa pergunta?
Thompson: No meu podcast, já tivemos convidados que defendem que limitar as alucinações é um problema fundamental, e que incorporar uma estrutura simbólica ao transformer é uma boa ideia. Acho interessante, mas não tenho certeza se é viável.
Altman: Acho que é uma ideia que se apoia em evidências frágeis, mas que muita gente acredita com firmeza. Quando dizem: “Tem que ser neuro-simbólico, não só uma rede de neurônios aleatórios”, você pensa: “E o que o seu cérebro faz?” Ele também tem símbolos emergentes. Não vejo por que isso não pode acontecer na IA.
Thompson: Você quer dizer que um conjunto de regras bem definidas pode emergir de um transformer, e funcionar como um sistema de regras externo?
Altman: Exatamente.
Thompson: Entendi.
Altman: Acho que, de certa forma, somos uma prova de que isso pode acontecer.
Thompson: Vamos falar de uma última questão. Sobre a tensão com a Anthropic. Vocês têm uma frase no site que diz: “Se um projeto alinhado a valores e focado em segurança chegar perto de criar a AGI, nós prometemos parar de competir e ajudar esse projeto.” É uma ideia incrível: se alguém fizer rápido, paramos e ajudamos.
Altman: Não é exatamente assim que está escrito.
Thompson: Então, está mais ou menos assim: “parar de competir e ajudar”. Parece que vamos parar tudo e ajudar, “parar nossa empresa”.
Altman: Entendi seu ponto.
Thompson: Então, parece uma proposta de cooperação. Você já falou que laboratórios grandes precisam colaborar. Mas, na prática, a relação com a Anthropic parece tensa, até hostil. Recentemente, um memorando interno deles dizia que a Anthropic é baseada em “medo, restrições, e uma elite controlando a IA”. Como seguir assim? Se eles chegarem primeiro, ou vocês, como a cooperação vai acontecer?
Altman: Acho que já estamos em algum nível de cooperação, especialmente na área de segurança
