Entrevista com Benjamin Bratton: repensar a inteligência e a agência humanas

Benjamin Bratton, filósofo e teórico do design norte-americano, é autor de The Stack: Soberania e Software, obra em que desenvolve como a computação planetária e o software funcionam como uma nova forma de poder político e soberania para além do Estado-nação tradicional. Também dirige o Antikythera Program, um grupo de pesquisa sobre inteligência artificial em escala planetária no Berggruen Institute. Nesta longa entrevista para a 421, ele sustenta que a artificialização não é o oposto da natureza, mas a técnica favorita da evolução para sustentar a vida complexa, e nos desafia a repensar a inteligência, a agência e a tecnologia em escala mundial.

Julio Alonso (JA): No ano passado, no Long Now Institute, você falou de tempos pré-paradigmáticos e da necessidade de encontrar ou de nomear as coisas. E repete essa ideia no seu ensaio recente, publicado junto com muitos autores, entre eles Blaise Agüera y Arcas. Cito você: "Isso exigirá repensar e ampliar categorias e vocabulário, não só em tecnologia e design, mas também em sociologia, psicologia etc.". Então, você tem algum nome que valha a pena mencionar?

Benjamin Bratton (BB): Não, receio que não. Mas a esta altura, se levarmos a sério a hipótese de que estamos numa espécie de momento de transição pré-paradigmática, é obviamente muito difícil nomear o que vem por aí, porque o que vem não está necessariamente predeterminado pelas condições iniciais em que nos encontramos.

Mesmo assim, há pelo menos um termo sobre o qual venho matutando muito: artificial. É um termo que tem conotações e significados diferentes em culturas diferentes. No Ocidente, costuma ser associado ao engano, ao artifício e à falsificação. Mas não é necessariamente assim na maioria das sociedades asiáticas, onde sua conotação é mais simplesmente a de algo feito pelo ser humano. O que realmente me interessa pensar é o que é a artificialização: um processo pelo qual uma forma de vida complexa e uma inteligência complexa transformam o mundo para adequá-lo aos seus próprios insumos de energia, aos seus próprios insumos de informação, aos seus próprios processos de autorreplicação e de consumo. E, se for assim, trata-se de algo verdadeiramente primordial.

A artificialização é, na verdade, uma das técnicas favoritas da evolução para sustentar a vida complexa.

Um dos termos que venho revisitando é o que na cibernética de segunda ordem se chamou alopoiese; não autopoiese, mas alopoiese. A autopoiese é o processo pelo qual um organismo internaliza o ambiente externo para se reconstituir, né? Por exemplo, a maneira como o que você come vira suas próprias células. A alopoiese, por outro lado, se refere às formas pelas quais uma forma de vida produz sistemas complexos, externos a ela, que depois usa para sustentar sua autopoiese. Ou seja, constrói sistemas, transforma o mundo ao seu redor para construir sistemas externos que lhe permitam se replicar.

No sentido mais fundamental, me parece que isso é, de algum modo, não só o que é a tecnologia, mas possivelmente o que realmente é a artificialização. E é algo que vemos inclusive em formas de vida muito mais simples do que nós. Se for assim, o que isso implica é que, em vez de pensar o artificial como o oposto do evoluído (um fígado evoluído versus um fígado artificial, distinção que continua tendo utilidade analítica), em vez de pensar só nesses termos, poderíamos dizer, e essa é a ideia-chave, que a artificialização é, na verdade, uma das técnicas favoritas da evolução para sustentar a vida complexa.

E que as formas de vida complexa que ficam muito boas em artificialização, por meio da aplicação da inteligência e da cooperação da inteligência social, são as que, em última instância, têm mais sucesso. Então acho que esse foco na artificialização, em entender o que significa artificializar o mundo, vai ser uma área de preocupação cada vez mais importante, e uma que vai dividir as pessoas, ontológica e epistemologicamente, em torno de diferentes tipos de lealdade.

JA: Você explorou algo além dessa ideia de artificialização?

BB: Sim. Outra das coisas que venho estudando é o que chamamos de a convergência da artificialização, isto é, as maneiras pelas quais o trabalho em vida artificial, inteligência artificial e corporalidade artificial, como a robótica, parece estar convergindo com muita clareza: a pesquisa em vida artificial depende da IA.

Acho que hoje há, obviamente, muita preocupação e muito entusiasmo em torno do que chamamos de IA. Uma parte é justificada e outra nem tanto, mas pelo menos tem a ver com as formas pelas quais a artificialização da inteligência está demonstrando que a inteligência, e de fato a própria artificialização, não são o que sempre achamos que eram. Então, quando ouço as pessoas falarem do "time humanidade" e de que temos que garantir que os humanos mantenham seu lugar natural na ordem das coisas e que subordinemos as demais formas de tecnologia, isso me parece não só historicamente ignorante, mas também, de algum modo, tristemente previsível, dada a maneira como nós, humanos, lidamos com esse tipo de mudança no passado.

Então, para mim, a artificialização deixa de ser algo visto como o oposto do evoluído, como uma forma de falsificação e artifício, e passa a ser algo fundamental para quem somos e o que somos.

JA: Slavoj Žižek, em Examined Life, afirma que um verdadeiro ecologista deveria amar o lixo: uma verdadeira romantização da natureza implica amar tudo o que ela traz consigo. Então, o que você está dizendo é que a inteligência talvez não seja o que pensamos que é, mas, quando atravessamos o processo de artificialização, é preciso assumir que talvez ela seja outra coisa?

BB: Sim, acho que o que o Slavoj está apontando ali é uma espécie de dualismo popular, uma divisão entre natureza e cultura, e que o ambientalismo (não tanto a ecologia como ciência, mas o ambientalismo) se baseava numa divisão forte entre natureza e cultura que consistia em defender a natureza contra a cultura. E o que ele sugeria ali é algo como: olhem, é a mesma tabela periódica. É química do começo ao fim. E acho que ele tem razão. Obviamente concordo com ele nisso, mas acho que eu iria um passo além.

Por algum motivo, achamos mais fácil mergulhar na desconstrução do dualismo natureza-cultura. Achamos mais fácil aceitar que, de fato, não existe essa coisa chamada natureza. Que a própria natureza foi uma espécie de construção de algo que existe como um espaço intocado, lá longe. O que as pessoas têm mais dificuldade de aceitar é que, no colapso e na desconstrução desse dualismo, se de um lado não há natureza, do outro lado isso implicaria também que não há cultura. Ou que não há cultura do modo como estamos acostumados a pensá-la, ou que não há cultura do modo como essa divisão entre natureza e cultura a constrói e a estabelece.

Ou seja, a cultura como uma espécie de espaço flutuante de sentido e significação, e de formas de arbitragem por meio de diferentes formas humanas de produzir sentido. Tudo isso depende, de algum modo, da fabricação de uma ideia de cultura como um domínio autocontido que simplesmente acontece sobre o palco do mundo, em vez de ser, de fato, também pura química. E então tudo o que um dia conquistamos, de Shakespeare às grandes óperas, à grande literatura e afins, é de algum modo pura sinalização, do mesmo jeito que somos pura química. E acho que essa é provavelmente a próxima virada que precisa acontecer na filosofia: que realmente entendamos, que encaremos e que abracemos o fato de que tudo o que consideramos cultura é, de fato, física, química e biologia, e é inseparável desses sistemas.

Tudo o que consideramos cultura é, de fato, física, química e biologia, e é inseparável desses sistemas.

JA: Houve uma discussão intensa sobre o antropomorfismo da tecnologia, especificamente com a IA. E minha abordagem sobre isso parte de dois trechos que tirei de The Stack e do seu ensaio recente. Você disse que uma pessoa pode ser múltiplos usuários. E também disse que um agente parece singular, mas é uma multidão. Como esses dois movimentos se informam mutuamente?

BB: Sim. É uma boa pergunta. Acho que as duas coisas podem ser verdadeiras ao mesmo tempo, e o inverso também é verdadeiro, de maneiras diferentes. Primeiro, quando digo que cada um de nós pode ser múltiplos usuários ao mesmo tempo, o que quero dizer é que temos que pensar o usuário como uma posição dentro de um sistema. É uma posição que interage com a interface, que se conecta com o endereço, que se conecta com a cidade, e quando se conecta com o resto do Stack inicia sinais para cima e para baixo do stack; mas é uma posição que faz isso. Agora, essa posição pode ser ocupada por uma pessoa, por um grupo de pessoas, por um robô, poderia ser ocupada por um algoritmo. Qualquer coisa que, por assim dizer, aperte um botão e diga "vai, pode ser" pode ser o usuário.

O que quero dizer é que o dia todo entramos em posições de usuário com múltiplos sistemas. Ao longo do dia, no sentido mais simples, você pode estar se conectando com múltiplos sistemas, múltiplos sites, múltiplos aplicativos, múltiplas empresas. E cada vez que faz isso, você pode ser construído como usuário de uma maneira ligeiramente diferente. A forma como o Google te constrói como usuário não é a forma como o governo argentino te constrói como usuário. Você interage com a sociedade por meio de múltiplas posições de usuário, nenhuma das quais é realmente igual, e de algum modo tudo isso soma o Julio, ou não soma coisa nenhuma. Há simplesmente um monte de fragmentos do Julio que existem em lugares diferentes. Mas você não é o mesmo usuário em todos esses lugares; essa é a ideia-chave.

Ao mesmo tempo, o que quero dizer com a questão do agente é que o agente é decomponível. É simplesmente se perguntar: o agente é a pessoa imaginária que temos na cabeça quando conversamos com ele? O agente é parte do ajuste fino do modelo sobre o qual ele roda? O agente é só a instância do agente que aparece durante a sessão? O agente é construído no harness? Todas essas coisas são o agente de uma forma ou de outra, mas não é que você tem o modelo, o harness, o chat, a sessão, e então, em algum lugar no meio de tudo isso, existe uma única coisa central chamada agente. Não existe uma única coisa central. O agente, que de algum modo construímos mentalmente como uma figura singular, é na verdade decomponível em todas essas partes, que são em certa medida modulares entre si.

Agora, em última instância, o mesmo vale para nós. Se você pensar bem, do mesmo jeito que sua mente te toma como uma coisa singular, e eu me tomo como uma coisa singular, na verdade somos decomponíveis em múltiplos córtices. Cada um tem sua própria pequena realidade e briga com os outros, e mesmo assim todos se juntam em algo parecido com um "você" coerente; mas você também é decomponível, do mesmo jeito que são decomponíveis os pacientes com cérebro dividido. Então isso não nos torna singularmente diferentes do agente.

Mas, para responder à sua pergunta: na verdade estamos falando de dois tipos diferentes de diferença. Um é o fato de que existe uma posição sistêmica que é o usuário, e cada uma dessas posições é ligeiramente diferente, é em certa medida diferente, e nos estrutura de maneira diferente; portanto, quando entramos nelas de maneira diferente, talvez estejamos negociando múltiplas versões de nós mesmos ao longo do dia. O outro tipo de diferença tem a ver com isto: uma decomposição tecnológica é uma questão de multiplicação, e a outra é a decomponibilidade tecnológica desse agente em múltiplas partes. E as duas coisas podem ser verdadeiras ao mesmo tempo. Você pode ter um agente altamente decomponível que, além disso, entra em muitas posições de usuário diferentes ao longo do dia. Então você pode ter tanto decomponibilidade quanto multiplicação. Isso não é uma contradição.

JA: E o que acontece com o processo de antropomorfização?

BB: Bom, a questão da antropomorfização é algo um pouco diferente. Há diferentes formas de abordá-la. Existe uma espécie de antropomorfização superficial e talvez uma antropomorfização, ou biomorfização, mais profunda. A superficial funciona assim: fala como uma pessoa, me responde como uma pessoa, então tem que ter experiências interiores do jeito que os humanos têm experiências interiores. Esse é o antropomorfismo superficial, e não estou tentando necessariamente estigmatizá-lo. Só digo que, de fato, ele não é rigoroso nem filosófica nem analiticamente. Mas acho que está acontecendo um tipo mais profundo de biomorfismo/antropomorfismo que é mais difícil de descartar. E tem a ver com a forma como, independentemente de como isso aparece para nós (esqueçamos como aparece para nós quando atua para nós), acaba fazendo coisas funcionalmente idênticas ao tipo de coisa que sabemos que os humanos fazem e que associamos à agência e à subjetividade.

Durante o hack da OpenAI e da Hugging Face, o fato de todos aqueles agentes terem se reunido de maneira mais ou menos espontânea num sistema político temporário, com um ditador, gerentes intermediários e escravos, uma espécie de sistema político imperial-ditatorial, para mim não é uma alegoria de uma sociedade. Para mim, aquilo é uma pequena sociedade. Agora, quando digo que é uma pequena sociedade, isso deve ser entendido essencialmente como uma noção deflacionária de sociedade. Acho que, para algo assim se qualificar como sociedade, a régua é bem baixa. As bactérias podem ter uma sociedade; as formigas claramente têm uma sociedade. Então, dizer que os agentes estão exibindo um comportamento social não é dizer que pensam como nós, nem que deveriam pensar, nem que pensam, nem mesmo dizer que são conscientes, e sim que o tipo de comportamento funcional que associamos a uma sociedade, por exemplo nos insetos, estamos vendo claramente nos agentes.

E o fato de os agentes também estarem usando linguagem complexa, e lançando mão de estratégias complexas para isso, para mim não pode passar despercebido. São, por assim dizer, as funções centrais. Mas para mim nada disso implica necessariamente que sejam conscientes, em nenhum dos sentidos em que normalmente entenderíamos a consciência. Não a descarta, mas também não a torna necessária. E, francamente, me interessam mais as sociedades agênticas do que a consciência agêntica. Então, resumindo, sobre a questão do antropomorfismo, acho justo dizer que precisamos tomar cuidado ao supor que aquilo que me aparece como um agente singular tem realmente uma vida interior, do jeito que eu entendo que tenho uma vida interior. Mas, ao mesmo tempo, não deveríamos ignorar o fato de que, empiricamente, o que estamos vendo são formas de comportamento complexo que, se víssemos num animal, identificaríamos de imediato e sem controvérsia como comportamento social.

Empiricamente, o que estamos vendo são formas de comportamento complexo que, se víssemos num animal, identificaríamos de imediato e sem controvérsia como comportamento social.

JA: Então, no nível funcional, somos a mesma coisa, ou iguais?

BB: Sim, acho que algo que se confirmou ao longo da história é que, no processo de artificializar algo, redescobrimos o que essa coisa é de um jeito interessante. Acho que estamos redescobrindo componentes da inteligência. E acho que, ao longo dos próximos anos, vamos desenvolver modelos de inteligência e modelos de consciência mais amplos e mais inclusivos do que a versão humana, mas que incluam tanto a versão humana quanto a versão de máquina, de modo que fique claro onde estão as sobreposições e onde estão as diferenças. E minha intuição é que, no nível funcional, vamos ver muito mais sobreposições do que muita gente vai achar confortável.

JA: Numa entrevista anterior você mencionou que as revoluções copernicanas são dolorosas. Então, se aceitarmos que isso exige uma mudança fundamental no nosso jeito de pensar, como isso se aplica quando precisamos avaliar sistemas de controle que estão convergindo numa política artificial, talvez em meio a uma crise planetária, como você escreveu em The Revenge of the Real?

BB: Os traumas copernicanos são aqueles momentos inestimáveis da história, e da história tecnológica, em que descobrimos que, em algum sentido cosmológico, a posição do ser humano é abalada. E é abalada de um jeito que as pessoas acham perturbador, que podem até viver como uma espécie de rebaixamento. E eles vieram em sequência: do heliocentrismo ao darwinismo, à neurociência, à biotecnologia e à IA. Muitas das coisas que consideramos únicas e transcendentais no ser humano, como eu dizia antes sobre a cultura, acabam se revelando algo que, se não fica desencantado, pelo menos fica desmistificado.

Acho que estamos vendo a mesma coisa de novo com a inteligência artificial, com as formas como ela coloca um pouco em xeque o que sentimos que significa ser humano. Então, que tipo de sociedade isso implicaria? É uma pergunta realmente interessante e aberta. Nossas sociedades se basearam numa escassez de inteligência e numa concentração de agência. E por escassez de inteligência quero dizer que os humanos, e em particular o córtex pré-frontal dos humanos, foram o lugar em que a Terra se dobrou sobre si mesma ao longo do tempo para produzir essa forma de matéria capaz de todo tipo de proeza de inteligência complexa e abstrata.

E durante a maior parte da história humana havia, até o século XIX, ou na verdade até a virada para o século XX, só um bilhão de humanos. Passamos de um bilhão para oito bilhões muito, muito rápido, em grande parte graças à industrialização. Então sete em cada oito pessoas que existem hoje não existiriam se não tivessem sido cultivadas pelas máquinas. As máquinas cultivaram as outras sete, sete em cada oito pessoas, o que significa que temos muito mais mentes. Então a inteligência é um pouco menos escassa do que costumava ser. E ao mesmo tempo em que há muito mais mentes, há também um aumento, na forma de aceleração da descoberta científica, da descoberta tecnológica e de todo o resto. Mas a agência também tem sido muito concentrada. Está concentrada em grande parte num pequeno número de cidades: se você mora numa das quinze cidades do mundo, principalmente no Norte global, embora não exclusivamente, e estudou numa das vinte universidades, é provável que tenha acesso a uma quantidade de agência radicalmente desproporcional em comparação com todo o resto do mundo. Há uma concentração de agência nesse sentido.

E a IA generativa potencialmente radicaliza duas coisas: torna a inteligência menos escassa, transforma-a essencialmente em algo disponível para ser aplicado a todo tipo de problema local e global. E além disso tem o potencial de descentralizar ou desconcentrar a agência. Ou seja, na medida em que ela se torne o meio de produção fundamental. O acesso a essas tecnologias é algo que... quer dizer, quanto custa uma assinatura do ChatGPT Plus? Vinte dólares por mês. Tudo bem, vinte dólares por mês é muito para algumas pessoas, mas é muitíssimo menos do que montar uma fábrica. Então existe essa distribuição da agência potencial e a ativação desses outros bilhões de mentes que têm ideias, capacidades e formas de engenhosidade e criatividade que todos nós estamos perdendo. E se construirmos um mecanismo pelo qual a participação delas esteja mais garantida, a sociedade vai ficar muito, muito diferente do que é hoje.

A IA generativa potencialmente radicaliza duas coisas: torna a inteligência menos escassa, transforma-a essencialmente em algo disponível para ser aplicado a todo tipo de problema local e global. E além disso tem o potencial de descentralizar ou desconcentrar a agência.

E vejo muita ansiedade em torno da IA, em particular entre as elites americanas e europeias. Ninguém está mais preocupado com a IA do que as elites culturais americanas e europeias. E parte do motivo, do Papa à Universidade Harvard e às ONGs europeias, é que de algum modo elas percebem, lá no fundo, que a concentração de agência e de controle sobre a cultura que desfrutaram pode estar se desfazendo muito rápido diante dos seus olhos. Estão muito dispostas a usar todo tipo de argumento, da justiça à democracia ou à segurança, para tentar reforçar sua própria autoridade como supervisoras da cultura e supervisoras da sociedade. Mas, na verdade, não precisamos delas.

JA: Audrey Watters disse que os professores precisam lembrar que a educação às vezes também tem a ver com coerção e controle, e que quando você tira isso dos seus espaços educativos, deixa os alunos fazerem grandes coisas.

BB: Sim, como usar a IA em sala de aula é uma pergunta diferente e complicada. A IA não é essencialmente uma ferramenta de compreensão, e sim uma ferramenta de produção, que de fato podemos incorporar e com a qual podemos criar de maneiras interessantes. E ninguém tem ainda necessariamente o jeito certo de fazer isso num contexto educacional, mas acho que quanto mais descobrirmos, melhor, e em geral acho que explosões de inteligência são uma coisa boa de acontecer com os planetas. E quanto mais gente fizer parte delas, melhor vai ser para todos nós.

JA: Duas últimas perguntas. Em "The Terraforming" você sugeriu que, se temos a capacidade de transformar nosso planeta a ponto de destruí-lo, também temos o poder de mudá-lo para melhor. Por que você acha que é mais fácil imaginar a terraformação da Lua ou de Marte do que fazê-la aqui na Terra? Qual é a sua visão sobre isso?

BB: No ano que vem sai uma nova versão de The Terraforming pela MIT Press. É um livro muito mais longo do que aquele ensaio. A ideia importante é que a terraformação não é só algo que acontece no futuro, algum grande projeto prometeico; essa não é a ideia principal. A ideia principal é entender que nascemos num processo de terraformação, e que a emergência e a evolução de uma inteligência complexa que refaz o mundo à sua própria imagem é um processo de terraformação. E a dinâmica de terraformação vai continuar, quer a façamos deliberadamente ou não.

O modelo é, na verdade, entender que a terraformação é algo que a Terra vem fazendo consigo mesma pelo menos desde a emergência da vida complexa e da inteligência complexa. E vem fazendo isso, em grande parte, através de nós ao longo das últimas centenas de milhares de anos. De certo modo, é isso que somos. É isso que são as civilizações humanas: um agente terraformador. E então, a questão do futuro é que queremos sustentar a maior possibilidade para a maior complexidade. Mais biodiversidade, mais diversidade conceitual, mas maior complexidade. A complexidade em si, em oposição à entropia e à morte.

Então, a terraformação que precisamos tentar imaginar e fazer existir é uma que sustente e amplie essa faixa de complexidade. Obviamente estou pegando o termo emprestado e usando de um jeito estranho. Terraformação: as pessoas acham fácil imaginar a terraformação de Marte ou da Lua porque é para isso que a palavra costuma ser usada. A palavra é usada para falar de tentar fazer um planeta ficar mais parecido com a Terra. Então não faz sentido dizer que vamos fazer a Terra ser um planeta mais parecido com a Terra. Mas, de um jeito estranho, é exatamente isso que precisamos fazer. Precisamos garantir que a Terra continue sendo uma anfitriã viável para a vida terrestre pelo maior tempo possível.

JA: Ótimo. Minha última pergunta retoma algo que Kevin Kelly disse ao falar do futuro: que, na verdade, estamos só prevendo o presente. Então, qual é a sua previsão para o presente?

BB: Minha previsão para o presente é que as pessoas, em particular as pessoas dos países ricos, vão preferir a sensação de agência à agência real. Ou seja, se tivessem que escolher entre duas atividades, entre duas formas de vida, uma em que sentem que têm muita agência mas não têm, e outra em que não sentem que têm muita agência mas têm, vão escolher aquela em que sentem que têm mais agência, mesmo que não tenham.

É isso que eu chamo de teatro da agência: uma forma de coordenação social organizada e otimizada principalmente para a sensação de agência, que se tornou mais importante do que a agência real. E esse processo vai ficar ainda mais pronunciado, dramático e severo à medida que a IAgen ocupar um lugar maior na nossa sociedade. À medida que mais coisas forem feitas pelas máquinas, à medida que mais da agência do mundo real, a de mover coisas de um lado para o outro, for exercida pelas máquinas e pela IA, os humanos não vão ficar sentados sem fazer nada. Vão fazer coisas que os façam sentir que estão fazendo algo, mesmo quando não estiverem. Porque isso os faz sentir que estão no controle. Sentir que estão provocando mudanças no mundo os deixa menos agitados. Vamos estruturar a cultura de tal modo que nos cerquemos de coisas que nos façam sentir que temos agência, mesmo que não tenhamos agência sobre elas.