Philowashing: quando a filosofia legitima o Vale do Silício

Quem estuda filosofia está acostumado a ouvir a pergunta sobre para que ela serve. A pergunta pode assumir formas mais ou menos gentis, mas quase sempre pressupõe uma dificuldade genuína: diferentemente do que acontece com a medicina, a engenharia ou o direito, não é imediatamente evidente que lugar um filósofo pode ocupar fora da docência e da pesquisa. Por isso é tentador interpretar como uma pequena revanche disciplinar o que está acontecendo em algumas das empresas de tecnologia mais importantes do mundo: o Vale do Silício, o mesmo ecossistema que durante décadas transformou o engenheiro e o empreendedor em figuras quase heroicas da nossa época, parece ter descoberto que também precisa de filósofos.

Amanda Askell, formada em filosofia em Cambridge e Nova York, tornou-se um dos rostos mais visíveis da Anthropic, a empresa responsável pelo Claude, onde trabalha no caráter e nos valores que deveriam orientar o comportamento de seus modelos. Iason Gabriel, doutor em filosofia por Oxford, ocupa há anos diferentes funções ligadas a ética, pluralismo e governança no Google DeepMind. Não são casos isolados: à medida que a inteligência artificial deixou de ser uma tecnologia relativamente especializada e começou a intervir em domínios que vão da educação e do trabalho à saúde, à segurança ou às relações pessoais, perguntas que até pouco tempo atrás podiam parecer coisa de seminário universitário ganharam uma inesperada urgência prática. Que valores um sistema de inteligência artificial deveria respeitar? Como ele deveria agir quando dois princípios morais entram em conflito? É possível projetar um modelo capaz de conviver com o pluralismo de sociedades em que não há acordo sobre o bom, o justo ou mesmo o verdadeiro?

O Vale do Silício, o mesmo ecossistema que durante décadas transformou o engenheiro e o empreendedor em figuras quase heroicas da nossa época, parece ter descoberto que também precisa de filósofos.

Que essas perguntas tenham entrado nos laboratórios de inteligência artificial é, a princípio, uma boa notícia. Ao mesmo tempo, não parece ser apenas uma mera estratégia de relações públicas: Askell, Gabriel e outros pesquisadores (como Luciano Floridi, que trabalhou para o Google para lidar com o "direito ao esquecimento" após uma decisão desfavorável do Tribunal de Justiça da União Europeia) produzem trabalhos filosoficamente sofisticados e enfrentam problemas genuínos, para os quais a formação humanística pode oferecer algo que não se obtém simplesmente acrescentando mais e mais engenheiros a uma equipe. No entanto, parece-nos legítimo investigar não tanto a qualidade das respostas que esses filósofos produzem, mas as condições institucionais dentro das quais eles podem formular suas perguntas. Se uma empresa de tecnologia contrata filósofos para pensar que valores deve incorporar um sistema que ela já decidiu construir, o que acontece com a pergunta anterior, e potencialmente mais incômoda, sobre se esse sistema deveria ocupar o lugar que a empresa pretende lhe atribuir?

Nossa suspeita é que estamos diante de algo mais profundo do que simplesmente outro caso de ethics washing (isto é, mudanças cosméticas para dar um verniz ético a uma ação): somos testemunhas de uma espécie de apropriação da nossa disciplina para delimitar de antemão o domínio de problemas sobre os quais ela pode intervir. Propomos chamar esse mecanismo de philowashing ("filolavagem" soa estranho!) e acreditamos que ele tem um antecedente na apropriação contemporânea do estoicismo pelos "tech bros".

Do estoicismo ao broicismo

Nas últimas duas décadas, Marco Aurélio, Epicteto e Sêneca ganharam uma popularidade inesperada entre empreendedores, investidores e figuras associadas à cultura tecnológica. Tim Ferriss ajudou a transformar o estoicismo em uma referência habitual no universo da produtividade e do desenvolvimento pessoal; Ryan Holiday construiu em torno dessa tradição um ecossistema de enorme sucesso de livros, cursos e palestras; e as Meditações de Marco Aurélio acabaram dividindo espaço nas estantes corporativas com manuais de liderança, growth hacking e otimização de desempenho. O fenômeno é curioso, embora não necessariamente condenável: que alguém chegue a Epicteto buscando ferramentas para atravessar uma crise profissional não invalida nem a leitura nem a filosofia que descobre pelo caminho.

O significativo está na seleção que essa apropriação realiza. O estoicismo antigo não era uma coleção de técnicas para aumentar a produtividade, mas uma concepção bem mais ambiciosa sobre a virtude, os deveres, a vida em comum e a relação entre aquilo que depende de nós e aquilo que não podemos controlar. Em sua tradução para a cultura empresarial contemporânea, porém, boa parte dessa arquitetura filosófica fica relegada, e sobrevivem sobretudo as ideias que podem ser convertidas em técnicas de gestão do eu: tolerar a adversidade, controlar as próprias reações, concentrar-se naquilo sobre o que se tem influência e desenvolver resiliência diante de circunstâncias externas que não se pode modificar.

Se uma empresa de tecnologia contrata filósofos para pensar que valores deve incorporar um sistema que ela já decidiu construir, o que acontece com a pergunta anterior, e potencialmente mais incômoda?

O resultado às vezes recebeu o nome de broicismo ou broicism, e o termo permite identificar uma transformação relevante. Se um ambiente de trabalho exige disponibilidade permanente, gera ansiedade ou torna cada vez mais porosa a fronteira entre trabalho e descanso, a pergunta estoica reformulada já não se dirige à organização desse ambiente, mas à capacidade do indivíduo de habitá-lo com sucesso. A filosofia passa então a fornecer ferramentas para intervir sobre o sujeito, enquanto as condições que produzem seu mal-estar continuam fora de discussão.

Os filósofos batem ponto no Vale do Silício

O caso de Amanda Askell é especialmente útil para entender essa mudança. Parte de seu trabalho na Anthropic consiste em pensar como o Claude deveria se comportar: que traços sua "personalidade" deveria ter, que valores deveria expressar, como deveria reagir diante de situações moralmente complexas e até que ponto cabe a um assistente de inteligência artificial tentar influenciar as crenças ou decisões de seus usuários. O projeto de Constitutional AI da Anthropic leva essa preocupação à própria arquitetura de treinamento: em vez de se limitar a corrigir individualmente respostas indesejáveis, procura-se orientar o modelo por meio de um conjunto explícito de princípios.

A filosofia pode ter um papel relevante nessas discussões. Perguntar o que significa respeitar a autonomia de um usuário, como evitar o paternalismo ou de que maneira uma inteligência artificial pode agir em contextos onde convivem sistemas de valores incompatíveis não é uma camada de verniz humanístico acrescentada ao final de um processo técnico, e sim problemas normativos genuínos. Algo semelhante acontece com o trabalho de Iason Gabriel sobre pluralismo e alinhamento no DeepMind. Mas tanto a pergunta sobre a personalidade do Claude quanto a discussão sobre que valores um grande modelo de linguagem deveria incorporar partem de uma decisão anterior na qual parece não haver como intervir, ligada ao próprio projeto desse modelo, à sua escala, ao seu modelo de negócios e a como ele ocupará determinadas posições na vida social. A reflexão filosófica começa quando boa parte da arquitetura institucional do problema já foi definida. Discute-se como o sistema deve se comportar, mas não necessariamente que tipo de decisões cabe entregar a ele, perante quem ele deve responder ou se existem âmbitos nos quais seu uso deveria ser excluído independentemente de seu desempenho.

O algoritmo que não errou

No fim de julho de 2019, Guillermo Federico Ibarrola foi detido na estação Retiro depois que o sistema de reconhecimento facial de foragidos usado pelo Governo da Cidade de Buenos Aires o identificou como um homem procurado por um roubo qualificado cometido em Bahía Blanca. Ficou seis dias preso até que se comprovasse que ele não tinha nenhuma relação com o crime e que nem sequer conhecia aquela cidade.

O caso poderia entrar sem grandes dificuldades no volumoso arquivo de erros algorítmicos que acumulamos nos últimos anos, não fosse um detalhe que o torna filosoficamente mais interessante: o algoritmo não tinha errado. Não confundiu dois rostos parecidos nem produziu um falso positivo por causa de um problema estatístico. O mandado de prisão correspondia a Guillermo Walter Ibarrola, mas alguém havia associado a esse mandado o número de documento de Guillermo Federico. O sistema processou corretamente a informação que recebeu, comparou o rosto certo com a base errada e permitiu localizar com uma eficiência admirável a pessoa errada. Foi, por assim dizer, um caso de precisão cirúrgica aplicada a dados errôneos.

O importante é que nenhuma melhoria no algoritmo de reconhecimento facial teria resolvido o problema. Poderíamos imaginar um sistema dez vezes mais preciso, sem vieses demográficos e submetido às melhores auditorias disponíveis, e Guillermo Federico Ibarrola teria sido preso do mesmo jeito. O erro estava em outro lugar: nos dados que alimentavam o sistema, na cadeia institucional que os havia produzido e, sobretudo, no lugar que a recomendação tecnológica ocupava dentro de um processo que envolvia policiais, funcionários públicos e agentes judiciais.

Durante esses seis dias, além disso, houve seres humanos participando da decisão. Esse dado importa porque uma das respostas mais frequentes aos riscos da automação consiste justamente em garantir que sempre exista um human in the loop, uma pessoa que tenha a palavra final. O caso Ibarrola mostra por que essa fórmula, embora razoável, diz bem menos do que parece. A mera presença de um ser humano em algum ponto do circuito não garante supervisão efetiva se essa pessoa não recebe a informação relevante, não tem o tempo necessário para revisá-la, não tem incentivos para contradizer o resultado ou, simplesmente, não tem autoridade para modificá-lo.

A mera presença de um ser humano em algum ponto do circuito não garante supervisão efetiva se essa pessoa não recebe a informação relevante ou, simplesmente, não tem autoridade para modificá-lo.

Em outras palavras, "manter o humano no circuito" pode descrever configurações institucionais completamente diferentes. Um médico que recebe uma sugestão de diagnóstico e pode ignorá-la depois de revisar os exames não ocupa a mesma posição que um funcionário que precisa processar centenas de recomendações automáticas por dia e justificar por escrito cada vez que se afasta delas. Nos dois casos existe formalmente supervisão humana; só em um deles é plausível afirmar que o julgamento da pessoa mantém uma função substantiva. A supervisão não é, portanto, um remédio que se acrescenta no fim para compensar aquilo que a máquina ainda não consegue fazer. É um parâmetro que alguém configura de antemão: quanta informação recebe quem revisa, quanto tempo tem, em que direção pode se afastar e que consequências enfrenta quando o faz.

Manter a forma, perder a função

O sistema espanhol VioGén permite observar o problema por outro ângulo. Usado para avaliar o risco em casos de violência de gênero, ele atribui níveis que podem influenciar as medidas de proteção que uma mulher recebe depois de fazer uma denúncia. A avaliação automatizada não elimina a intervenção humana: os agentes podem modificar o nível de risco sugerido pelo sistema. No entanto, essa capacidade tem uma direção determinada. Eles podem elevá-lo, mas não reduzi-lo.

É importante resistir mais uma vez à tentação de apresentar esse desenho como prova de uma perversidade tecnológica. Há boas razões para adotar um critério de precaução em situações de violência de gênero, nas quais subestimar o risco pode ter consequências irreversíveis. Talvez queiramos exatamente essa assimetria. Mas, se for assim, o relevante é perceber que a distribuição de autoridade entre pessoa e sistema não foi descoberta pelo algoritmo nem decorre de sua precisão estatística: alguém decidiu o que o agente humano podia fazer, o que a ferramenta podia fazer e em que direção um desacordo entre os dois deveria ser resolvido.

Esse ponto permite formular com mais precisão um problema que costuma ficar obscurecido no debate contemporâneo sobre inteligência artificial. A conversa pública é dominada por uma pergunta sobre capacidades: queremos saber o que a IA consegue fazer, se diagnostica melhor que um médico, programa melhor que um desenvolvedor, corrige melhor que um professor ou detecta padrões que um policial não perceberia. É uma pergunta legítima, mas da resposta a ela não decorre o que deveríamos permitir que ela faça. Saber que um sistema prevê com determinada precisão a reincidência criminal não decide se queremos que essa previsão interfira numa sentença; demonstrar que um modelo identifica uma doença melhor que um médico não determina que autoridade ele deve ter sobre o tratamento; comprovar que uma inteligência artificial consegue avaliar provas com menos erros que um professor não resolve se queremos organizar a educação em torno dessa avaliação.

Alguém decidiu o que o agente humano podia fazer, o que a ferramenta podia fazer e em que direção deveria ser resolvido um desacordo entre os dois.

Trata-se, em suma, de distinguir duas perguntas que com frequência aparecem misturadas. Uma diz respeito ao comportamento do sistema: o que ele deve responder, o que deve recusar, que valores deve respeitar, com que precisão realiza uma tarefa. A outra diz respeito ao seu lugar institucional: que decisões entregamos a ele, quais retemos, quem pode se afastar dos seus resultados e sob que condições. A primeira pode ser respondida modificando o produto. A segunda exige decidir os limites dentro dos quais esse produto poderá operar e, em alguns casos, considerar que determinada aplicação não deveria existir, ainda que fosse tecnicamente possível construí-la.

Uma filosofia perfeitamente correta

Agora podemos voltar aos filósofos do Vale do Silício e entender melhor onde poderia estar o philowashing. O problema não é que Askell, Gabriel ou outros pesquisadores produzam necessariamente má filosofia, nem que sejam obrigados a chegar a conclusões favoráveis a seus empregadores. Aliás, o mecanismo seria bem menos interessante se dependesse de filósofos dispostos a dizer coisas que consideram falsas. A peculiaridade dessa forma de legitimação está no fato de que ela pode funcionar mesmo quando todas as pessoas envolvidas trabalham com rigor e honestidade intelectual.

A razão é institucional. A pergunta sobre como um modelo deveria se comportar é compatível com praticamente qualquer decisão que a empresa já tenha tomado sobre onde implantá-lo, para quais clientes vendê-lo e quais tarefas humanas ele vai substituir. É possível dedicar enormes esforços para fazer com que um chatbot seja respeitoso com a autonomia humana, pluralista diante de diferentes concepções morais e cuidadoso com usuários vulneráveis sem, por isso, revisar as condições de trabalho de quem produz seus dados, o impacto material da infraestrutura necessária para treiná-lo, a concentração de poder gerada pela sua adoção ou os usos que determinados clientes possam fazer da tecnologia.

O trabalho filosófico sobre o comportamento do sistema tem, além disso, uma propriedade particularmente conveniente: ele pode melhorar o produto. Um modelo menos racista, menos manipulador, mais prudente e capaz de oferecer explicações melhores também é um produto mais fácil de implantar e comercializar. Não há nada de condenável nisso, assim como não há nada de condenável em fabricar um carro mais seguro. A dificuldade surge quando esse conjunto de melhorias é apresentado como prova de que as perguntas normativas relevantes já foram colocadas, quando na verdade só uma classe específica delas foi respondida.

É aí que aparece o philowashing: ele não opera principalmente pela censura de conclusões incômodas, uma estratégia visível e desajeitada demais, mas por meio de uma divisão institucional das perguntas. A questão do design interno tem orçamento, equipes e carreiras profissionais. A questão do limite institucional fica numa situação bem mais precária: a empresa costuma não formulá-la porque ela pode restringir o mercado dos seus produtos; os reguladores tendem a chegar quando as tecnologias já foram implantadas; e a academia, que conserva espaços para colocá-la independentemente da sua rentabilidade, é apresentada, paradoxalmente, como o lugar do qual os filósofos finalmente teriam conseguido escapar.

Essa é uma diferença importante em relação a outras formas de lavagem de reputação. O greenwashing funciona quando uma empresa constrói uma aparência de compromisso ambiental que não corresponde às suas práticas; o ethics washing, quando o vocabulário da ética fornece legitimidade sem alterar substancialmente a distribuição do poder. O philowashing, tal como o entendemos aqui, pode ser mais difícil de reconhecer porque não precisa produzir uma aparência falsa. Pode financiar filosofia genuína, obter resultados intelectualmente valiosos e até modificar positivamente alguns produtos. Seu efeito legitimador surge de algo mais elementar: transformar uma parte do espaço filosófico em representação do todo e fazer com que certas perguntas apareçam como as perguntas relevantes sobre a tecnologia.

O deslocamento acontece menos por falsificação do que por enquadramento: conserva-se uma parte reconhecível da filosofia enquanto desaparece o contexto em que algumas de suas perguntas poderiam se tornar politicamente incômodas.

Nesse sentido, a apropriação contemporânea da filosofia compartilha uma estrutura com aquele broicism mencionado antes. O problema não era que os executivos lessem mal cada frase de Marco Aurélio, mas que uma determinada seleção transformava uma filosofia sobre a vida boa e a relação com os outros numa tecnologia individual para tolerar melhor um ambiente que continuava fora de discussão. Nos dois casos, o deslocamento acontece menos por falsificação do que por enquadramento: conserva-se uma parte reconhecível da filosofia enquanto desaparece o contexto em que algumas de suas perguntas poderiam se tornar politicamente incômodas.

A pergunta que fica sem dono

Isso importa porque as decisões sobre o lugar institucional da inteligência artificial não acontecem no futuro hipotético de uma inteligência artificial geral que desperta e decide o que fazer conosco. Acontecem agora, de maneira muito menos espetacular, toda vez que um órgão público compra um sistema de reconhecimento facial, uma empresa incorpora uma ferramenta para avaliar trabalhadores, um hospital adota um modelo de previsão ou uma escola usa um algoritmo para detectar alunos em risco. Como mostrou Javier Pallero na 421 ao analisar a expansão das tecnologias de vigilância, as transformações importantes muitas vezes avançam licitação por licitação, decreto por decreto, por meio de decisões locais que parecem pequenas demais para exigir uma discussão sobre a concepção de poder que trazem embutida.

O debate sobre a inteligência artificial corre o risco de produzir um efeito parecido. Enquanto discutimos se os grandes modelos "compreendem", quando vai chegar a inteligência artificial geral ou se uma máquina poderia vir a ser consciente, uma multidão de decisões menos cinematográficas redistribui silenciosamente a autoridade. Uma recomendação, uma pontuação de risco, um alerta, uma lista ordenada ou uma classificação automática podem parecer instrumentos modestos, mas cada um deles estabelece quem deve justificar o quê, qual resultado funciona como opção padrão e quem arca com o custo de se afastar dele.

Há, além disso, algo que se perde com a delegação e que não pode ser expresso apenas em termos de eficiência ou precisão. Quando uma decisão que afeta uma pessoa é tomada por outra pessoa, existe, ao menos idealmente, uma prática de dar e pedir razões. Essas razões podem ser ruins, arbitrárias ou até falsas, mas podem ser discutidas, contestadas e submetidas a procedimentos de revisão. Um sistema algorítmico pode preservar a aparência dessa prática produzindo explicações convincentes sem que essas explicações descrevam de fato o processo que levou ao resultado. A explicação cosmética conserva, então, a forma da justificativa enquanto enfraquece sua função, do mesmo modo que uma supervisão humana meramente nominal conserva a forma do controle ainda que tenha esvaziado de autoridade quem supostamente supervisiona.

Por isso não basta reivindicar que sempre haja um humano no circuito. Temos que perguntar qual humano, em qual circuito e fazendo exatamente o quê. Também não basta exigir que os sistemas sejam explicáveis, porque uma explicação só é politicamente relevante se permite compreender, discutir e eventualmente modificar aquilo que produziu a decisão. Preservar as formas institucionais que associamos à autonomia, à responsabilidade e ao controle é relativamente simples; preservar as funções que essas formas deveriam cumprir exige olhar para a distribuição concreta de poder que as tecnologias produzem.

Afinal, para que serve um filósofo?

Talvez seja preciso voltar, no fim, à pergunta do começo. A inteligência artificial de fato precisa de filosofia, mas isso não significa que todas as formas de incorporar filósofos sejam equivalentes, nem que a presença de um departamento de ética demonstre que uma organização está disposta a submeter suas decisões ao exame filosófico. Uma instituição pode contar com excelentes filósofos e filósofas e, ao mesmo tempo, manter fora de discussão algumas das premissas mais importantes da sua atividade.

A tarefa filosófica que nos parece mais urgente não consiste, então, em abandonar as empresas de tecnologia nem em desconfiar automaticamente de quem trabalha dentro delas. Precisamos de pessoas capazes de discutir, por dentro, como esses sistemas devem se comportar, assim como precisamos de pesquisadores independentes, reguladores e organizações da sociedade civil capazes de colocar perguntas que nenhuma empresa tem incentivos suficientes para formular por iniciativa própria. O problema aparece quando confundimos a existência do primeiro tipo de reflexão com a presença do segundo.

A inteligência artificial de fato precisa de filosofia, mas isso não significa que todas as formas de incorporar filósofos sejam equivalentes.

Uma filosofia que pense a transformação tecnológica deveria recuperar, além disso, certa vocação que o fascínio pelos grandes dilemas da inteligência artificial deixou de lado. As perguntas sobre se uma máquina pode pensar, compreender ou vir a ser consciente são filosoficamente atraentes, mas não deveriam nos impedir de perguntar quem produz os dados com os quais ela funciona, que trabalho humano permanece oculto por trás da automação, que recursos ela consome, que órgãos compram os sistemas, que fornecedores conquistam posições de dependência e que possibilidades reais as pessoas afetadas têm de questionar seus resultados. Trata-se de lembrar que uma tecnologia pode levantar simultaneamente problemas ontológicos, epistemológicos, éticos e políticos, e que as empresas terão razões muito diferentes para financiar a análise de cada um deles. Essa necessidade de recuperar uma crítica material e repolitizar a reflexão filosófica também fazia parte da proposta original.

Talvez o Vale do Silício tenha finalmente descoberto para que servem os filósofos. A pergunta que cabe a nós fazer é um pouco diferente: para que a filosofia ia querer trabalhar lá. Porque uma disciplina cuja história é atravessada pelo hábito bastante incômodo de examinar as premissas de uma pergunta não deveria se contentar tão rápido por ter conseguido um lugar à mesa. Às vezes, a tarefa filosófica mais importante consiste justamente em perguntar quem decidiu o que podia ser discutido nela.