Stanley Martins Frasão
Advogado
Sócio do Homero Costa Advogados
Introdução
A inteligência artificial deixou de ser
uma promessa tecnológica para se tornar um instrumento quotidiano da gestão
empresarial. Sistemas algorítmicos analisam crédito e risco, definem preços,
selecionam fornecedores, avaliam candidatos a emprego, preveem vendas,
automatizam decisões operacionais e, em alguns casos, influenciam decisões
estratégicas. O que em si não é problemático, a tecnologia sempre transformou a
gestão, ganha contornos jurídicos novos quando a decisão deixar de ser
integralmente compreensível, rastreável e imputável a uma pessoa. Se um sistema
decide, quem responde pela decisão? Se um algoritmo erra, quem é o seu
administrador? Se a máquina aprende e desvia, quem supervisiona a aprendizagem?
O direito societário, construído à volta da atuação de pessoas e órgãos,
confronta-se hoje com decisões que não têm um autor humano imediato. O presente
artigo analisa os desafios que o uso crescente de IA coloca à governança das
sociedades, os riscos da sua utilização sem regras claras de supervisão e
responsabilidade, e as medidas que administradores e órgãos de governança devem
adotar para que a inovação não se converta em fonte de responsabilidade
descontrolada.
I. Contexto Jurídico e Corporativo do
Uso de IA na Gestão Empresarial
A utilização de IA na gestão insere-se
no exercício normal do poder de administração. O administrador escolhe os meios
que considera adequados à prossecução do interesse social, e a adoção de
sistemas tecnológicos é, em si mesma, uma decisão de gestão protegida pela
margem de discricionariedade empresarial. Mas essa liberdade de escolha não é
ilimitada: quem decide adotar um sistema de IA assume, por esse fato, deveres
acrescidos de compreensão, supervisão e controle sobre o funcionamento do
sistema.
O quadro jurídico aplicável resulta, em
larga medida, da aplicação dos princípios gerais do direito societário a uma
realidade nova. Os deveres de cuidado, lealdade e diligência dos
administradores não distinguem entre decisões tomadas diretamente e decisões
tomadas com o apoio de sistemas automatizados. O dever de cuidado exige que o
administrador compreenda, no essencial, o instrumento que utiliza, tal como não
pode assinar documentos que não leu, não pode delegar a sua função num sistema
que não entende. O dever de supervisão, por sua vez, impõe que quem adota
tecnologia continue a controlar os seus efeitos, de forma continuada e não
apenas na fase de implementação.
A esta matriz societária somam-se
camadas regulatórias em consolidação. A União Europeia avançou com um regime
horizontal para a inteligência artificial, estruturado em torno do risco dos
sistemas: quanto maior o risco de dano para direitos fundamentais, segurança e
saúde, mais rigorosas as obrigações de quem desenvolve, coloca no mercado e
utiliza esses sistemas. A par disso, os regimes de proteção de dados pessoais
impõem limites à tomada de decisões automatizadas com efeitos jurídicos
significativos, bem como exigências de informação sobre o funcionamento lógico
dos sistemas. Normas internacionais de referência, como os princípios da OCDE
para a IA e os quadros de gestão de risco publicados por organismos de
normalização, apontam, de forma convergente, para a centralidade da supervisão
humana, da transparência, da rastreabilidade e da responsabilização.
O traço comum de todas estas fontes é a
rejeição da "decisão sem dono". O direito e a regulação não proíbem a
decisão algorítmica; exigem, isso sim, que exista sempre uma pessoa ou um órgão
capaz de a compreender, de a contestar e de por ela responder. É precisamente
essa exigência que falta quando as sociedades adotam IA sem regras de
governança.
II. Riscos Decorrentes da Ausência de
Regras Claras de Supervisão, Controle e Responsabilização
A utilização de IA sem governança
adequada gera uma constelação de riscos que importa sistematizar.
O primeiro é o risco de decisões opacas
e não rastreáveis. Muitos sistemas, em especial os baseados em aprendizagem
automática, produzem resultados cuja lógica interna é difícil de reconstituir.
Quando uma decisão relevante é tomada com base num sistema desse tipo, a recusa
de um financiamento, a descontinuação de uma linha de negócio, a seleção de um
parceiro, a sociedade pode não conseguir explicar, perante tribunais,
reguladores, sócios ou clientes, porque decidiu como decidiu. A decisão
inexplicável é, do ponto de vista probatório, uma decisão frágil: não resiste
ao escrutínio a que qualquer decisão administrativa relevante está sujeita.
O segundo é o risco de enviesamento e
discriminação. Os sistemas aprendem a partir de dados históricos e os dados
históricos carregam os preconceitos de quem os produziu. Um sistema de
avaliação de crédito treinado com práticas discriminatórias do passado
perpetuará, e até amplificará, essas práticas. O dano não é apenas reputacional
ou ético: é jurídico, com potencial responsabilização civil e exposição
regulatória, e é societário, porque corrói a confiança de clientes,
trabalhadores e da comunidade.
O terceiro é o risco de decisões
desalinhadas com o interesse social. Um sistema otimizado para um único
objetivo, tais como a redução de custos, aumento de vendas, pode produzir
comportamentos lesivos do interesse social no seu conjunto: degradação da qualidade,
tratamento desleal de clientes, prejuízo à reputação de longo prazo. A
otimização algorítmica de um indicador parcial é um clássico problema de
governança: o sistema faz exatamente o que lhe mandam, e o problema é que
ninguém lhe mandou fazer a coisa certa.
O quarto é o risco de obsolescência do
controle humano. Sistemas que funcionam bem durante anos podem degradar-se
silenciosamente quando os dados ou o contexto mudam. A supervisão que existiu
na fase de implementação, demonstrações, testes, validações, tende a esmorecer
na fase de operação. Sem mecanismos de monitorização continuada, a sociedade
descobre a falha do sistema quando o dano já ocorreu.
O quinto é o risco de responsabilidade
difusa ou, pior, de irresponsabilidade organizada. Sem regras claras, todos os
intervenientes presumem que a responsabilidade é de outrem: o administrador
presume que a área técnica responde; a área técnica presume que a decisão foi
validada pela gestão; o órgão de fiscalização presume que o assunto não é da
sua competência. O resultado é uma cadeia de delegação sem dono, exatamente o
cenário que o direito societário, construído em torno da imputação pessoal de
deveres, mais severamente sanciona.
III. Impactos para Administradores,
Órgãos de Governação, Acionistas e Partes Interessadas
1. Administradores
Os administradores são os primeiros
expostos. A violação dos deveres de cuidado e de supervisão na adoção e
utilização de IA pode fundamentar a sua responsabilização pessoal. A decisão de
implementar um sistema sem avaliar os seus riscos, sem definir mecanismos de
supervisão e sem documentar a fundamentação é, à luz dos standards societários,
uma decisão mal fundamentada. A omissão de controle sobre sistemas que causam
danos continuados, o administrador que ignora alertas internos sobre o
funcionamento de um algoritmo é uma omissão de supervisão típica. E a delegação
cega em terceiros, fornecedores de tecnologia, consultores, não exonera: quem
contrata a solução responde pela qualidade da sua escolha e pela supervisão do
seu funcionamento.
2. Órgãos de governança
Os conselhos de administração enfrentam
um desafio de competência e de processo. Não se exige que os conselheiros sejam
especialistas em tecnologia; exige-se que não deliberem sobre matérias que não
compreendem minimamente. O conselho que aprova uma estratégia de IA sem exigir
informação sobre riscos, limites e mecanismos de controle delibera com
informação insuficiente e as suas deliberações, e a responsabilidade dos que
nelas participaram, ficam expostas. O órgão de fiscalização, por seu turno, vê
alargado o seu objeto: a conformidade não se limita à legalidade formal,
estende-se à regularidade e ao risco dos sistemas utilizados.
3. Acionistas
Para os acionistas, a IA representa
simultaneamente oportunidade e risco de agência. O risco clássico da separação
entre propriedade e gestão. A gestão é perseguir interesses próprios ou
comodidades em detrimento do interesse social. Amplifica-se com a opacidade
tecnológica: é mais difícil fiscalizar o que não se compreende. Os acionistas
têm, por isso, interesse direto em que a sociedade divulgue, com transparência,
as suas políticas de IA, os sistemas de maior risco e os mecanismos de
supervisão. Em sociedades de maior dimensão, as deliberações sobre matérias de
risco relevante e a prestação de contas da administração devem integrar a
dimensão tecnológica.
4. Demais partes interessadas
Trabalhadores, clientes, fornecedores e
credores são os destinatários práticos das decisões algorítmicas. Os
trabalhadores podem ser avaliados, selecionados ou despedidos por sistemas; os
clientes podem ser precificados, classificados ou excluídos por algoritmos; os
fornecedores podem ser selecionados por critérios automatizados; os credores
avaliam a exposição da sociedade a riscos que já não conseguem medir pelos
métodos tradicionais. A sociedade que utiliza IA sem governança transfere, na
prática, o custo dos seus défices de controle para terceiros e expõe-se a
litígios, sanções e perda de confiança.
IV. A Necessidade de Políticas Internas
de IA, Auditoria de Sistemas e Mecanismos de Compliance
A resposta institucional ao risco é a
governança formalizada. Tal como a sociedade não depende da discricionariedade
individual de cada administrador em matéria de conflitos de interesses ou de
controle interno, não deve depender dela em matéria de IA.
A política interna de IA é o primeiro
instrumento. Deve definir o âmbito de aplicação, que sistemas e que
utilizações, os princípios aplicáveis, supervisão humana, transparência, não
discriminação, segurança, a classificação de risco dos sistemas, os papéis e
responsabilidades de cada interveniente, os procedimentos de aprovação e de
registo e as regras de revisão periódica. A política converte deveres abstratos
em regras operativas, auditáveis e oponíveis aos próprios utilizadores
internos.
A auditoria de sistemas é o segundo
instrumento. Não basta adotar uma política: é necessário verificar a sua
aplicação. A auditoria deve cobrir a conformidade dos sistemas com a política e
com a lei, a qualidade dos dados utilizados, a existência e o funcionamento dos
mecanismos de supervisão humana, a rastreabilidade das decisões e a resposta a
incidentes. Em sistemas de maior risco, a auditoria deve ser periódica e,
quando necessário, independente, interna ou externa, para que a verificação não
dependa dos próprios responsáveis pela operação.
O compliance constitui o terceiro
pilar. Os programas de compliance tradicionais, canais de denúncia, gestão de
riscos, formação, devem integrar a dimensão algorítmica. O registro de
sistemas, a gestão do ciclo de vida dos algoritmos, a documentação das decisões
de implementação e a formação de administradores e colaboradores são elementos
de um programa de compliance tecnológico. A integração da IA no programa de
compliance existente, em vez da criação de estruturas paralelas, é a abordagem
mais eficaz na generalidade das sociedades.
V. A Responsabilidade por Decisões
Algorítmicas: Critérios de Atribuição de Deveres e de Imputação
A questão central, quem responde por
uma decisão tomada por um sistema, não tem uma resposta simples, mas tem
critérios orientadores.
Em primeiro lugar, o princípio da
imputação humana. Um sistema de IA não é sujeito de direitos nem de deveres:
não pode ser administrador, não pode deliberar e não pode ser responsabilizado.
A decisão algorítmica é sempre, juridicamente, uma decisão de alguém, do
administrador que a adotou, do órgão que a aprovou, da pessoa que a utilizou
sem a contestar. A imputação pode ser direta, quando a decisão é integralmente automatizada
e o sistema atua como instrumento do decisor; ou pode ser escalonada, quando
intervêm vários níveis, quem concebe, quem valida, quem opera, quem
supervisiona. Em qualquer dos casos, o direito procura o ponto de controle
humano efetivo: quem podia, e devia, ter intervindo.
Em segundo lugar, o princípio da
proporcionalidade da supervisão. O grau de supervisão humana exigido deve ser
proporcional ao risco da decisão. Decisões de baixo risco e facilmente
reversíveis podem ser amplamente automatizadas; decisões com efeitos jurídicos
ou econômicos significativos sobre pessoas, recusa de crédito, avaliação de
trabalhadores, exclusão de clientes, exigem supervisão humana efetiva, com
capacidade de revisão e de decisão em alternativa ao sistema. A supervisão
meramente formal, o botão de aprovação automático, o humano que confirma sem
examinar, não é supervisão: é aparência de supervisão.
Em terceiro lugar, o princípio da
responsabilidade pela escolha e pela manutenção. Quem decide adotar um sistema
responde pela qualidade dessa decisão: pela avaliação prévia dos riscos, pela
seleção do fornecedor, pela verificação dos dados e pela definição dos limites
de atuação do sistema. Quem mantem o sistema em operação responde pela sua
monitorização continuada: pela detecção de desvios, pela resposta a incidentes
e pela decisão de descontinuar sistemas que já não oferecem garantias. A
responsabilidade não se esgota no momento da implementação: prolonga-se por
todo o ciclo de vida.
Em quarto lugar, a relevância da
documentação. Perante o dano, tribunais e reguladores procurarão saber que
avaliação precedeu a adoção, que limites foram definidos, que supervisão foi
exercida, que incidentes ocorreram e como foram tratados. A sociedade que
documenta o seu processo decisório em matéria de IA, avaliações de risco,
registros de sistemas, logs de decisões, relatórios de auditoria, está em
condições de demonstrar o cumprimento dos deveres. A sociedade que não
documenta fica indefesa: a ausência de registro é interpretada como ausência de
controle.
Por último, a atenuação da
responsabilidade pela boa governança. Os standards de responsabilidade
societária protegem a decisão razoável, ainda que desacertada. O administrador
que adotou um sistema com avaliação prévia adequada, supervisão efetiva e documentação
consistente, e que agiu no interesse social, beneficia dessa proteção, análoga
à que a margem de discricionariedade empresarial confere às decisões de negócio
tradicionais. A boa governança da IA não elimina o risco; delimita-o. E
delimitar o risco é, no direito societário, a função primeira da diligência.
VI. Boas Práticas de Governança
Corporativa Aplicáveis ao Uso de IA
Da análise precedente decorre um
conjunto de boas práticas que as sociedades devem considerar.
A primeira é a atribuição de
responsabilidade ao nível adequado. Em sociedades de maior dimensão,
recomenda-se que a supervisão estratégica da IA seja assumida pelo conselho de
administração ou por comitê especializado, com a gestão operacional confiada a
responsável identificado, não necessariamente com esse título, mas com funções
claras de responsabilidade sobre os sistemas.
A segunda é a integração da IA no
sistema de gestão de riscos. Os riscos algorítmicos devem ser identificados,
avaliados e monitorizados como qualquer outro risco relevante, com critérios
objetivos de materialidade e reporte periódico ao órgão de administração e à
fiscalização.
A terceira é a classificação de risco
dos sistemas e a sua revisão periódica. Cada sistema deve ser classificado
quanto ao risco que representa, considerando a natureza da decisão, os direitos
afetados, a reversibilidade e a exposição da sociedade, e essa classificação
deve ser revista quando o sistema ou o seu contexto mudam.
A quarta é a garantia de transparência
interna e externa. Internamente, os administradores e colaboradores relevantes
devem conhecer os sistemas utilizados, os seus limites e os procedimentos de
supervisão. Externamente, a sociedade deve divulgar, nos termos aplicáveis, as
suas políticas de IA, os sistemas de maior risco e as garantias de supervisão
humana. A transparência é condição de confiança de sócios, clientes,
investidores e reguladores.
A quinta é a formação dos órgãos e dos
utilizadores. A formação não transforma conselheiros em engenheiros; dá-lhes a
literacia mínima para perguntarem as questões certas: que riscos tem este
sistema, quem o supervisiona, como se documentam as decisões, o que acontece
quando falha. A capacidade de formular as perguntas certas é a competência de
governança mais valiosa na era algorítmica.
A sexta é a gestão do ciclo de vida e a
resposta a incidentes. Os sistemas devem ter dono, prazo de validade e
critérios de descontinuação. Os incidentes, erros, desvios, enviesamentos
detectados, devem ser objeto de procedimento definido: registro, análise,
correção e, quando necessário, comunicação.
A sétima, e transversal, é a
documentação. Toda a governança da IA se apoia em registro: avaliações,
deliberações, relatórios, incidentes, revisões. A documentação é
simultaneamente instrumento de gestão, prova de diligência e base de auditoria.
Conclusão
Nenhum comentário:
Postar um comentário