O Centro de Ensino e Pesquisa em Inovação (CEPI) da FGV Direito SP lança um guia para empresas/organizações sobre o desenvolvimento e o uso responsável de sistemas de inteligência artificial “Governança Da Inteligência Artificial Em Organizações Arquitetura de Confiabilidade e Gestão de Vieses”.
O lançamento do relatório marca o encerramento dos trabalhos de um projeto de pesquisa aplicada que contou com a condução de grupo de pesquisa com especialistas externos no tema, além de entrevistas com as empresas parceiras.
O produto final busca consolidar as principais preocupações, contribuições e tarefas sobre esse tema complexo e interdisciplinar. Para isso a pesquisa elegeu três frentes de atuação: a primeira é a consolidação de um vocabulário comum e conhecimento de base entre os diferentes profissionais que lidam com o desafio de vieses nas soluções tecnológicas de suas empresas; a segunda é a conscientização sobre o panorama de riscos que uma organização está sujeita quando implementa soluções de IA; e a terceira frente diz respeito à adaptação dos instrumentos de governança organizacional a estes desafios.
De acordo com Luiza Morales, pesquisadora do CEPI-FGV, o estudo traça um panorama instrumental importante para que as empresas usem a inteligência artificial de forma ética, promovendo maior segurança ao ecossistema de inovação e atenção ao que vem sendo chamado de justiça algorítmica.
A implementação de soluções de IA é objeto de trabalho para muitas áreas do conhecimento. O relatório relaciona o tema com preocupações oriundas da regulação de proteção de dados pessoais, além de outros campos como Direito Antidiscriminatório, Diversidade e Inclusão, Gestão de Riscos, entre outras.
Assim, o relatório se dedica a passar conceitos importantes sobre discriminação, fairness e como o Direito já tem olhado para o tema, com foco nos marcos legais que embasam a proteção à igualdade e a vedação a práticas discriminatórias. Contribuição caracterizada não apenas como mero glossário, mas como uma consolidação das principais discussões e entendimentos dos campos, para dirimir equívocos recorrentes e para que o tema seja abordado de forma holística.
O estudo evidencia que o tema da discriminação já está pautado em diversos campos do direito, revelando a capilaridade, variedade e relevância que esse campo dedica ao tema de discriminação e, consequentemente, de discriminação a partir de vieses em sistemas algorítmicos. Deste modo, o estudo corrobora a necessidade do entendimento desses sistemas jurídicos, indicando obrigações, direitos e organizacionais, para além dos futuros marcos legais específicos da IA.
A pesquisa também traz uma consolidação das principais discussões e entendimentos em relação ao conhecimento sobre tecnologia, sendo esse conhecimento importante para o entendimento das complexificações de quando os algoritmos passam a mediar nossas relações sociais e assim demandam novas soluções jurídicas e organizacionais.
Nesse sentido, o estudo permite que entendamos as diversas entradas para os vieses na tecnologia e, logo, possíveis ações de gestão desses riscos. Assim, o estudo observa que uma abordagem recorrente na prática e na literatura como estratégia de Governança de Inteligência Artificial é a observação das atividades do ciclo de vida de um modelo de uma solução algorítmica, identificando em quais momentos esses vieses podem ser introduzidos ou amplificados (como exemplo, temos o CRISP-DM, KDD, SEMMA, ISO/IEC 8183:2023, AI Ethics and Governance in Practice do Alan Turing Institute e o Business Software Alliance). E, após a comparação dessas diferentes referências, a pesquisa propõe uma consolidação do ciclo em macromomentos que orientarão o trabalho de governança.
Vale destacar que o material tem capítulo dedicado à exposição dos cenários de risco a partir da perspectiva das organizações, levando em consideração não apenas as consequências de sanções legais, mas também a sustentabilidade do negócio e do ecossistema de inovação, atentando para os riscos sistêmicos e as consequências que vieses podem trazer para a qualidade dos produtos e processos organizacionais.
Em sua exposição, o relatório traça um panorama para que as organizações, ao navegarem no tema, não apenas entendam as diferentes perspectivas envolvidas, mas possam personalizar o seu caminho de governança de acordo com padrões já adotados, recursos já dispendidos, cultura, capacitação e apetite de risco.
Com a análise de pesquisas aplicadas ao tema, o estudo constatou que se costumam localizar as medidas no ciclo apresentando soluções tanto comuns quanto originais. A partir disso, o relatório consolidou essas medidas em 11 conjuntos de medidas:
- Realizar supervisão humana
- Promover diversidade, independência e participação
- Identificar objetivos e contexto da solução e questionar efeitos
- Eleger e monitorar critérios de fairness
- Planejar e documentar a gestão de riscos
- Familiarizar-se com o dataset e analisar sua adequação
- Considerar, examinar e selecionar variáveis, features e proxies
- Considerar a experiência do usuário
- Tratar e preparar os dados
- Desenhar ou selecionar modelos interpretáveis
- Operar constrições e obstáculos no modelo
Esses conjuntos de medidas são detalhados no relatório de acordo com o que cada momento do ciclo de vida da solução de IA pede, apontando quais tipos de vieses podem ser sanados com cada um desses conjuntos de medidas.
Desse modo, a última contribuição do estudo se caracteriza pela união da consolidação de ciclos com o repositório de medidas, formando uma ferramenta de transposição de frameworks já consagrados que busca trazer praticidade e clareza no grande desafio que é a governança de vieses em IA.
Confira a pesquisa no anexo anexo 6.pdf
