Protegendo as jornadas digitais dos clientes contra vieses de IA

Hoje, centenas de milhões de pessoas usam ferramentas como ChatGPT para fazer brainstorming de ideias, ou Midjourney para criar novos visuais. Ferramentas de inteligência artificial (IA) se tornaram parte integrante de nossas vidas diárias e estão impulsionando a chegada de uma nova era digital. Agora trabalhamos com mais eficiência, podemos enfrentar melhor os desafios profissionais ou criativos e acelerar novas inovações.

Mas a IA agora tem muito mais valor intrínseco do que dar suporte às nossas tarefas diárias. Ela é essencial para alimentar nossos serviços críticos e manter a sociedade funcionando, seja facilitando acordos de empréstimo ou fornecendo acesso essencial ao ensino superior, plataformas de mobilidade ou assistência médica. A verificação de identidade, fundamental para o acesso online, era tradicionalmente vista como uma porta de entrada para verificações de crédito e abertura de conta bancária, mas, graças à IA, agora dá suporte a serviços de saúde a viagens e comércio eletrônico.

Os sistemas de IA, no entanto, podem se comportar de maneira tendenciosa em relação aos usuários finais. Recentemente, o Uber Eats e o Google descobriram como o uso de IA pode ameaçar a legitimidade e a reputação dos serviços online. No entanto, os humanos também são vulneráveis ​​a vieses. Eles podem ser sistêmicos, como mostrado pelo viés no reconhecimento facial, pelo qual temos uma tendência a reconhecer melhor os membros do próprio grupo étnico (OGB, ou Own Group Bias) – um fenômeno agora bem documentado.

É aqui que está o desafio. Os serviços online se tornaram a espinha dorsal da economia, com oito em cada dez pessoas dizendo que ficariam satisfeitas com serviços totalmente digitais. Com menores custos de processamento e tempos de execução mais curtos, a IA é uma solução de escolha para empresas que lidam com um volume cada vez maior de clientes. No entanto, apesar de todas as vantagens que essa solução oferece, é importante estar ciente de seu viés também. As empresas têm a responsabilidade de implementar as salvaguardas certas para proteger contra danos duradouros à sua reputação e à economia em geral.

No centro de uma estratégia de prevenção de viés estão quatro pilares essenciais: identificar e medir o viés, conscientização de variáveis ​​ocultas e conclusões precipitadas, projetar métodos de treinamento rigorosos e adaptar a solução ao caso de uso.

Pilar 1: Saber onde encontrar e medir o viés

A luta contra o viés começa com o estabelecimento de processos robustos para sua medição. Vieses de IA são frequentemente fracos, escondidos em vastas montanhas de dados e observáveis ​​somente após a separação de diversas variáveis ​​correlacionadas.

Portanto, é crucial que as empresas que usam IA estabeleçam boas práticas, como medição por intervalo de confiança, uso de conjuntos de dados de tamanho e variedade apropriados e emprego de ferramentas estatísticas apropriadas, manipuladas por pessoas competentes.

Essas empresas também devem se esforçar para ser o mais transparentes possível sobre esses vieses, por exemplo, publicando relatórios públicos como o “Bias Whitepaper” que a Onfido publicou em 2022. Esses relatórios devem ser baseados em dados de produção reais e não em dados sintéticos ou de teste.

Ferramentas de benchmarking públicas, como o NIST FRVT (Face Recognition Vendor Test), também produzem análises de viés que podem ser exploradas por essas empresas para comunicar seu viés e reduzi-lo em seus sistemas.

Com base nessas observações, as empresas podem entender onde os vieses têm mais probabilidade de ocorrer na jornada do cliente e trabalhar para encontrar uma solução — geralmente treinando os algoritmos com conjuntos de dados mais completos para produzir resultados mais justos. Esta etapa estabelece a base para um tratamento rigoroso de vieses e aumenta o valor do algoritmo e sua jornada do usuário.

Pilar 2: Variáveis ​​ocultas e conclusões precipitadas

O viés de um sistema de IA geralmente está oculto em múltiplas variáveis ​​correlacionadas. Vamos pegar o exemplo do reconhecimento facial entre biometria e documentos de identidade (“face matching”). Esta etapa é essencial na verificação de identidade de um usuário.

Uma primeira análise mostra que o desempenho desse reconhecimento é menos bom para pessoas com pele escura do que para uma pessoa média. É tentador, nessas condições, concluir que, por design, o sistema penaliza pessoas com pele escura.

No entanto, ao levar a análise mais adiante, observamos que a proporção de pessoas com pele escura é maior em países africanos do que no resto do mundo. Além disso, esses países africanos usam, em média, documentos de identidade de qualidade inferior aos observados no resto do mundo.

Essa diminuição na qualidade do documento explica a maior parte do desempenho relativamente ruim do reconhecimento facial. De fato, se medirmos o desempenho do reconhecimento facial para pessoas com pele escura, restringindo-nos a países europeus que usam documentos de maior qualidade, descobrimos que o viés praticamente desaparece.

Em linguagem estatística, dizemos que as variáveis ​​”qualidade do documento” e “país de origem” são confundidoras em relação à variável “cor da pele”.

Fornecemos este exemplo não para convencer que algoritmos não são tendenciosos (eles são), mas para enfatizar que a medição de viés é complexa e propensa a conclusões precipitadas, porém incorretas.

Portanto, é crucial conduzir uma análise abrangente de viés e estudar todas as variáveis ​​ocultas que podem influenciar o viés.

Pilar 3: Construir métodos de treinamento rigorosos

A fase de treinamento de um modelo de IA oferece a melhor oportunidade para reduzir seus vieses. É realmente difícil compensar esse viés depois sem recorrer a métodos ad-hoc que não são robustos.

Os conjuntos de dados usados ​​para aprendizado são a principal alavanca que nos permite influenciar o aprendizado. Ao corrigir os desequilíbrios nos conjuntos de dados, podemos influenciar significativamente o comportamento do modelo.

Vamos dar um exemplo. Alguns serviços online podem ser usados ​​com mais frequência por uma pessoa de um determinado gênero. Se treinarmos um modelo em uma amostra uniforme dos dados de produção, esse modelo provavelmente se comportará de forma mais robusta no gênero majoritário, em detrimento do gênero minoritário, que verá o modelo se comportar de forma mais aleatória.

Podemos corrigir esse viés amostrando os dados de cada gênero igualmente. Isso provavelmente resultará em uma redução relativa no desempenho para o gênero majoritário, mas em benefício do gênero minoritário. Para um serviço crítico (como um serviço de aceitação de inscrição para o ensino superior), esse balanceamento dos dados faz todo o sentido e é fácil de implementar.

A verificação de identidade online é frequentemente associada a serviços críticos. Essa verificação, que frequentemente envolve biometria, requer o design de métodos de treinamento robustos que reduzam os vieses tanto quanto possível nas variáveis ​​expostas à biometria, a saber: idade, gênero, etnia e país de origem.

Por fim, a colaboração com reguladores, como o Information Commissioner's Office (ICO), nos permite dar um passo para trás e pensar estrategicamente sobre a redução de vieses em modelos. Em 2019, a Onfido trabalhou com o ICO para reduzir vieses em seu software de reconhecimento facial, o que levou a Onfido a reduzir drasticamente as lacunas de desempenho entre grupos etários e geográficos de seu sistema biométrico.

Pilar 4: Adaptar soluções aos casos de uso

Não há uma única medida de viés. Em seu glossário sobre justiça de modelo, o Google identifica pelo menos três definições diferentes para justiça, cada uma das quais é válida à sua maneira, mas leva a comportamentos de modelo muito diferentes.

Como, por exemplo, escolher entre a paridade demográfica “forçada” e a igualdade de oportunidades, que leve em conta as variáveis ​​específicas de cada grupo?

Não há uma resposta única para essa pergunta. Cada caso de uso requer sua própria reflexão sobre o campo de aplicação. No caso de verificação de identidade, por exemplo, a Onfido usa a “taxa de rejeição normalizada”, que envolve medir a taxa de rejeição pelo sistema para cada grupo e compará-la com a população geral. Uma taxa maior que 1 corresponde a uma rejeição excessiva do grupo, enquanto uma taxa menor que 1 corresponde a uma rejeição insuficiente do grupo.

Em um mundo ideal, essa taxa de rejeição normalizada seria 1 para todos os grupos. Na prática, esse não é o caso por pelo menos dois motivos: primeiro, porque os conjuntos de dados necessários para atingir esse objetivo não estão necessariamente disponíveis; e segundo, porque certas variáveis ​​de confusão não estão sob o controle da Onfido (esse é o caso, por exemplo, da qualidade dos documentos de identidade mencionados no exemplo acima).

Não adie o progresso perseguindo a perfeição

O viés não pode ser completamente eliminado. Neste contexto, o importante é medir o viés, reduzir continuamente esse viés e comunicar abertamente sobre as limitações do sistema.

A pesquisa sobre viés é amplamente aberta. Várias publicações estão disponíveis sobre o assunto. Grandes empresas como Google e Meta contribuem ativamente para esse conhecimento publicando artigos técnicos aprofundados, mas também artigos acessíveis e materiais de treinamento, bem como conjuntos de dados dedicados à análise de viés. Em 2023, a Meta publicou o Conversational Dataset, um conjunto de dados dedicado à análise de viés em modelos.

Infelizmente, preconceitos são inevitáveis; à medida que os desenvolvedores de IA continuam a inovar e os aplicativos evoluem, preconceitos sempre surgirão. No entanto, isso não deve desencorajar as organizações de adotar essas novas tecnologias, pois elas têm grande potencial para melhorar suas ofertas digitais.

Se as empresas tiverem tomado as medidas adequadas para mitigar o impacto dos vieses, as experiências digitais dos clientes continuarão a melhorar. Os clientes poderão acessar os serviços certos, adaptar-se a novas tecnologias e obter o suporte de que precisam das empresas com as quais desejam interagir.

Olivier Koch é vice-presidente de IA aplicada da Onfido.