Os modelos de aprendizagem automática podem cometer erros e ser difíceis de usar, por isso os cientistas desenvolveram métodos explicativos para ajudar os utilizadores a compreender quando e como confiar nas previsões do modelo.
Contudo, essas descrições são muitas vezes complexas, possivelmente contendo informações sobre centenas de características do modelo. E às vezes eles são apresentados como recursos visuais multifacetados que podem ser difíceis de serem totalmente compreendidos por usuários sem experiência em aprendizado de máquina.
Para ajudar as pessoas a entender as descrições de IA, os pesquisadores do MIT usam modelos linguísticos de grande escala (LLMs) para converter descrições baseadas em estrutura em linguagem simples.
Eles desenvolveram um sistema de duas partes que converte uma descrição de aprendizado de máquina em uma seção de texto legível e verifica automaticamente a qualidade da narração, para que o usuário final saiba se deve confiar nela.
Ao informar o sistema com vários exemplos de definições, os pesquisadores podem personalizar suas definições narrativas para atender às preferências do usuário ou aos requisitos de aplicações específicas.
Com o tempo, os pesquisadores esperam desenvolver esse processo, permitindo que os usuários façam perguntas de acompanhamento ao modelo sobre como ele surgiu com previsões em ambientes do mundo real.
“Nosso objetivo com esta pesquisa foi dar o primeiro passo para permitir que os usuários tenham conversas completas com modelos de aprendizado de máquina sobre os motivos pelos quais fizeram certas previsões, para que possam tomar melhores decisões sobre como ouvir o modelo”, afirmou. Alexandra Zytek, estudante de pós-graduação em engenharia elétrica e ciência da computação (EECS) e autora principal de um artigo sobre esta abordagem.
Coautoria no artigo de Sara Pido, pós-doutorado do MIT; Sarah Alnegheimish, estudante de pós-graduação do EECS; Laure Berti-Équille, diretora de pesquisa do Instituto Nacional Francês de Pesquisa para o Desenvolvimento Sustentável; e o autor sênior Kalyan Veeramachaneni, principal pesquisador do Laboratório de Sistemas de Informação e Decisão. A pesquisa será apresentada na IEEE Big Data Conference.
Ele especifica definições
Os pesquisadores se concentraram em uma forma popular de descrição de aprendizado de máquina chamada SHAP. Na especificação SHAP, um valor é atribuído a cada recurso que o modelo usa para fazer uma previsão. Por exemplo, se o modelo prevê preços de casas, um fator pode ser a localização da casa. Será atribuído a um local um valor positivo ou negativo que representa o quanto esse recurso alterou a previsão geral do modelo.
Geralmente, as definições SHAP são apresentadas como gráficos de barras que indicam quais recursos são mais ou menos importantes. Mas em um modelo com mais de 100 recursos, essa estrutura de barra rapidamente se torna difícil de manejar.
“Como pesquisadores, temos que ser muito seletivos sobre o que apresentamos visualmente. Se optarmos por mostrar apenas os dez primeiros, as pessoas poderão se perguntar o que aconteceu com outro recurso que não está no programa. Usar a linguagem natural nos torna incapazes de escolher isso”, disse Veeramachaneni.
No entanto, em vez de usar um grande modelo de linguagem para criar uma descrição em linguagem natural, os pesquisadores usaram o LLM para converter a descrição existente do SHAP em um texto legível.
Ao fazer com que o LLM lide apenas com parte do processo de linguagem natural, limita a chance de introdução de imprecisões na descrição, explica Zytek.
O seu programa, denominado EXPLNGO, está dividido em duas partes que funcionam em conjunto.
A primeira parte, chamada NARRATOR, usa LLM para criar descrições narrativas de definições SHAP que atendam às preferências do usuário. Ao alimentar o NARRADOR com três a cinco exemplos escritos de descrições narrativas, o LLM imitará esse estilo ao gerar o texto.
“Em vez de o usuário tentar explicar que tipo de explicação deseja, é mais fácil para ele escrever o que deseja ver”, disse Zytek.
Isso permite que o NARRATOR seja facilmente personalizado para novos casos de uso, mostrando-lhe um conjunto diferente de exemplos manuscritos.
Depois que o NARRATOR cria uma descrição em linguagem simples, a segunda parte, GRADER, usa o LLM para avaliar a narrativa em quatro métricas: brevidade, precisão, integridade e fluência. GRADER informa automaticamente ao LLM o texto do NARRATOR e a descrição descritiva do SHAP.
“Descobrimos que, mesmo que o LLM cometa um erro ao fazer o trabalho, normalmente não cometerá um erro ao verificar ou certificar esse trabalho”, disse ele.
Os usuários também podem personalizar o GRADER para atribuir pesos diferentes a cada métrica.
“Dá para imaginar que, no caso alto, a precisão do peso e da perfeição é muito maior que a suavidade, por exemplo”, completa.
Análise narrativa
Para Zytek e seus colegas, um dos maiores desafios foi adaptar o LLM para produzir narrativas que soassem naturais. Quando adicionarem mais diretrizes ao controle de estilo, o LLM introduzirá erros na definição.
“Muitos ajustes rapidamente levaram à descoberta e correção de cada erro a tempo”, diz ele.
Para testar seu sistema, os pesquisadores pegaram nove conjuntos de dados e anotações de aprendizado de máquina e fizeram com que diferentes usuários escrevessem uma narrativa para cada conjunto de dados. Isso lhes permitiu testar a capacidade do NARRATOR de imitar estilos diferentes. Eles usaram o GRADER para encontrar significados descritivos individuais para todas as quatro métricas.
Finalmente, os investigadores descobriram que o seu sistema pode produzir descrições narrativas de alta qualidade e simular com sucesso diferentes estilos de escrita.
Os seus resultados mostram que fornecer várias descrições de exemplos manuscritos melhora significativamente o estilo narrativo. No entanto, esses exemplos devem ser redigidos com cuidado – incluindo palavras comparáveis, como “maior”, pode fazer com que o GRADER marque definições precisas como incorretas.
Com base nesses resultados, os pesquisadores queriam explorar estratégias que pudessem ajudar seu sistema a lidar melhor com palavras de comparação. Eles também querem estender o EXPLINGO adicionando racionalidade às definições.
Com o tempo, eles esperam usar este trabalho como um trampolim para um sistema interativo onde o usuário possa fazer perguntas de acompanhamento ao modelo sobre a explicação.
“Isso pode ajudar na tomada de decisões de várias maneiras. Se as pessoas discordarem da previsão de um modelo, queremos que elas possam descobrir rapidamente se a sua intuição está certa, ou se a intuição do modelo está certa, e de onde vem essa diferença”, disse Zytek.
