LLM-CI: uma nova estrutura de aprendizado de máquina para avaliar princípios de privacidade codificados em LLMs

Modelos linguísticos de grande escala (LLMs) são amplamente utilizados em ambientes sociais, como saúde e educação. No entanto, estes modelos incluem frequentemente normas sociais a partir dos dados utilizados durante a formação, levantando preocupações sobre a forma como se alinham com a privacidade e as expectativas éticas. O principal desafio é garantir que estes modelos cumpram as normas sociais em diferentes contextos, estruturas de modelos e conjuntos de dados. Além disso, a sensibilidade rápida – onde pequenas mudanças nas informações de entrada levam a respostas diferentes – torna difícil avaliar se os LLMs codificam estas regras de forma confiável. Enfrentar este desafio é fundamental para prevenir questões éticas, como violações não intencionais de privacidade em domínios sensíveis.

Os métodos tradicionais de avaliação de LLMs concentram-se em habilidades técnicas, como fluência e precisão, ignorando a codificação de valores sociais. Alguns métodos tentam avaliar os princípios de privacidade usando informações ou conjuntos de dados específicos, mas muitas vezes estes não conseguem responder com sensibilidade rápida, levando a resultados não confiáveis. Além disso, variações em modelos de hiperparâmetros e técnicas de otimização – como quantização, alinhamento e escalonamento – raramente são consideradas, levando a uma avaliação incompleta do comportamento do LLM. Estas limitações deixam uma lacuna na avaliação da compatibilidade ética dos LLMs com as normas sociais.

Uma equipe de pesquisadores da Universidade de York e da Universidade de Waterloo apresenta o LLM-CI, uma nova estrutura baseada na teoria da Integridade Contextual (CI), para examinar como os LLMs integram princípios de privacidade em diferentes contextos. Ele usa uma estratégia de teste em várias etapas para reduzir a sensibilidade, selecionando dados que fornecem resultados consistentes em uma variedade de modelos. Isto fornece uma avaliação mais precisa da generalização entre modelos e conjuntos de dados. O método também inclui vinhetas do mundo real que representam situações sensíveis à privacidade, garantindo uma avaliação completa do comportamento do modelo em diversas situações. Esta abordagem representa uma melhoria significativa na avaliação do desempenho ético dos LLMs, especialmente em termos de privacidade e normas sociais.

O LLM-CI foi testado em conjuntos de dados como vinhetas IoT e vinhetas COPPA, que simulam cenários de privacidade do mundo real. Esses conjuntos de dados foram usados ​​para testar como os modelos lidam com fatores contextuais, como funções de usuário e tipos de informações em diferentes situações sensíveis à privacidade. O experimento também examinou o efeito de hiperparâmetros (por exemplo, volume do modelo) e técnicas de otimização (por exemplo, alinhamento e calibração) na aderência geral. A abordagem multivariada garantiu que apenas efeitos consistentes fossem considerados na avaliação, reduzindo o impacto da sensibilidade rápida e melhorando a robustez da análise.

A estrutura LLM-CI mostrou um progresso significativo ao examinar como os LLMs incorporam práticas de privacidade em uma variedade de contextos. Ao usar uma estratégia de teste de aceleração múltipla, foram alcançados resultados mais consistentes e confiáveis ​​do que métodos de aceleração única. Modelos desenvolvidos usando técnicas de alinhamento mostraram até 92% de precisão de conteúdo no cumprimento das regulamentações de privacidade. Além disso, o novo método de avaliação levou a um aumento de 15% na consistência das respostas, confirmando que o ajuste das propriedades do modelo, tais como pontos fortes e técnicas de alinhamento, melhorou significativamente a capacidade dos LLMs de atender às expectativas do público. Isto confirmou a robustez do LLM-CI na avaliação da adesão normativa.

O LLM-CI fornece uma maneira abrangente e robusta de avaliar como os LLMs implementam práticas de privacidade por meio de um método de avaliação rápida. Ele fornece avaliação confiável do comportamento do modelo em diferentes conjuntos de dados e condições, abordando o desafio da sensibilidade rápida. Esta abordagem melhora muito a compreensão de como os LLMs estão alinhados com as normas sociais, especialmente em áreas sensíveis como a privacidade. Ao melhorar a precisão e consistência das respostas do modelo, o LLM-CI representa um passo importante na aplicação prática dos LLMs em aplicações do mundo real.

Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal..

Não se esqueça de participar do nosso Mais de 50k ML SubReddit

⏩ ⏩ WEBINAR GRATUITO DE IA: ‘Vídeo SAM 2: Como sintonizar seus dados’ (quarta-feira, 25 de setembro, 4h00 – 4h45 EST)

Aswin AK é consultor da MarkTechPost. Ele está cursando seu diploma duplo no Instituto Indiano de Tecnologia, Kharagpur. Ele é apaixonado por ciência de dados e aprendizado de máquina, o que traz consigo uma sólida formação acadêmica e experiência prática na solução de desafios de domínio da vida real.