Os modelos de linguagem de proteínas (PLMs) possuem previsão avançada de estrutura e função de proteínas, explorando a grande diversidade de sequências de proteínas que ocorrem naturalmente. Contudo, seus mecanismos internos ainda precisam ser melhor compreendidos. Pesquisas interpretativas recentes fornecem ferramentas para analisar as representações aprendidas por esses modelos, o que é importante para melhorar o design do modelo e descobrir insights biológicos. Compreender como os PLMs processam informações pode revelar falsas correlações, testar generalizações e identificar novos princípios biológicos. Esta análise ajuda a refinar os vieses do modelo e algoritmos de aprendizagem, garantindo confiabilidade. Além disso, esclarece se os PLMs realmente capturam princípios físicos e químicos ou memorizam padrões estruturais.
Os PLMs, geralmente baseados em transformadores, aprendem padrões e relações em sequências de aminoácidos por meio de aprendizagem supervisionada, tratando as proteínas como uma linguagem biológica. Estudos anteriores exploraram as representações internas dos PLMs, usando mapas de atenção para revelar interações proteicas e explorando estados ocultos para prever propriedades estruturais. A pesquisa mostra que os PLMs geralmente capturam padrões evolutivos em vez da física básica das proteínas. Autoencoders esparsos (SAEs) lidam com a complexidade da ativação de um neurônio, codificando-o em poucos recursos interpretáveis. Esta abordagem melhorou a compreensão dos circuitos neurais e componentes funcionais, fornecendo insights sobre o comportamento e análise do PLM que permitem a análise de propriedades biológicas relevantes.
Pesquisadores da Universidade de Stanford desenvolveram uma estrutura sistemática que utiliza SAEs para descobrir e analisar recursos interpretáveis em PLMs. A aplicação deste método ao modelo ESM-2 identificou até 2.548 características ocultas por camada, muitas associadas a conceitos biológicos conhecidos, como locais de ligação, motivos estruturais e domínios funcionais. A análise deles revelou que os PLMs geralmente incluem conceitos de alto nível e capturam recursos novos e indefinidos. Esta abordagem pode melhorar os bancos de dados de proteínas, preenchendo lacunas de anotação e gerando sequências guia. Eles introduziram o InterPLM, uma ferramenta para testar esses recursos, e disponibilizaram publicamente seus métodos para pesquisas futuras.
Os pesquisadores usaram SAEs para analisar fatores latentes em PLMs usando dados do UniRef50 e Swiss-Prot. A incorporação do ESM-2 da camada do transformador foi processada, permitindo a normalização para comparações semelhantes. Os SAEs foram treinados em 10.240 recursos usando parâmetros mensuráveis e validados em relação a anotações Swiss-Prot com métricas de recuperação de precisão. Métodos de agrupamento como UMAP e HDBSCAN revelaram padrões estruturais interpretáveis. Para interpretação, os recursos são vinculados a conceitos de proteínas usando a anotação Claude-3.5 Sonnet. Análises sequenciais e estruturais identificaram padrões biologicamente importantes, enquanto experimentos de orientação mostraram como certos fatores podem direcionar a produção de sequências proteicas. Métodos e resultados são integrados no InterPLM para avaliação.
SAEs treinados em incorporações ESM-2 revelam recursos interpretativos em PLMs. Esses fatores mostram padrões de ativação distintos, que identificam motivos estruturais, proteicos ou funcionais. Ao contrário dos neurônios individuais, os SAEs se adaptam melhor aos conceitos Swiss-Prot, exibindo interpretações biológicas mais fortes e incluindo conceitos adicionais. Uma plataforma interativa, InterPLM.ai, ajuda a explorar maneiras de fazer esses recursos funcionarem, integrar recursos comuns e mapear para anotações conhecidas. Os recursos formam clusters com base em funções funcionais e estruturais, capturando padrões específicos, como locais de ligação de quinase ou barris beta. Além disso, as descrições automáticas geradas por grandes modelos de linguagem, como o de Claude, melhoram a interpretabilidade dos recursos, aumentando sua relevância biológica.
Concluindo, o estudo destaca o potencial dos SAEs para descobrir características interpretáveis em PLMs, revelando padrões biológicos significativos e altamente codificados. SAEs treinados para incorporação de PLM mostraram interpretabilidade superior em comparação com neurônios, capturando recursos específicos de domínio vinculados a anotações Swiss-Prot. Além de identificar padrões anotados, os SAEs são entradas marcadas em bancos de dados ausentes e permitem o controle direcionado da previsão de sequência. As aplicações variam desde comparação e desenvolvimento de modelos até novos dados biológicos e engenharia de proteínas. O trabalho futuro inclui o dimensionamento para modelos estruturais, o desenvolvimento de estratégias de orientação e a avaliação de características impessoais, fornecendo direções promissoras para o desenvolvimento da interpretação de modelos e descobertas biológicas.
Confira papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.
[FREE AI VIRTUAL CONFERENCE] SmallCon: Conferência Virtual GenAI gratuita com. Meta, Mistral, Salesforce, Harvey AI e mais. Junte-se a nós em 11 de dezembro para este evento de visualização gratuito para aprender o que é necessário para construir grande com pequenos modelos de pioneiros em IA como Meta, Mistral AI, Salesforce, Harvey AI, Upstage, Nubank, Nvidia, Hugging Face e muito mais.
Sana Hassan, estagiária de consultoria na Marktechpost e estudante de pós-graduação dupla no IIT Madras, é apaixonada pelo uso de tecnologia e IA para enfrentar desafios do mundo real. Com um profundo interesse em resolver problemas do mundo real, ele traz uma nova perspectiva para a intersecção entre IA e soluções da vida real.
🐝🐝 Leia este relatório de pesquisa de IA da Kili Technology 'Avaliação de vulnerabilidade de um modelo de linguagem grande: uma análise comparativa de métodos de passagem vermelha'
