Os modelos básicos mostram capacidades incríveis em tarefas e métodos. Os métodos de IA mais eficazes são frequentemente específicos da tarefa e limitados pelas circunstâncias. Na medicina, no entanto, o desenvolvimento de tais modelos enfrenta desafios devido ao acesso limitado a vários dados e às rigorosas leis de privacidade. Embora sejam capazes em determinadas áreas, os modelos de base médica existentes devem ser melhorados, centrando-se em actividades e métodos específicos. As limitações incluem dificuldades no treinamento centralizado devido a leis de privacidade, como HIPAA e GDPR, e flexibilidade limitada entre funções. A aprendizagem colaborativa fornece uma solução, permitindo o desenvolvimento de um modelo distribuído sem compartilhar dados confidenciais diretamente, ao mesmo tempo que integra amplo conhecimento médico, o que continua a ser um desafio contínuo.
Modelos de linha de base, com grandes parâmetros e conjuntos de dados, são proeminentes na área da saúde, fornecendo soluções para tarefas como detecção de doenças e oncologia de precisão. Apesar destes avanços, os modelos de fundações médicas são limitados pela complexidade dos dados de saúde. O Aprendizado Federado (FL) permite o ajuste fino de modelos básicos com dados armazenados localmente, suportando métodos de ajuste fino em grande escala (PEFT) ou Adaptação de Baixo Rank (LoRA) parametricamente eficiente, o que reduz as demandas computacionais para parametrização. Embora o Mix of Experts (MOE) aborde o desenvolvimento do PEFT para tarefas complexas, os métodos existentes não atendem totalmente às diversas necessidades multimodais exclusivas dos ambientes de saúde.
Pesquisadores da Universidade Estadual da Pensilvânia e da Universidade Estadual da Geórgia desenvolveram o FEDKIM, um método de injetar novos conhecimentos para expandir modelos médicos básicos dentro de uma estrutura de aprendizagem colaborativa. O FEDKIM utiliza modelos espaciais leves para coletar informações de saúde a partir de dados confidenciais, integrados em um modelo centralizado. Isto é conseguido através do módulo Multitask Multimodal Mixture of Experts (M3OE), que se adapta a diferentes tarefas e métodos médicos, protegendo ao mesmo tempo a privacidade dos dados. A avaliação de doze tarefas em todos os sete métodos confirma a capacidade do FEDKIM de dimensionar modelos de base médica de forma eficaz, mesmo sem acesso direto a dados confidenciais.
A estrutura FEDKIM inclui dois componentes principais: geradores de informações de clientes locais e injeção de informações no servidor. Cada cliente, representando um hospital ou centro médico, treina um modelo multimodal e multitarefa em dados privados, que são então compartilhados com o servidor. Esses parâmetros do cliente são compilados e injetados em um modelo de base médica central no servidor, que é desenvolvido com o módulo M3OE Multitask. Este módulo seleciona dinamicamente sistemas especialistas para cada par de caminhos de tarefa, permitindo que o FEDKIM lide com situações médicas complexas. Este processo iterativo atualiza modelos locais e de servidor, permitindo integração eficiente de informações e proteção de privacidade.
O estudo avalia a eficácia do FEDKIM através de testes passivos e otimização. Em testes abstratos, onde as tarefas de treinamento e teste são diferentes, o FEDKIM oferece a melhor base como FedPlug e FedPlugL, especialmente no tratamento de tarefas abstratas, graças ao seu módulo M3OE que seleciona especialistas por adaptação. A FEDKIM também apresentou um forte desempenho com as bases FedAvg e FedProx, embora a FedProx tenha melhorado os resultados em geral. Testes de otimização de funções bem conhecidas confirmaram o alto desempenho do FEDKIM, especialmente em relação à variante FedPlug, pois o conhecimento injetado pela aprendizagem mútua provou ser útil. Estudos de ablação enfatizaram a necessidade de módulos FEDKIM, confirmando seu valor no tratamento de tarefas e procedimentos complexos de saúde.
Concluindo, o estudo apresenta o FEDKIM, um método para desenvolvimento de modelos de base médica por meio de injeção de conhecimento. A FEDKIM utiliza aprendizagem convergente para extrair informações de dados confidenciais de saúde distribuídos com segurança. Integra-se a um modelo central utilizando o módulo M3OE, que é flexível o suficiente para lidar com diversas funções e métodos. Esta técnica aborda desafios na IA médica, tais como limitações de privacidade e acesso limitado a dados, ao mesmo tempo que melhora o desempenho do modelo em tarefas complexas. Os resultados dos testes em todas as 12 funções e sete métodos confirmam a eficácia do FEDKIM, destacando o seu potencial para construir modelos completos de cuidados de saúde, que mantêm a privacidade sem acesso direto a dados sensíveis.
Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.
[Sponsorship Opportunity with us] Promova sua pesquisa/produto/webinar para mais de 1 milhão de leitores mensais e mais de 500 mil membros da comunidade
Sana Hassan, estagiária de consultoria na Marktechpost e estudante de pós-graduação dupla no IIT Madras, é apaixonada pelo uso de tecnologia e IA para enfrentar desafios do mundo real. Com um profundo interesse em resolver problemas do mundo real, ele traz uma nova perspectiva para a interseção entre IA e soluções da vida real.
Ouça nossos podcasts e vídeos de pesquisa de IA mais recentes aqui ➡️
