CancerLLM: um grande modelo de linguagem no domínio do câncer

LLMs médicos, como ClinicalCamel 70B e Llama3-OpenBioLLM 70B, mostraram forte desempenho em várias tarefas médicas de PNL, mas atualmente não existe nenhum modelo projetado especificamente para o domínio do câncer. Além disso, esses modelos, com bilhões de parâmetros, são computacionalmente intensivos para muitos sistemas de saúde. Um LLM focado no câncer, que inclui conhecimento especializado em câncer, pode melhorar muito o diagnóstico e o planejamento do tratamento. No entanto, os elevados requisitos computacionais dos modelos existentes realçam a necessidade de LLMs pequenos e eficientes que sejam acessíveis a instalações de saúde com recursos limitados, permitindo um acesso mais amplo e melhores cuidados aos pacientes no tratamento do cancro.

Pesquisadores de diversas instituições, incluindo a Universidade de Minnesota e Yale, lançaram o CancerLLM, um modelo de linguagem de 7 bilhões de parâmetros baseado na arquitetura Mistral. Pré-treinado em mais de 2,6 milhões de notas clínicas e 500.000 relatórios patológicos cobrindo 17 tipos de câncer, o CancerLLM estava bem preparado para extração de fenótipos de câncer e tarefas de produção de diagnóstico. Superou os modelos existentes em 7,61% nas pontuações F1 e teve um desempenho muito bom em testes de robustez envolvendo fatos verdadeiros e erros ortográficos. Este modelo visa melhorar a investigação sobre o cancro e a prestação de cuidados de saúde através do desenvolvimento de sistemas clínicos de IA, fornecendo uma referência para atividades centradas no cancro e fornecendo uma ferramenta robusta e eficiente para profissionais médicos.

O fluxo de trabalho do CancerLLM começa com a injeção de informações específicas do câncer, seguida pelo planejamento de instruções. Usando notas clínicas e relatórios patológicos de 31.465 pacientes, o modelo foi pré-treinado para extrair fenótipos de câncer, gerar diagnósticos e sugerir planos de tratamento. CancerLLM identifica entidades como tamanho, tipo e estágio do fenótipo do tumor. A geração de diagnóstico usa notas clínicas para prever diagnósticos de câncer. O modelo foi ajustado e testado usando métricas como Exact Match, BLEU-2 e ROUGE-L, 14 modelos básicos que tiveram um desempenho muito bom e mostraram robustez a falsos positivos e erros ortográficos, alcançando a mais alta precisão, recall e pontuações de -F1 em comparação com LLMs médicos existentes. .

Os resultados mostram que o CANCERLLM supera significativamente outros LLMs médicos em múltiplas tarefas, incluindo geração de diagnóstico de câncer e extração de fenótipos. Ele melhora em relação às linhas de base como Mistral 1*7B e Bio-Mistral 7B, com melhorias significativas de 28,93% e 17,92% nas pontuações de produção de diagnóstico F1, respectivamente. CANCERLLM também alcança melhores resultados do que LLMs com parâmetros grandes, como Llama3-OpenBioLLM-70B e ClinicalCamel-70B, indicando que o tamanho do modelo por si só não é suficiente sem informações específicas do domínio. Além disso, é robustamente à prova de falsos positivos e erros ortográficos, mantendo o desempenho em vários níveis de erros de entrada. Seu equilíbrio favorável entre uso de memória GPU e tempo de produção destaca a eficiência do modelo. É mais eficiente do que modelos maiores como o ClinicalCamel-70B em termos de utilização de recursos, ao mesmo tempo que oferece resultados competitivos ou superiores.

Na tarefa de produzir um diagnóstico de câncer, o CancerLLM foi pré-treinado e ajustado para testar seu desempenho. Apesar do Bio-Mistral 7B ter alcançado o melhor desempenho entre os modelos básicos, principalmente devido ao seu extenso processamento de empresas médicas como a PubMed Central, o CancerLLM superou todos os modelos, incluindo o Mistral 8*7B baseado em MoE. Notavelmente, mesmo modelos com parâmetros maiores, como Llama3-OpenBioLLM-70B e ClinicalCamel-70B, não superaram o Bio-Mistral 7B, enfatizando que são necessários mais parâmetros para garantir melhores resultados. Os resultados revelaram que o conhecimento específico do domínio do CancerLLM contribuiu para o seu alto desempenho, principalmente na geração de diagnóstico de câncer. No entanto, a precisão do modelo diminui quando encarregado de diagnósticos mais complexos, como gerar um diagnóstico baseado em CDI. Apesar disso, o CancerLLM tem se mostrado eficaz na redução do tempo de treinamento e no uso de recursos, proporcionando benefícios significativos para instituições médicas com recursos computacionais limitados.

Na tarefa de extração do fenótipo do câncer, embora o ClinicalCamel-70B tenha apresentado as melhores pontuações de F1, seu grande tamanho resultou em tempos lentos de treinamento e expressão. CancerLLM, com seu pequeno tamanho de parâmetro, foi comparado com Mistral 8*7B e Llama2 13B, mostrando sua eficiência em ambientes ricos em recursos. O desempenho do modelo foi calculado usando notas clínicas e relatórios patológicos durante o treinamento, embora dados de anotação limitados possam limitar o desempenho na extração de fenótipos. CancerLLM também mostrou robustez contra falsos positivos e erros ortográficos, embora seu desempenho tenha diminuído quando a taxa de erros ortográficos ultrapassou 60%. Estas descobertas destacam a importância de anotações de alta qualidade, pré-processamento cuidadoso de dados e a necessidade de enfrentar desafios específicos, como erros ortográficos e interpretações incorretas do contexto, para melhorar as capacidades de diagnóstico do CancerLLM.

Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter de novo LinkedIn. Junte-se a nós Estação telefônica.

Se você gosta do nosso trabalho, você vai gostar do nosso jornal..

Não se esqueça de participar do nosso Mais de 50k ML SubReddit

Sana Hassan, estagiária de consultoria na Marktechpost e estudante de pós-graduação dupla no IIT Madras, é apaixonada por usar tecnologia e IA para enfrentar desafios do mundo real. Com um profundo interesse em resolver problemas do mundo real, ele traz uma nova perspectiva para a intersecção entre IA e soluções da vida real.