Para o olho destreinado, uma imagem médica, como uma ressonância magnética ou um raio X, aparece como uma coleção borrada de manchas pretas e brancas. Pode ser difícil determinar quando uma estrutura (como um tumor) termina e outra começa.
Quando treinados para compreender os parâmetros das estruturas biológicas, os sistemas de IA podem distinguir (ou descrever) regiões de interesse para médicos e profissionais médicos que desejam monitorá-las em busca de doenças e outras anormalidades. Em vez de perder um tempo precioso traçando a anatomia manualmente em várias imagens, um assistente artificial pode fazer isso por você.
Ser pego? Pesquisadores e médicos devem rotular inúmeras imagens para treinar seu sistema de IA antes que elas possam ser classificadas com precisão. Por exemplo, você precisará descrever o córtex cerebral em vários exames de ressonância magnética para treinar um modelo supervisionado e entender como o formato do córtex pode variar em diferentes cérebros.
Além dessa tediosa coleta de dados, pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) do MIT, do Massachusetts General Hospital (MGH) e da Harvard Medical School desenvolveram a estrutura interativa “ScribblePrompt”: uma ferramenta flexível que pode ajudar a classificar rapidamente qualquer imagem médica. . , até mesmo espécies que nunca foram vistas antes.
Em vez de fazer com que as pessoas marcassem manualmente cada imagem, a equipe mediu como os usuários anotariam mais de 50 mil exames, incluindo ressonâncias magnéticas, ultrassons e fotos, de todas as estruturas dos olhos, células, cérebro, ossos, pele e muito mais. Para rotular todas essas varreduras, a equipe usou algoritmos para simular como as pessoas digitariam e clicariam em diferentes regiões das imagens médicas. Além das regiões comumente rotuladas, a equipe também usou algoritmos de superpixel, que encontram partes de uma imagem com valores semelhantes, para identificar novas áreas de interesse para pesquisadores médicos e treinar o ScribblePrompt para classificá-las. Esses dados sintéticos configuraram o ScribblePrompt para lidar com solicitações de classificação do mundo real dos usuários.
“A IA tem um enorme potencial para analisar imagens e outros dados de alta dimensão para ajudar as pessoas a fazer as coisas com mais eficiência”, disse Hallee Wong SM ’22, estudante de doutorado do MIT, autora principal de um novo artigo sobre ScribblePrompt e seu parceiro CSAIL. “Queremos aumentar, e não substituir, os esforços da equipe médica por meio de um programa colaborativo. ScribblePrompt é um modelo simples que funciona bem para ajudar os médicos a se concentrarem nas partes mais interessantes de suas análises. É mais rápido e preciso do que métodos de segmentação ativa comparáveis, reduzindo o tempo de anotação em 28% em comparação com a estrutura Segment Anything Model (SAM) da Meta, por exemplo.”
A interface do ScribblePrompt é simples: os usuários podem rabiscar na área aproximada que desejam destacar ou clicar nela, e a ferramenta destacará toda a estrutura ou plano de fundo conforme solicitado. Por exemplo, você pode clicar em veias individuais em uma varredura da retina (olho). ScribblePrompt também pode marcar o layout fornecido pela caixa responsável.
Em seguida, a ferramenta pode fazer ajustes com base no feedback do usuário. Se você quiser destacar o rim no ultrassom, poderá usar uma caixa delimitadora e escrever em partes adicionais da estrutura se o ScribblePrompt perder alguma borda. Se quiser editar seu segmento, você pode usar “rabisco negativo” para remover determinadas regiões.
Esses recursos interativos e autocorretivos tornam o ScribblePrompt uma ferramenta preferida entre os pesquisadores de neuroimagem do MGH para pesquisa de usuários. 93,8% desses usuários preferiram o método MIT à base SAM no desenvolvimento de seus segmentos em resposta às correções de escrita. Em termos de edição baseada em cliques, 87,5% dos pesquisadores médicos preferem o ScribblePrompt.
O ScribblePrompt foi treinado em texto editado e clica em 54.000 imagens em 65 conjuntos de dados, incluindo varreduras de olhos, tórax, coluna, células, pele, músculos abdominais, pescoço, cérebro, ossos, dentes e lesões. O modelo praticou 16 tipos de imagens médicas, incluindo microscopias, tomografias computadorizadas, raios X, ressonâncias magnéticas, ultrassonografias e fotografias.
“Muitos métodos existentes não respondem bem quando os usuários escrevem nas imagens porque é difícil simular tais interações no treinamento. No ScribblePrompt, conseguimos forçar nosso modelo a prestar atenção a diferentes entradas usando nossas funções de classificação artificial”, disse Wong. “Queríamos treinar um modelo básico em muitos dados diferentes para que ele pudesse se adaptar a novos tipos de imagens e tarefas”.
Depois de coletar tantos dados, a equipe testou o ScribblePrompt em todos os 12 novos conjuntos de dados. Embora nunca tenha visto essas imagens antes, ele superou os quatro métodos existentes, segmentando muito bem e fornecendo previsões precisas sobre as regiões exatas que os usuários desejam destacar.
“A segmentação é uma tarefa muito comum na análise de imagens biomédicas, amplamente realizada tanto na prática clínica de rotina quanto na pesquisa – resultando em ambos um passo único e importante e impactante”, disse o autor sênior Adrian Dalca SM ’12, PhD. ’16, cientista pesquisador do CSAIL e professor assistente no MGH e na Harvard Medical School. “O ScribblePrompt foi cuidadosamente projetado para ser útil para médicos e pesquisadores, tornando essa etapa muito mais rápida.”
“A maioria dos algoritmos de classificação desenvolvidos em análise de imagens e aprendizado de máquina são, pelo menos até certo ponto, baseados em nossa capacidade de interpretar imagens manualmente”, disse o professor de radiologia da Harvard Medical School e cientista do MGH, Bruce Fischl, que não esteve envolvido na colaboração. papel. “O problema é pior nas imagens médicas, onde as nossas ‘imagens’ são geralmente volumes 3D, já que os humanos não têm razão evolutiva ou natural para serem bons na interpretação de imagens 3D. O ScribblePrompt permite que a anotação manual seja feita de forma mais rápida e precisa, treinando a rede precisamente nos tipos de interações que uma pessoa normalmente teria com uma imagem enquanto anotava manualmente. O resultado é uma interface intuitiva que permite que as anotações interajam naturalmente com os dados para visualização com maior produtividade do que era possível anteriormente.”
Wong e Dalca foram coautores do artigo com dois outros colaboradores do CSAIL: John Guttag, professor Dugald C. Jackson de EECS no MIT e investigador principal do CSAIL; e a estudante de doutorado do MIT Marianne Rakic SM ’22. Seu trabalho foi apoiado, em parte, pela Quanta Computer Inc., pelo Centro Eric e Wendy Schmidt do Broad Institute, Wistron Corp., e pelo Instituto Nacional de Imagens Biomédicas e Bioengenharia dos Institutos Nacionais de Saúde, com suporte de hardware de o Centro de Ciências da Vida de Massachusetts.
O trabalho de Wong e colegas será apresentado na Conferência Europeia sobre Visão Computacional de 2024 e apresentado como uma apresentação oral em um workshop DCAMI na Conferência sobre Visão Computacional e Reconhecimento de Padrões no início deste ano. Eles receberam o prêmio Bench-to-Bedside Paper no workshop sobre o potencial impacto clínico do ScribblePrompt.
