3 perguntas: Devemos rotular os programas de IA como fazemos com os medicamentos prescritos? | Notícias do MIT

Os sistemas de IA estão sendo cada vez mais implantados em ambientes críticos de saúde. No entanto, estes modelos por vezes produzem informações incorretas, fazem previsões tendenciosas ou falham por razões inesperadas, o que pode ter consequências graves para pacientes e enfermeiros.

Em um Comentário publicado hoje em Ciência Computacional da NaturezaA professora associada do MIT, Marzyeh Ghassemi, e a professora associada da Universidade de Boston, Elaine Nsoesie, argumentam que, para reduzir estes riscos potenciais, os sistemas de IA devem cumprir rótulos de consumo responsável, como os aprovados pela Food and Drug Administration dos EUA colocados em medicamentos prescritos.

Notícias do MIT conversou com Ghassemi sobre a necessidade de tais rótulos, as informações que ele deveria transmitir e como os processos de rotulagem podem ser implementados.

Pergunta: Por que precisamos de rótulos para o uso responsável de sistemas de IA em ambientes de saúde?

UM: Na área médica, temos uma situação interessante em que os médicos muitas vezes confiam em tecnologias ou tratamentos que não são totalmente compreendidos. Às vezes esta falta de compreensão é fundamental – o mecanismo por trás do paracetamol, por exemplo – mas às vezes isto é uma limitação da especialização. Não esperamos que os médicos saibam como fazer a manutenção de um aparelho de ressonância magnética, por exemplo. Em vez disso, temos programas de certificação através da FDA ou de outras agências governamentais, que certificam o uso de um dispositivo médico ou medicamento numa determinada área.

É importante ressaltar que as instalações médicas também possuem contratos de serviço – um técnico do fabricante consertará seu aparelho de ressonância magnética se ele não for devidamente reparado. Para os medicamentos aprovados, existem sistemas de vigilância e notificação pós-comercialização para lidar com efeitos ou eventos adversos, por exemplo, se muitas pessoas que tomam o medicamento parecem desenvolver uma doença ou reação alérgica.

Modelos e algoritmos, quer incluam IA ou não, incluem muitos desses processos de aprovação e monitoramento de longo prazo, e isso é algo que precisamos estar cientes. Muitos estudos anteriores mostraram que os modelos preditivos precisam ser cuidadosamente testados e monitorados. Para a IA produtiva mais recente, citamos trabalhos que demonstraram que a produtividade não tem garantia de ser justa, robusta ou imparcial. Como não temos o mesmo nível de supervisão sobre as previsões ou geração de modelos, pode ser ainda mais difícil detectar respostas problemáticas do modelo. Os modelos de produtividade actualmente utilizados pelos hospitais podem ser tendenciosos. Ter rótulos de uso é uma forma de garantir que os modelos não gerem automaticamente preconceitos aprendidos por médicos humanos ou pontuações de apoio a decisões clínicas insatisfatórias do passado.

Pergunta: Seu artigo descreve várias partes do rótulo para o uso adequado de IA, seguindo o processo de rotulagem de prescrição do FDA, incluindo usos aprovados, ingredientes, possíveis efeitos colaterais, etc. Que informações importantes esses rótulos devem transmitir?

UM: As coisas que o rótulo deve deixar claro são a hora, o local e a forma de uso pretendido do modelo. Por exemplo, o usuário deve saber que os modelos foram treinados em um determinado momento com dados de um determinado momento. Por exemplo, inclui dados que incluíram ou não a pandemia de Covid-19? Houve práticas de saúde muito diferentes durante a Covid que poderiam impactar os dados. Por isso defendemos que os “ingredientes” e os “estudos concluídos” do modelo sejam divulgados.

Quanto à localização, sabemos por pesquisas anteriores que os modelos treinados em um local tendem a ter um desempenho insatisfatório quando transferidos para outro local. Saber de onde vêm os dados e como o modelo foi desenvolvido entre essas populações pode ajudar a garantir que os usuários estejam cientes dos “potenciais efeitos colaterais”, de quaisquer “avisos e precauções” e de “reações adversas”.

Com um modelo treinado para prever um único resultado, saber a hora e o local do treinamento pode ajudá-lo a tomar decisões mais inteligentes sobre a implantação. Mas muitos modelos de produção são incrivelmente versáteis e podem ser usados ​​para muitos trabalhos. Aqui, a hora e o local podem ser menos informativos, e orientações claras sobre “condições de rotulagem” e “uso autorizado” versus “uso não autorizado” entram em jogo. Se um desenvolvedor testasse um modelo generativo para ler as anotações clínicas de um paciente e gerar códigos de cobrança prospectivos, ele poderia revelar que ele é tendencioso e sobrecarrega certas condições ou ignora outras. O usuário não vai querer usar esse modelo de produtividade para decidir quem receberá o encaminhamento para um especialista, mesmo que possa. Essa flexibilidade é a razão pela qual defendemos mais detalhes sobre como os modelos devem ser usados.

Em geral, recomendamos que você treine o melhor modelo que puder usar, usando as ferramentas disponíveis. Mas ainda assim, deveria haver mais divulgação. Nenhum modelo será perfeito. Como sociedade, compreendemos agora que nenhuma pílula é perfeita – há sempre algum risco. Deveríamos ter um entendimento comum dos modelos de IA. Qualquer modelo – com ou sem IA – tem limitações. Pode fornecer previsões realistas e bem treinadas sobre o futuro possível, mas aceite isso com o mínimo de sal que merece.

Pergunta: Se fossem utilizados rótulos de IA, quem os faria e como seriam regulamentados e aplicados?

UM: Se você não pretende que seu modelo seja usado na prática, então as divulgações que você pode fazer em publicações de pesquisa de alta qualidade são suficientes. Mas se você pretende que seu modelo seja usado em um ambiente humano, os desenvolvedores e implantadores devem criar rótulos iniciais, com base em alguns dos parâmetros estabelecidos. Deve haver verificação dessas reivindicações antes da submissão; numa crise de segurança, como a da saúde, podem estar envolvidas múltiplas agências do Departamento de Saúde e Serviços Humanos.

Para desenvolvedores de modelos, acho que saber que será necessário rotular as restrições do sistema exige uma consideração cuidadosa do processo em si. Se eu sei que em algum momento terei que divulgar a população para a qual o modelo foi treinado, não gostaria de divulgar que ele foi treinado apenas na conversa de usuários masculinos do chatbot, por exemplo.

Pensar em coisas como quem está coletando os dados, durante que período de tempo, qual foi o tamanho da amostra e como você decidiu quais dados incluir ou não incluir, pode abrir sua mente para possíveis problemas de uso.