Médicos usam IA para responder mensagens de pacientes; tendência preocupa especialistas

No entanto, cada vez mais, as respostas a essas mensagens não são escritas por médicos — pelo menos, não totalmente. Cerca de 15 mil médicos e seus assistentes, em mais de 150 sistemas de saúde, estão usando um novo recurso de inteligência artificial no MyChart para elaborar respostas a essas mensagens.

Muitos pacientes que recebem essas respostas não têm ideia de que foram escritas com a ajuda de inteligência artificial (IA). Em entrevistas, representantes de vários sistemas de saúde que usam a ferramenta reconheceram não divulgar que as mensagens contêm conteúdo gerado por IA.

Publicidade

A tendência preocupa alguns especialistas, que temem que os médicos possam não estar atentos o suficiente para detectar erros potencialmente perigosos em mensagens médicas significativas elaboradas por inteligência artificial.

Em uma indústria que tem usado amplamente a IA para lidar com tarefas administrativas, como resumir anotações de consultas ou recorrer a negativas de seguro, críticos temem que a ampla adoção da ferramenta MyChart tenha permitido que a inteligência artificial invada a tomada de decisões clínicas e as relações entre médicos e pacientes.

A ferramenta já pode ser instruída a escrever na voz de um médico individual. Mas não redige sempre respostas corretas.

— A proposta de venda é que isso deve economizar tempo, para que eles possam passar mais tempo conversando com os pacientes — explica Athmeya Jayaram, pesquisador do Centro Hastings, um instituto de pesquisa em bioética em Garrison, em Nova York. — No caso, estão tentando economizar tempo falando com os pacientes com IA generativa.

Durante o pico da pandemia, quando consultas presenciais eram frequentemente reservadas para os pacientes mais graves, muitos recorreram às mensagens do MyChart como uma rara linha direta de comunicação com seus médicos. Apenas anos mais tarde, os provedores perceberam um problema: mesmo após a maioria dos aspectos da saúde ter voltado ao normal, ainda estavam sobrecarregados com mensagens de pacientes.

Médicos já sobrecarregados estavam repentinamente passando intervalos para o almoço e noites respondendo essas demandas. Os líderes hospitalares temiam que, se não encontrassem uma maneira de reduzir esse trabalho extra — em grande parte não remunerado —, as mensagens dos pacientes se tornariam um grande fator de burnout entre os profissionais da saúde.

Assim, no início de 2023, quando a Epic, a gigante de software que desenvolveu o MyChart, começou a oferecer uma nova ferramenta que usava IA para compor respostas, alguns dos maiores centros médicos acadêmicos do país estavam ansiosos para adotá-la. Ao invés de começar cada mensagem com uma tela em branco, o médico vê a resposta gerada automaticamente acima da pergunta do paciente.

A resposta é criada com uma versão do GPT-4 (a tecnologia por trás do ChatGPT), que está em conformidade com as leis de privacidade médica. A ferramenta MyChart, chamada In Basket Art, utiliza o contexto das mensagens anteriores do paciente e informações de seus registros médicos eletrônicos, como uma lista de medicamentos, para criar um rascunho que os provedores podem aprovar ou alterar.

Ao permitir que os médicos atuem mais como editores, os sistemas de saúde esperavam conseguir responder mais rapidamente às mensagens dos pacientes e gastar menos energia mental ao fazê-lo. Isso foi parcialmente confirmado em estudos iniciais, que descobriram que a Art reduziu sentimentos de burnout e carga cognitiva, mas não necessariamente economizou tempo.

Centenas de clínicos no U.C. San Diego Health, mais de cem provedores no U.W. Health, em Wisconsin, e todos os clínicos licenciados nas práticas de cuidados primários do Stanford Health Care — incluindo médicos, enfermeiros e farmacêuticos — têm acesso à ferramenta de IA. Duzentos médicos no Northwestern Health, na Universidade de Nova Yourk. Langone Health e U.N.C. Health estão testando a Art enquanto os líderes consideram uma expansão mais ampla.

Na ausência de regulamentações federais fortes ou estruturas éticas amplamente aceitas, cada sistema de saúde decide como testar a segurança da ferramenta e se deve informar os pacientes sobre seu uso.

Alguns sistemas hospitalares, como o U.C. San Diego Health, colocam uma divulgação na parte inferior de cada mensagem explicando que ela foi “gerada automaticamente” e revisada e editada por um médico.

— Não vejo, pessoalmente, nenhuma desvantagem em ser transparente — avalia Christopher Longhurst, o chefe clínico e oficial de inovação do sistema de saúde.

Os pacientes geralmente aceitaram bem a nova tecnologia, conta ele. (Um médico recebeu um e-mail dizendo: “Quero ser o primeiro a te parabenizar pelo seu co-piloto de ia e ser o primeiro a te enviar uma mensagem de paciente gerada por ela”)

Outros sistemas — incluindo Stanford Health Care, U.W. Health, U.N.C. Health e N.Y.U. Langone Health — decidiram que notificá-los causaria mais mal do que bem. Alguns administradores temiam que os médicos vissem o aviso como uma desculpa para enviar mensagens aos pacientes sem revisá-las adequadamente, relembra Brian Patterson, diretor administrativo clínico de IA no U.W. Health.

E informar os pacientes de que a mensagem continha conteúdo gerado por inteligência artificial poderia desvalorizar o aconselhamento clínico, mesmo que fosse endossado por seus médicos, completa Paul Testa, chefe de informações médicas do NYU Langone Health.

Para Jayaram, a decisão de divulgar o uso da ferramenta se resume a uma pergunta simples: o que os pacientes esperam? Quando eles enviam uma mensagem sobre sua saúde, explica o profissional, assumem que seus médicos considerarão seu histórico, preferências de tratamento e dinâmicas familiares — intangíveis extraídos de relacionamentos duradouros.

— Quando você lê uma nota de um médico, faz isso na voz dele — descreve ele. — Se um paciente soubesse que, na verdade, a mensagem que está trocando com seu médico foi gerada por IA, acho que ele se sentiria legitimamente traído.

Para muitos sistemas de saúde, criar um algoritmo que imita convincente a “voz” de um médico específico ajuda a tornar a ferramenta útil. De fato, a Epic começou recentemente a dar ao seu sistema maior acesso a mensagens passadas, para que os rascunhos pudessem imitar o estilo de escrita individual de cada médico.

Brent Lamm, chefe de informações do U.N.C. Health, relata que esse movimento abordou queixas comuns que ouvia dos médicos: “Minha voz pessoal não está se manifestando” ou “Conheço esse paciente há sete anos. Ele vai saber que não sou eu”

Administradores de saúde frequentemente se referem à Art como um uso de IA de baixo risco, já que, idealmente, um provedor está sempre revisando os rascunhos e corrigindo erros. Essa caracterização irrita pesquisadores que estudam como os humanos trabalham em relação à inteligência artificial. Ken Holstein, professor do instituto de interação humano-computador da Carnegie Mellon, disse que a representação “vai contra cerca de 50 anos de pesquisa”.

Os humanos têm uma tendência bem documentada, chamada de viés de automação, de aceitar as recomendações de um algoritmo, mesmo que contradiga a própria experiência, pondera o pesquisador. Esse viés poderia fazer com que os médicos fossem menos críticos ao revisar rascunhos gerados por IA, permitindo que erros perigosos chegassem aos pacientes.

E a Art não está imune a erros. Um estudo recente descobriu que sete dos 116 rascunhos gerados por inteligência artificial continham o que são chamados de alucinações — invenções pelas quais a tecnologia é notoriamente conhecida

Vinay Reddy, médico de família no U.N.C. Health, lembrou-se de um caso em que um paciente enviou uma mensagem a um colega para verificar se precisava de uma vacina contra hepatite B. O rascunho gerado assegurou que ele havia recebido as vacinas e forneceu datas para comprová-las. No entanto, isso era completamente falso e ocorreu porque o modelo não tinha acesso aos registros de vacinação dela, segundo ele.

Um pequeno estudo publicado no The Lancet Digital Health descobriu que o GPT-4, o mesmo modelo de IA que fundamenta a ferramenta da Epic, cometeu erros mais insidiosos ao responder perguntas hipotéticas de pacientes.

Os médicos que revisaram suas respostas descobriram que os rascunhos, se deixados sem edição, apresentariam risco de grave dano cerca de 7% das vezes.

O que tranquiliza Eric Poon, chefe de informações de saúde do Duke Health, é que o modelo produz rascunhos ainda “moderados em qualidade”, o que acredita manter os médicos céticos e vigilantes quanto à detecção de erros.

Em média, menos de um terço dos rascunhos gerados por IA. são enviados aos pacientes sem edição, de acordo com Epic. É um indicativo para os administradores hospitalares de que os médicos não estão apenas carimbando mensagens.

— Uma pergunta que fica na minha mente é: e se a tecnologia melhorar? E se os clínicos começarem a relaxar a guarda? Os erros vão passar despercebidos?

A Epic construiu barreiras no programa para evitar que a Art ofereça conselhos clínicos, detalha Garrett Adams, vice-presidente de pesquisa e desenvolvimento da empresa. Ele afirma que a ferramenta é mais adequada para responder perguntas administrativas comuns, como “Quando é minha consulta?” ou “Posso remarcar meu check-up?”

Mas os pesquisadores não desenvolveram maneiras de forçar de forma confiável os modelos a seguir instruções, critica Holstein.

Anand Chowdhury, que ajudou a supervisionar a implantação da Art no Duke Health, disse que ele e os colegas ajustaram repetidamente as instruções para impedir que a ferramenta desse conselhos clínicos, com pouco sucesso.

— Não importa o quanto tentássemos, não conseguíamos eliminar seu instinto de tentar ser útil — recorda.

Três sistemas de saúde informaram ao The New York Times que removeram algumas barreiras das instruções.

Longhurst, do U.C. San Diego Health, disse que o modelo “desempenhou melhor” quando a linguagem que instruía a Art a não “responder com informações clínicas” foi removida. Os administradores se sentiram confortáveis em dar mais liberdade à inteligência artificial, uma vez que os médicos revisam as mensagens.

O Stanford Health Care assumiu um “risco gerenciado” para permitir que a Art “pense mais como um clínico”, depois que algumas das barreiras mais rígidas pareceram tornar os rascunhos genéricos e pouco úteis, segundo Christopher Sharp, chefe de informações médicas do sistema de saúde.

Além das questões de segurança e transparência, alguns bioeticistas têm uma preocupação mais fundamental: é assim que queremos usar IA na medicina? Diferente de muitas outras ferramentas de IA na saúde, a Art não foi projetada para melhorar os resultados clínicos (embora um estudo sugira que as respostas possam ser mais empáticas e positivas) e não está focada estritamente em tarefas administrativas.

Em vez disso, parece estar invadindo raros momentos em que pacientes e médicos poderiam realmente se comunicar diretamente — o tipo de momentos que a tecnologia deveria estar permitindo, avalia Daniel Schiff, co-diretor do Laboratório de Governança e IA Responsável da Universidade de Purdue.