Portal InstitucionalUFPEL

Durante uma internação hospitalar, informações relevantes sobre a trajetória do paciente são registradas de forma distribuída entre anamneses, evoluções médicas e multiprofissionais, exames laboratoriais, procedimentos e campos estruturados do prontuário eletrônico. Em internações prolongadas, reconstruir posteriormente essa trajetória pode exigir a consulta a diversos registros produzidos em momentos distintos, incluindo documentos repetidos, retificados, conflitantes ou registrados após o evento clínico. Esse cenário torna a recuperação das informações mais complexa não apenas para atividades assistenciais, mas também para pesquisa, revisão de casos e organização de dados clínicos.
Modelos de linguagem oferecem uma possibilidade de facilitar esse processo ao sintetizar grandes volumes de registros e responder perguntas em linguagem natural. Entretanto, essa capacidade introduz uma limitação relevante no contexto hospitalar: uma resposta linguisticamente adequada e clinicamente plausível não significa necessariamente que a informação tenha sido documentada para aquele paciente. Esses modelos também utilizam conhecimento adquirido durante seu treinamento, denominado conhecimento paramétrico, e podem favorecer associações previamente aprendidas, completar informações ausentes ou produzir conclusões compatíveis com um quadro clínico sem que elas estejam efetivamente sustentadas pelos registros fornecidos.
Estudos recentes têm demonstrado que esse problema persiste mesmo em modelos com bom desempenho em tarefas médicas. O MedEinst mostrou que modelos capazes de responder corretamente a casos clínicos convencionais podem manter a mesma conclusão quando evidências discriminativas do caso são modificadas e deveriam levar a outro diagnóstico, indicando dependência de padrões previamente aprendidos em detrimento da evidência específica apresentada (Chen et al., 2026). De forma semelhante, MamaBench demonstrou que o desempenho obtido em casos clínicos isolados pode superestimar a robustez do modelo quando pequenas alterações clinicamente relevantes são introduzidas nos casos (Adewuyi et al., 2026).
Além disso, disponibilizar uma fonte de informação ao modelo ou solicitar que ele apresente evidências não garante que sua resposta tenha sido efetivamente determinada por essa fonte. Arasteh et al. (2026) destacam que modelos podem ignorar evidências fornecidas, utilizar atalhos presentes no próprio caso ou explorar relações superficiais entre uma afirmação e um trecho de texto sem aprender se a evidência realmente sustenta aquela afirmação. Nesse contexto, avaliar apenas a qualidade da resposta ou a presença de uma citação é insuficiente. É necessário verificar a relação entre a afirmação produzida e a evidência que deveria sustentá-la e, quando possível, testar se a resposta se modifica de maneira coerente quando essa evidência é removida ou alterada.
Essa distinção é especialmente importante quando a fonte consultada é o próprio prontuário eletrônico. Para responder, por exemplo, se determinado exame estava negativo em certo momento da internação, não basta produzir uma resposta clinicamente plausível. É necessário distinguir se o resultado estava efetivamente registrado naquele momento, se ainda estava
pendente, se existiam informações conflitantes ou se a confirmação somente surgiu posteriormente. Da mesma forma, ausência de registro não deve ser automaticamente convertida em ausência de uma condição clínica. Sistemas baseados em modelos de linguagem precisam, portanto, ser avaliados não apenas pela capacidade de produzir uma resposta, mas também pela capacidade de relacionar suas afirmações às informações efetivamente disponíveis no prontuário.
Esse princípio é particularmente relevante para o desenvolvimento de tecnologias de consulta a registros clínicos. Em vez de fornecer somente uma síntese textual, uma abordagem baseada em evidências verificáveis pode permitir que o profissional ou pesquisador identifique quais registros sustentam determinada afirmação, em que momento a informação foi documentada e quando os dados disponíveis são insuficientes ou conflitantes. Trabalhos recentes também têm enfatizado a importância dessa rastreabilidade. O VERDICT, por exemplo, parte do princípio de que decisões produzidas por sistemas de inteligência artificial devem permitir a inspeção das evidências, premissas e condições que sustentam suas conclusões, em vez de apresentar apenas uma justificativa linguisticamente plausível (Zhou et al., 2026).
Para o HE-UFPEL, o desenvolvimento dessa linha de pesquisa pode gerar benefícios que ultrapassam a avaliação de um modelo específico. A organização longitudinal dos registros e a construção de relações entre perguntas, respostas e evidências podem contribuir para formas mais rastreáveis de exploração dos dados clínicos, com aplicações potenciais em pesquisa, revisão retrospectiva de casos e desenvolvimento futuro de ferramentas de consulta aos prontuários. Nesta etapa, o projeto não pretende substituir a consulta ao prontuário original, recomendar condutas ou demonstrar benefício assistencial. Seu objetivo é desenvolver e avaliar os elementos metodológicos necessários para que respostas produzidas automaticamente possam ser verificadas antes de qualquer aplicação clínica.
A proposta também se apoia em experiência institucional prévia. O projeto “Abordagens de aprendizado de máquina para predição de sepse precoce e tardia em um hospital escola no Sul do Brasil” estabeleceu procedimentos para extração de dados do AGHUx e incluiu dados neonatais, maternos, microbiológicos e registros textuais. Trabalhos derivados dessa iniciativa também utilizaram modelos de linguagem, como Gemma 3 e Qwen3 executados localmente, para transformar informações presentes em textos livres do prontuário em variáveis estruturadas (Heling et al., 2025). O presente estudo aproveita esse conhecimento operacional, amplia o período analisado até agosto de 2026 e propõe uma finalidade distinta: estudar como respostas produzidas a partir dos registros podem ser associadas e verificadas em relação às evidências disponíveis.
Embora a Unidade de Terapia Intensiva Neonatal constitua o cenário inicial do estudo, o problema investigado não é exclusivo da neonatologia ou da sepse. A necessidade de relacionar perguntas sobre a trajetória de um paciente às informações efetivamente documentadas ocorre em diferentes especialidades e contextos hospitalares. Dessa forma, os métodos desenvolvidos para organização longitudinal dos registros, associação entre afirmações e evidências e identificação de informações não sustentadas poderão servir de base para estudos posteriores em outras áreas do HE-UFPEL e em outras instituições.
A pergunta científica que orienta o estudo é: como detectar automaticamente se uma resposta livre gerada por um modelo de linguagem está sustentada pelas evidências disponíveis em um prontuário clínico longitudinal?

7.1 Delineamento do estudo
Estudo retrospectivo, observacional e metodológico com dados secundários de prontuários de pacientes internados na Unidade de Terapia Intensiva Neonatal (UTIN) do HE-UFPel. Serão organizados registros clínicos longitudinais, construído um conjunto de referência de perguntas, respostas e evidências e avaliados modelos de linguagem e métodos de verificação de afirmações. A taxonomia, a anotação, os modelos e as métricas poderão ser refinados após o inventário dos dados e o estudo piloto; as definições da avaliação final serão documentadas antes da análise do teste. Não haverá intervenção clínica, contato com pacientes ou uso assistencial dos resultados.
7.2 População e unidade de análise
A população será composta pelas internações na Unidade de Terapia Intensiva Neonatal do HE-UFPEL entre janeiro de 2023 e agosto de 2026 que atendam aos critérios de inclusão e às autorizações institucionais e éticas. A divisão dos dados para desenvolvimento e avaliação será realizada por paciente, de forma que registros de uma mesma pessoa não sejam distribuídos entre conjuntos distintos. Conforme a análise, poderão ser consideradas como unidades a internação, a pergunta ou a afirmação gerada.
7.3 Critérios de inclusão e exclusão
Serão elegíveis internações do período definido que possuam registros autorizados relevantes aos objetivos da pesquisa. A ausência de determinadas informações não implicará necessariamente exclusão, pois a capacidade de reconhecer informação insuficiente constitui parte do problema estudado.
Registros duplicados, cancelados, corrompidos ou inadequados para análise poderão ser excluídos segundo critérios definidos após o inventário dos dados e devidamente documentados.
7.4 Fontes de dados
Conforme a disponibilidade e a autorização institucional, poderão ser utilizados textos e campos estruturados do prontuário, como anamneses, evoluções multiprofissionais, exames, culturas, sinais vitais, procedimentos e metadados temporais. Identificadores pseudonimizados permitirão organizar os registros por internação. Quando autorizado e pertinente, poderão ser considerados vínculos entre dados maternos, do parto e do recém-nascido. A seleção final dos campos seguirá o princípio de minimização dos dados.
7.5 Inventário e preparação dos registros
Após a extração autorizada e a desidentificação, os registros serão inventariados quanto a volume, tipo, completude, duplicações e características temporais. Serão organizados longitudinalmente, distinguindo, quando possível, o momento do evento clínico do momento em que foi registrado.
7.6 Construção das perguntas, respostas e evidências
Serão construídas perguntas que possam ser respondidas a partir dos registros autorizados, priorizando situações relevantes para consulta retrospectiva ao prontuário, sem solicitar ao modelo nova recomendação de conduta.
Cada pergunta poderá ser associada a um momento de corte da internação, de modo que somente informações disponíveis até aquele instante sejam consideradas. Essa estratégia permitirá distinguir o que estava documentado em determinado momento de informações registradas posteriormente. A taxonomia de perguntas será definida e refinada após o inventário e o estudo piloto, com participação da equipe clínica e de pesquisa.
7.7 Esquema de anotação
O conjunto de referência associará a cada pergunta uma resposta esperada e os registros necessários para sustentá-la. Quando pertinente, as respostas serão divididas em afirmações verificáveis, ligadas aos trechos e momentos correspondentes. A anotação distinguirá informação sustentada, contradita ou indeterminável a partir dos registros. Estados adicionais, como incerteza e conflito entre documentos, poderão ser definidos após o piloto e descritos no manual de anotação.
7.8 Processo de anotação clínica
A equipe clínica participará da definição das perguntas e do manual e validará uma amostra piloto. O número de revisores, a amostragem, a análise de concordância e a resolução de divergências serão definidos conforme os resultados do piloto e a disponibilidade da equipe. Ferramentas automáticas poderão apoiar a seleção de trechos ou a divisão das respostas em afirmações; o conjunto de referência da avaliação final terá validação humana apropriada.
7.9 Geração das respostas
Modelos de linguagem responderão às perguntas com base nos registros disponíveis para cada caso e momento de corte. Conforme o experimento, as respostas deverão indicar as evidências utilizadas. Serão priorizados modelos compatíveis com a infraestrutura autorizada, considerando licença, capacidade de processar o contexto, desempenho em português e recursos computacionais.
7.10 Decomposição e verificação das afirmações
As respostas poderão ser decompostas em afirmações verificáveis, permitindo avaliar individualmente se cada informação produzida pelo modelo encontra suporte nos registros disponíveis.
Serão investigados métodos automáticos para estimar essa relação entre afirmação e evidência. Poderão ser utilizados métodos baseados em características textuais, inferência textual, modelos de linguagem, medidas de confiança e, quando tecnicamente possível, sinais internos de modelos com pesos acessíveis. A seleção final dos métodos ocorrerá após as análises exploratórias e será comparada com abordagens de referência apropriadas.
7.11 Intervenções sobre a evidência
Além da avaliação convencional, poderão ser realizadas intervenções controladas sobre as evidências para verificar se as respostas dos modelos dependem efetivamente das informações fornecidas. Essas intervenções poderão envolver, por exemplo, a retirada de um trecho relevante ou sua substituição por informação incompatível.
Também poderão ser utilizados controles em que alterações sem relevância para a resposta são introduzidas, permitindo avaliar se o sistema permanece estável diante de mudanças que não deveriam afetar sua conclusão. Todos os exemplos modificados serão identificados como dados derivados e mantidos separados dos registros originais.
7.12 Divisão dos dados e prevenção de vazamento
Os conjuntos de treinamento, validação e teste serão separados por paciente. Assim, perguntas, respostas e versões modificadas de uma mesma internação permanecerão no mesmo subconjunto, evitando vazamento de informação (situação em que o método é avaliado com conteúdo muito semelhante ao que já utilizou no desenvolvimento). Quando o volume de dados permitir, também será feita validação temporal: períodos anteriores serão usados no desenvolvimento e um período posterior será reservado para teste. Nenhum trecho do conjunto de teste será utilizado para ajustar prompts, treinar modelos ou escolher limiares.

7.13 Métricas e análise estatística
A avaliação considerará diferentes dimensões do sistema, incluindo a qualidade das respostas produzidas, a adequação das evidências associadas, a capacidade dos verificadores de distinguir afirmações sustentadas e não sustentadas e o comportamento dos modelos diante de intervenções controladas sobre a evidência.
As métricas específicas e os critérios quantitativos de comparação serão definidos após o estudo piloto, de acordo com a distribuição dos dados e as tarefas efetivamente selecionadas. A análise final utilizará métodos estatísticos adequados à dependência entre múltiplas observações provenientes de um mesmo paciente. Quando forem avaliados componentes adicionais, como sinais internos dos modelos, serão realizadas comparações com métodos mais simples para estimar sua contribuição incremental.
7.14 Protótipo offline
Os componentes desenvolvidos poderão ser integrados em um protótipo offline para demonstração interna. O protótipo deverá permitir consultar casos pseudonimizados e visualizar respostas acompanhadas das respectivas evidências e informações de suporte.O protótipo será utilizado exclusivamente para fins de pesquisa e demonstração, sem integração ao AGHUx, recomendação de conduta ou utilização assistencial nesta etapa.
7.15 Aspectos éticos e proteção dos dados
O projeto será cadastrado no Rede Pesquisa para análise institucional e emissão da Carta de Anuência pelo HE-UFPel. Em seguida, será submetido ao CEP pela Plataforma Brasil. O acesso aos prontuários e o início dos experimentos dependerão do parecer favorável do CEP e da autorização final do hospital.
7.15.2 Proteção e governança dos dados
O principal risco é a exposição de informações dos pacientes. Serão adotadas medidas de minimização, desidentificação, controle de acesso e processamento em ambiente autorizado. Os prontuários não serão enviados a contas pessoais ou serviços externos não autorizados.
7.15.3 Dispensa de consentimento, benefícios e divulgação
Será solicitada ao CEP dispensa do consentimento, em razão do uso retrospectivo de dados secundários, da ausência de contato com participantes e da inviabilidade de obter consentimento posterior de todos os responsáveis. O acesso não começará caso a dispensa não seja concedida, até que o protocolo seja adequado. Não há benefício direto aos participantes. A divulgação de dados, códigos ou exemplos respeitará as autorizações institucionais e o risco de reidentificação; registros brutos não serão disponibilizados publicamente.
7.16 Limitações previstas
Entre as limitações previstas estão a realização do estudo em uma única instituição, a dependência da quantidade e qualidade dos registros disponíveis, a necessidade de validação clínica de parte do conjunto de referência e as limitações computacionais relacionadas ao processamento de prontuários longitudinais. Além disso, os resultados serão obtidos retrospectivamente e não poderão ser interpretados como demonstração de segurança, benefício clínico ou utilidade assistencial prospectiva.

Espera-se que o projeto produza:
caracterização dos registros clínicos disponíveis e de sua organização longitudinal;
protocolo de construção e validação de perguntas, respostas e evidências;
conjunto de referência para avaliação de respostas produzidas por modelos de linguagem;
comparação experimental entre métodos de geração e verificação de evidências;
análise dos principais tipos de erro e das situações em que as respostas não são adequadamente sustentadas pelos registros;
protótipo offline para demonstração dos métodos desenvolvidos;
relatório técnico e produção científica compatível com as restrições de confidencialidade e governança dos dados.
As metas quantitativas específicas, incluindo volume final de dados anotados e critérios de desempenho, serão definidas após o inventário dos registros e o estudo piloto.