Calibração em modelos preditivos: por que ela importa tanto

A calibração em modelos preditivos avalia se as probabilidades estimadas por um modelo correspondem à frequência real do desfecho na prática. Um modelo pode discriminar bem quem está em maior ou menor risco e, ainda assim, estar mal calibrado, gerando números que enganam o clínico. Esta aula explica por que calibração e discriminação precisam ser avaliadas juntas.

O que é calibração em modelos preditivos

Calibração é a concordância entre o risco previsto por um modelo e o risco observado na realidade. Se um modelo estima que um grupo de pacientes tem 10% de probabilidade de um evento em 5 anos, um modelo bem calibrado deve mostrar que, de fato, cerca de 10% desses pacientes tiveram o evento no período estudado.

Essa é uma diferença fundamental em relação à discriminação, discutida na aula anterior: discriminação avalia a ordenação relativa do risco (quem tem mais risco que quem), enquanto calibração avalia a exatidão numérica dessa estimativa.

Como a calibração é avaliada

Uma das formas mais comuns de avaliar calibração é o gráfico de calibração, que compara o risco previsto pelo modelo com o risco observado, geralmente dividido em grupos (decis ou quintis de risco). Nesse gráfico:

• Uma linha diagonal perfeita representa calibração ideal.
• Pontos acima da linha indicam que o modelo subestima o risco real.
• Pontos abaixo da linha indicam que o modelo superestima o risco real.

Por que a calibração em modelos preditivos afeta a decisão clínica

Um modelo mal calibrado pode levar a decisões inadequadas mesmo quando discrimina bem. Se um escore superestima sistematicamente o risco cardiovascular, por exemplo, pacientes podem ser encaminhados para tratamentos mais intensivos do que realmente precisam, aumentando custo e exposição a efeitos colaterais desnecessários. Se subestima o risco, pacientes que precisariam de intervenção podem não recebê-la a tempo.

Calibração e a população de origem do modelo

A calibração de um modelo tende a se degradar quando ele é aplicado em uma população diferente daquela em que foi originalmente desenvolvido. Isso acontece porque:

• A prevalência do desfecho pode variar entre populações.
• A distribuição dos fatores de risco pode ser diferente.
• Mudanças ao longo do tempo, como novos tratamentos disponíveis, alteram o risco basal da população.

Aplicando o conceito de calibração na prática

Ao avaliar um estudo que valida um modelo de predição em uma nova população, procure sempre pelo gráfico ou pelas métricas de calibração, e não apenas pela estatística C de discriminação. Um modelo ideal apresenta boa discriminação e boa calibração simultaneamente; quando isso não ocorre, é preciso entender qual das duas propriedades está comprometida antes de adotar o modelo na prática clínica.

Assista a aula completa acima para ver exemplos práticos e continue para a próxima aula do módulo.