HealthBench de OpenAI: una nueva vara para medir la inteligencia artificial en salud

• curecompass
• 17 mayo, 2025
• I+D, Salud, Tecnología
• GPT‑4.1, HealthBench, IA, Inteligencia Artificial, OpenAi, Portada
• 0 Comments

La compañía detrás de ChatGPT presentó una evaluación médica desarrollada con más de 260 médicos de todo el mundo. La herramienta busca mejorar la seguridad, precisión y utilidad de los modelos de lenguaje en contextos clínicos reales.

OpenAI dio un paso clave para posicionarse en el mundo de la salud con el lanzamiento de HealthBench, un nuevo benchmark diseñado para evaluar el rendimiento de sistemas de inteligencia artificial en situaciones clínicas reales.

La herramienta fue desarrollada junto a 262 médicos con experiencia en 60 países, quienes colaboraron en la creación de 5.000 conversaciones de salud realistas, cada una acompañada de una rúbrica médica personalizada para calificar las respuestas de los modelos.

El objetivo de HealthBench es ambicioso pero claro: asegurar que los modelos de lenguaje sean útiles, seguros y confiables para pacientes, médicos y sistemas de salud.

“Mejorar la salud humana será uno de los impactos definitorios de la inteligencia artificial general (AGI)”, afirmó OpenAI en el anuncio oficial. “Para lograrlo, debemos asegurarnos de que los modelos sean verdaderamente útiles y seguros. Las evaluaciones rigurosas son esenciales para entender su rendimiento en entornos clínicos”.

Un benchmark con estándares médicos

HealthBench se diferencia de otras evaluaciones previas por tres pilares: relevancia clínica, fidelidad a los estándares médicos y potencial de mejora. A diferencia de tests académicos tradicionales o simulaciones básicas, esta herramienta incorpora escenarios realistas, con múltiples turnos de diálogo, situaciones complejas y matices culturales y lingüísticos (el dataset incluye contenido en 49 idiomas).

Cada conversación es evaluada mediante criterios específicos redactados por médicos, con un total de 48.562 rúbricas únicas, que miden aspectos como precisión médica, claridad en la comunicación y adecuación contextual. Las respuestas de los modelos son calificadas por GPT‑4.1, que actúa como evaluador automatizado, siguiendo las rúbricas médicas.

Rendimiento: los modelos de OpenAI al frente

OpenAI también publicó el desempeño de sus modelos más recientes en HealthBench. El modelo o3 superó a sus principales competidores, incluyendo Claude 3.7 Sonnet (Anthropic) y Gemini 2.5 Pro (Google, marzo 2025). Además, los modelos de la compañía mejoraron su 4.1 rendimiento en un 28% en los últimos meses, lo que representa “un salto mayor en seguridad y performance que el registrado entre GPT-4o (agosto 2024) y GPT-3.5 Turbo”.

Otro dato relevante es la evolución de los modelos más pequeños. GPT‑4.1 nano, por ejemplo, logró superar el rendimiento del GPT‑4o con un costo 25 veces menor, lo que podría tener un impacto significativo en entornos con recursos limitados. La evaluación también mostró que el desempeño mejora con mayores niveles de cómputo en tiempo de prueba, lo que sugiere un margen amplio para nuevos avances en modelos de razonamiento.

Fiabilidad y seguridad: el gran desafío

Uno de los focos del estudio fue la fiabilidad de los modelos. OpenAI midió el rendimiento en el peor de varios intentos (worst-of-n performance), un criterio clave en medicina, donde una única respuesta insegura o incorrecta puede tener consecuencias graves. Los modelos más recientes mostraron avances importantes en este aspecto, aunque la compañía reconoce que todavía hay espacio para mejorar.

“En salud, la fiabilidad del modelo es crítica: una sola respuesta insegura puede pesar más que muchas buenas”, remarca el documento.

Accesibilidad como factor clave

El análisis de OpenAI también contempla el costo frente al rendimiento, una métrica fundamental para garantizar el acceso a estas tecnologías en países de bajos ingresos. La creación de modelos pequeños pero potentes como GPT‑4.1 nano plantea un nuevo horizonte: inteligencia artificial médica de alta calidad a costos accesibles.

¿Qué implica HealthBench para el futuro?

Con HealthBench, OpenAI no solo presenta una herramienta de evaluación, sino que establece un nuevo estándar para el desarrollo de IA en salud. Al trabajar con médicos reales y priorizar escenarios clínicos complejos y globales, busca reducir la brecha entre lo que los modelos pueden hacer en teoría y lo que realmente importa en la práctica médica.

“Este benchmark ofrece una base rigurosa para mejorar los sistemas de IA”, explicaron desde OpenAI. “Queremos que los modelos sean cada vez más precisos, éticos y útiles para médicos y pacientes por igual”.