Meta LLama lanza Meditron: una suite LLM diseñada para entornos médicos de bajos recursos

• curecompass
• 18 mayo, 2025
• Negocios, Salud, Tecnología
• Inteligencia Artificial, Meditron, Meta, Nvidia; Portada, University of Yale
• 0 Comments

En medicina, el acceso a la información correcta en el momento correcto en el lugar correcto puede determinar todo: desde decidir tomar medidas preventivas hasta buscar atención cuando sea necesario, recibir un diagnóstico oportuno y tomar los medicamentos según lo prescrito.

Meditron creada en Meta Llama 2, un conjunto de modelos básicos multimodales de gran tamaño y código abierto adaptados al campo médico y diseñados para ayudar con la toma de decisiones clínicas y el diagnóstico, y se entrenó con fuentes de datos médicos de alta calidad y cuidadosamente seleccionadas, con aportes continuos de médicos y expertos en respuesta humanitaria.

Investigadores de la Escuela Politécnica Federal de Lausana (EPFL) y de la Facultad de Medicina de Yale colaboraron en el proyecto, en estrecha colaboración con organizaciones humanitarias como el Comité Internacional de la Cruz Roja (CICR).

Meditron se ha descargado más de 30.000 veces en sus primeros meses de lanzamiento, lo que ha llenado un importante vacío en innovación en entornos médicos de bajos recursos. Tras el lanzamiento de Meta Llama 3 del mes de abril pasado, el equipo perfeccionó el nuevo modelo 8B en 24 horas para ofrecer Llama-3[8B]-MeeditronV1.0, que supera a todos los modelos abiertos de vanguardia dentro de su categoría de parámetros en pruebas de referencia estándar como MedQA y MedMCQA.

“Los modelos de fundación se han convertido en activos intelectuales y culturales modernos”, afirma la profesora de Yale Mary-Anne Hartley, codirectora del proyecto. “Aplicados al ámbito médico, tienen el potencial de brindar consejos y orientación vitales. Sin embargo, los entornos con menos recursos son los que más tienen que ganar y siguen siendo los menos representados”.

Los programas de maestría en línea (LLM) como Llama pueden comprimir información compleja en una interfaz conversacional accesible. Meditron adaptó Llama 2 para garantizar que la información proporcionada se ajuste mejor a la atención basada en la evidencia, las recomendaciones contextuales y los estándares profesionales. La suite Meditron tiene el potencial de satisfacer necesidades cruciales en diversos entornos, incluyendo situaciones de emergencia que requieren una respuesta médica rápida y precisa, y ayudando al personal sanitario a diagnosticar y tratar a pacientes en zonas desatendidas.

La esperanza, dice Hartley, es que publicarlo en forma totalmente abierta y en código abierto (desde los datos hasta los pesos, con una documentación clara para comenzar) pueda potenciar la innovación en entornos con recursos limitados para garantizar mejor la representación y crear un acceso equitativo al conocimiento médico.

“Los entornos de bajos recursos no deberían verse obligados a ‘reinventar la rueda’ para que sus poblaciones y necesidades estén representadas en esta tecnología crítica”, afirma Hartley.

Cuando la financiación es un problema, comience poco a poco y céntrese en la calidad

La financiación puede ser un gran reto para cualquiera, pero especialmente para los grupos que trabajan en entornos humanitarios y de bajos recursos. Hartley afirma que el equipo optó por no comercializar para mantener la neutralidad necesaria para una validación imparcial.

Para ahorrar costos, se iniciaron experimentos en el Llama 2 7B, de menor tamaño, para delimitar las combinaciones óptimas de datos y parámetros de preentrenamiento para la ampliación a 70B. Este enfoque conservador también explica por qué el equipo lanzó los modelos Meditron 7B y 70B. Si bien el Meditron 7B tiene menor rendimiento, sigue siendo muy útil para modelar la ampliación experimental, señala Hartley.

La implementación multimodal ha seguido un camino similar. El Meditron 7B integra la interpretación de imágenes y, si bien es sumamente prometedor (supera al Medpalm M 562B en interpretación de imágenes médicas), sería aún mejor en el 70B y merece la pena invertir en él, afirma Hartley.

Este enfoque en la calidad sobre la cantidad también significó que el equipo dedicó la mayor parte de su tiempo a la cuidadosa selección de documentos textuales con validación médica que representan directrices basadas en la evidencia en entornos con y sin recursos. El preentrenamiento continuo, que actualiza todos los parámetros del modelo en lugar de centrarse solo en un subconjunto para su ajuste, minimizó el riesgo de contaminación y sesgo del corpus textual general con el que se entrenó a Llama, afirma Hartley. También maximizó la retención de conocimiento médico.

Dado que el preentrenamiento continuo en un clúster multi-GPU y multinodo es un gran desafío técnico, el equipo integró la arquitectura Llama en un entrenador distribuido de alto rendimiento, Megatron-LM. Reconociendo que este es un problema que muchos otros también podrían enfrentar, se aseguraron de publicar la versión adaptada de Megatron en código abierto.

Poniendo a prueba Meditron con validación y evaluación abiertas

Hartley dice que el resultado más emocionante en el mundo real del trabajo de Meditron es el interés a gran escala de los profesionales médicos y las organizaciones humanitarias de todo el mundo en participar en Meditron MOOVE (Validación y evaluación masiva abierta en línea).

Médicos de todo el mundo, especialmente en entornos de bajos recursos, están haciendo preguntas desafiantes a Meditron y evaluando críticamente sus respuestas para que el equipo pueda adaptarlas en consecuencia.

Meditron es actualmente el programa de maestría en derecho (LLM) de código abierto con mejor rendimiento en medicina, según los principales criterios de referencia en el campo, como la resolución de preguntas en exámenes biomédicos, afirma Hartley. El equipo optó por un MOOVE para concienciar a la comunidad de que estos criterios no reflejan plenamente la práctica clínica real de la medicina ni los desafíos en entornos de bajos recursos y en la respuesta humanitaria.

“Que estos profesionales con poco tiempo se ofrezcan voluntariamente a nuestra comunidad de código abierto para validar Meditron de forma independiente es un reconocimiento a su valor”, afirma Hartley. “Nos encontramos en una posición privilegiada para incorporar toda esta retroalimentación en un nuevo modelo. Esperamos que quienes nos financian reconozcan el valor social y comercial de invertir en nuestra iniciativa académica de código abierto”.

La tecnología de código abierto tiene una trayectoria comprobada de impulsar la innovación y, fundamentalmente, de hacerla accesible de forma equitativa, afirma Hartley. «Constantemente, investigadores de entornos de bajos recursos nos cuentan cómo Meditron ha facilitado su investigación», explica. «Si bien el código abierto no es nuevo, la escala y el coste de la contribución sí lo son. Necesitamos ser más audaces a la hora de buscar apoyo filantrópico neutral para iniciativas como estas».