VALÈNCIA (VP). Un equipo del grupo Biomedical Data Science Laboratory (BDSLAB), perteneciente al Instituto ITACA de la Universitat Politècnica de València, ha liderado un estudio internacional que sienta las bases para el desarrollo de sistemas de inteligencia artificial (IA) seguros, confiables y éticamente responsables en el ámbito sanitario.
Publicado en la revista científica Artificial Intelligence in Medicine, el trabajo propone un marco técnico compuesto por 14 requisitos de diseño de software orientados a minimizar los riesgos que las soluciones clínicas basadas en IA pueden suponer para los pacientes.
Un marco práctico frente a riesgos reales
La investigación liderada por Juan Miguel García-Gómez, Vicent Blanes y Ascensión Doñate, todos ellos del BDSLAB-ITACA de la UPV, parte de una realidad cada vez más evidente: el impacto de la IA en la atención sanitaria, especialmente en áreas como el diagnóstico, la monitorización, el cribado y, en general, el apoyo a la toma de decisiones clínicas. Y es que la implementación de la IA plantea serios desafíos éticos, técnicos y de seguridad.
“El Servicio de Estudios del Parlamento Europeo ha identificado siete grandes riesgos que la IA puede entrañar para los pacientes: errores en las predicciones, mala praxis, sesgos, falta de transparencia, falta de privacidad, ausencia de responsabilidades y dificultades en la implementación”, explica Juan Miguel García-Gómez, investigador principal del BDSLAB y autor principal del estudio.
Para dar respuesta a estos retos, los investigadores del BDSLAB han desarrollado un conjunto de requisitos técnicos que pueden implementarse. La propuesta complementa las directrices éticas promovidas por la Comisión Europea y se estructura en torno a cuatro ejes clave: confiabilidad, transparencia, trazabilidad y responsabilidad.
“Nuestro objetivo es mitigar el riesgo de los daños potenciales que el software médico basado en IA pueda causar, mediante la integración de requisitos de ingeniería que garanticen sistemas más seguros y responsables”, subraya el profesor García-Gómez.
Validación sectorial: consenso entre profesionales
Para validar la utilidad y aplicabilidad del marco propuesto, el equipo del BDSLAB, en colaboración con expertos del Comité Técnico de IA en la Sociedad Española de Informática de la Salud, realizó una encuesta a 216 profesionales del sector de las TIC médicas —incluyendo clínicos e ingenieros que podían ser gestores y usuarios finales de IA— entre marzo y junio de 2024.
Los resultados muestran un amplio consenso en torno a la relevancia de los requisitos propuestos. Además, el estudio revela diferencias de enfoque: los perfiles clínicos priorizan los aspectos relacionados con la evaluación continua, calidad de los datos, usuabilidad y seguridad, mientras que los perfiles técnicos valoran especialmente la implementación de los aspectos regulatorios de la IA.
“Esta propuesta llena el vacío existente entre los principios éticos generales y su aplicación concreta en el diseño y desarrollo de software médico con IA. Representa una hoja de ruta práctica, alineada con las nuevas exigencias regulatorias europeas y con la necesidad de proteger los derechos de los pacientes”, añade Ascensión Doñate.
Un marco alineado con el nuevo reglamento europeo de IA
El estudio cobra especial relevancia tras la reciente aprobación del Reglamento Europeo de Inteligencia Artificial (AI Act, 2024/1869), que clasifica a los sistemas de IA en medicina como de alto riesgo. Esto implica que estas soluciones deben cumplir simultáneamente con el Reglamento de Dispositivos Médicos (MDR 2017/745) y con requisitos de trazabilidad, la supervisión humana y la transparencia del algoritmo.
En este contexto, los investigadores del BDSLAB consideran que el marco propuesto puede servir como guía tanto para desarrolladores de software como para evaluadores y autoridades reguladoras que deseen garantizar la seguridad, equidad y fiabilidad de las herramientas clínicas basadas en inteligencia artificial.
“Aunque los marcos éticos internacionales han abordado de forma general los desafíos que plantea la IA en medicina, las recomendaciones prácticas orientadas a minimizar el daño a los pacientes siguen siendo escasas. Este es el primer trabajo que traduce esos principios en requisitos técnicos concretos y aplicables, dirigidos a asegurar el desarrollo de herramientas médicas basadas en IA que sean transparentes, trazables y centradas en el paciente”, concluye Vicent Blanes.
