El Anteproyecto de Ley para el Buen Uso y la Gobernanza de la Inteligencia Artificial (IA)

1. Resumen del Anteproyecto - Estructura y objetivos.

El Anteproyecto de Ley para el Buen Uso y la Gobernanza de la Inteligencia Artificial (IA) propone un marco legal integral para asegurar un desarrollo ético y beneficioso de la IA en España. Consta de 37 artículos, agrupados en cuatro capítulos, además de disposiciones adicionales y finales. Su objetivo principal es adaptar la legislación nacional al Reglamento Europeo de IA (Reglamento (UE) 2024/1689, también conocido como AI Act), garantizando la coherencia con los estándares comunitarios mientras se impulsa la innovación tecnológica.

Principales puntos del anteproyecto:

• Prácticas prohibidas: Se identifican usos de IA absolutamente vetados, replicando las categorías del AI Act. Entre ellos, la manipulación subliminal (ej., un chatbot con mensajes imperceptibles que fomentan conductas dañinas), la explotación de vulnerabilidades (ej., juguetes inteligentes incitando a niños a acciones peligrosas), la categorización biométrica por atributos sensibles (raza, orientación política, religiosa o sexual) y los sistemas de puntuación socialo predicción de comportamiento delictivo basados en datos personales. También se prohíbe inferir emociones en entornos laborales o educativos para decisiones de promoción o despido, salvo excepciones médicas o de seguridad. Estas prácticas prohibidas, de riesgo inadmisible, ya están en vigor por el AI Act (desde el 2 de febrero de 2025), y a partir del 2 de agosto de 2025 se impondrán sanciones dentro del rango europeo.

• Infracciones y sanciones: El anteproyecto define tres niveles de infracciones: muy graves, graves y leves. Las prácticas prohibidas se castigan como infracciones muy graves, con multas de 7,5 a 35 millones de euros, o del 2% al 7% del volumen de negocio anual global, eligiendo la cifra más alta (salvo para PYMEs, donde se aplicará la menor). Por ejemplo, no reportar un incidente mortal causado por un sistema de IA, o ignorar órdenes de la autoridad de vigilancia, constituyen infracciones muy graves. Otras situaciones, como no implementar supervisión humana en sistemas biométricos laborales o incumplir la obligación de etiquetar contenidos generados por IA (para evitar deepfakes), se consideran infracciones graves, con sanciones de 500.000 euros a 7,5 millones, o del 1% al 2% del negocio mundial. Las infracciones leves, por su parte, incluyen formalidades como no colocar el marcado CE de conformidad en IA de alto riesgo.

• Clasificación de sistemas de IA: Siguiendo el enfoque europeo de gestión por niveles de riesgo, el anteproyecto distingue:

• Sistemas de riesgo mínimo o limitado: Usos cotidianos sin obligaciones especiales (ej. filtros de spam, asistentes de navegación).

• Sistemas de alto riesgo: Aquellos que pueden afectar significativamente derechos o seguridad. Incluye IA integrada en productos regulados (máquinas, juguetes, dispositivos médicos, vehículos) y en ámbitos críticos: biometría, infraestructuras críticas, educación, empleo, acceso a servicios esenciales (financieros, seguros, emergencias), administración de justicia, procesos democráticos, migración y control fronterizo. Estos sistemas deberán cumplir estrictos requisitos ex ante: gestión de riesgos, supervisión humana, documentación técnica, gobernanza de datos, registros de actividad, transparencia y calidad.

• Sistemas de riesgo inadmisible (prohibidos): Correspondientes a las prácticas vetadas detalladas arriba, sin cabida legal salvo excepciones explícitas (por ejemplo, reconocimiento facial en tiempo real en espacios públicos solo en supuestos muy tasados, como búsqueda de víctimas de secuestro, y bajo autorización judicial).

• Marco de gobernanza: Se establece una estructura institucional distribuida para la vigilancia del cumplimiento:

• La Agencia Española de Supervisión de la Inteligencia Artificial (AESIA) actúa como autoridad central en la mayoría de casos, además de coordinar la recepción de denuncias ciudadanas por posibles infracciones de IA.

• Autoridades sectoriales asumen competencias cuando la IA impacta en ámbitos de su especialidad: la AEPD supervisará sistemas biométricos y de fronteras, el Consejo General del Poder Judicial los sistemas en justicia, la Junta Electoral Central los que incidan en procesos democráticos, Banco de España los de solvencia crediticia, Dirección General de Seguros los de seguros, CNMV los de mercados de capitales, etc. Este reparto busca aprovechar la pericia regulatoria existente en cada sector.

• Se consagra un nuevo derecho digital: el derecho de “desconexión o retirada del mercado” de sistemas de IA que hayan causado incidentes graves. Así, si un ciudadano denuncia (incluso anónimamente) que una IA provocó, por ejemplo, el fallecimiento de una persona, la autoridad competente puede ordenar su retirada provisional del mercado español. Este mecanismo se adelanta a lo previsto en el artículo 85 del AI Act para 2026, permitiendo acciones cautelares inmediatas ante riesgos graves.

• El anteproyecto prevé además la creación de un Sandbox regulatorio (entorno controlado de pruebas) de IA antes de la fecha obligatoria europea de agosto de 2026. De hecho, España se anticipó con una convocatoria en 2024 para seleccionar 12 sistemas de IA de alto riesgo que operarán durante un año en un sandbox, extrayendo lecciones para guías técnicas futuras. Este esfuerzo refuerza la innovación responsable, permitiendo probar IA innovadoras con supervisión y sin perjuicio para los usuarios finales.

2. Análisis Jurídico

Derecho digital y privacidad. El anteproyecto se inscribe en la esfera del derecho digital y de la protección de datos, ampliando los derechos fundamentales frente a la IA. En España, la LOPDGDD (Ley Orgánica 3/2018 de Protección de Datos) ya reconoció derechos como a no ser objeto de decisiones automatizadas sin intervención humana (art. 13 y 22 RGPD), preludiando la problemática de la IA. La nueva ley refuerza esta protección al prohibir sistemas que perfilen personas para denegar derechos (p. ej. scoring social) o que tomen decisiones sensibles sin salvaguardas. Además, la AEPD tendrá potestad sancionadora sobre IA que manejen datos biométricos, reforzando la tutela de la privacidad en contextos de reconocimiento facial o vigilancia. Este esquema complementa la normativa de datos personales (RGPD/LOPDGDD) asegurando que los tratamientos algorítmicos con alto impacto estén sometidos a principios de proporcionalidad y respeto de derechos fundamentales (igualdad, no discriminación, intimidad, etc.).

Derechos fundamentales y no discriminación. La ley busca prevenir que la IA vulnere derechos fundamentales, incluidos el derecho a la vida, la integridad física y moral, la igualdad o la libertad ideológica. Así, la prohibición de IA que clasifique a personas por raza, religión, orientación sexual o política refuerza la protección contra la discriminación algorítmica. Igualmente, vetar sistemas que infieran emociones para decidir un despido o denegar una promoción protege la dignidad y la privacidad en el ámbito laboral. Cabe señalar que estas disposiciones se alinean con la jurisprudencia europea emergente en materia de IA y derechos humanos, y con instrumentos como la Carta de Derechos Digitales en España (2021), que abogaba por una IA centrada en la persona y los derechos fundamentales.

Administración pública y sector privado. El anteproyecto se aplica tanto a operadores privados como a autoridades públicas. Esto tiene implicaciones importantes:

• En el sector público, la Administración deberá sujetar sus sistemas de IA (por ejemplo, herramientas de ayuda a decisiones administrativas, sistemas de vigilancia ciudadana, algoritmos de reparto de recursos públicos) a los requisitos de la ley. Queda especialmente regulado el caso de la identificación biométrica remota en tiempo real en espacios públicos, práctica de alto riesgo que solo se admitirá con límites estrictos (por motivos graves como búsqueda de un menor desaparecido, con autorización judicial y garantías de proporcionalidad). España, de hecho, anticipa una postura garantista similar a la del Reglamento europeo, limitando este tipo de vigilancia masiva para proteger el derecho a la intimidad y la protección de datos de los ciudadanos.

• En el sector privado, las empresas desarrolladoras o usuarias de IA de alto riesgo (p.ej., un hospital empleando IA para diagnósticos, una fintech usando IA para scoring crediticio, una plataforma con algoritmos de recomendación que afectan consumos esenciales) deberán implementar sistemas de gestión de riesgos, auditorías algorítmicas, supervisión humana y cumplimiento documental. La carga regulatoria será significativa, especialmente para grandes corporaciones, pero se introducen medidas de flexibilidad para las PYMEs: por ejemplo, el anteproyecto prevé que ante infracciones leves las pequeñas empresas puedan ser simplemente apercibidas en lugar de multadas, fomentando la adaptación progresiva al marco. Jurídicamente, esto equilibra el mandato constitucional de promover la investigación científica y técnica (art. 44 CE) con la garantía de los derechos (art. 9.2 y 10 CE).

Protección de datos y explicabilidad. La ley refuerza las obligaciones de transparencia de la IA, un punto clave en derecho digital. Los sistemas de IA, especialmente los de alto riesgo, deberán ser explicables y auditables en cierto grado, para que se pueda verificar su equidad y seguridad. Si bien la ley no resuelve completamente la conocida “caja negra” de la IA, impone requisitos de documentación técnica y trazabilidad, lo que coadyuva al derecho de los ciudadanos a ser informados sobre decisiones automatizadas (art. 13 RGPD) y a solicitar una explicación o intervención humana (art. 22 RGPD). De hecho, España se coloca a la vanguardia reconociendo un derecho específico de retirada de mercado en caso de daños graves, lo cual extiende la tutela más allá de la mera protección de datos hacia la seguridad del usuario.

Régimen sancionador. Desde una perspectiva jurídico-administrativa, el anteproyecto desarrolla un régimen sancionador detallado conforme al mandato europeo. Al clasificar infracciones y asociarles sanciones proporcionales, da certeza jurídica a empresas y particulares sobre las consecuencias del mal uso de la IA. Por ejemplo, no etiquetar contenidos sintéticos (deepfakes) será infracción grave, abordando un vacío legal actual en materia de desinformación automatizada. La cuantía de las sanciones (hasta 35 millones de euros o 7% facturación global) está en línea con las previstas en el RGPD para infracciones muy graves, lo que denota la importancia equiparable que se da a la violación de las normas de IA y a la violación de la privacidad. Esto tendrá un impacto considerable en el compliance digital: las organizaciones deberán incorporar este nuevo marco en sus programas de cumplimiento normativo, junto con protección de datos, ciberseguridad y derechos digitales.

IA en la justicia y seguridad pública. Un apartado específico es la mención de que el Consejo General del Poder Judicial (CGPJ) supervisará los usos de IA en la administración de justicia. Esto es crucial para proteger el derecho a un juicio justo y prevenir que algoritmos opacos afecten decisiones judiciales o expedientes (p.ej., sistemas de apoyo a sentencias, o predicción de riesgo de reincidencia en libertad condicional). En seguridad pública, limitar la IA para valoración de riesgos delictivos basados en datos personales es congruente con el principio de presunción de inocenciay evita derivas de “policía predictiva” discriminatoria.

En síntesis, jurídicamente el anteproyecto consolida a la IA dentro del Estado de Derecho digital, sujetándola a la Constitución y al acervo de derechos fundamentales. Fortalece la seguridad jurídica al clarificar obligaciones y responsabilidades para desarrolladores, proveedores y usuarios de IA. Si bien plantea retos de interpretación (por ejemplo, cómo definir técnicamente el cumplimiento de la “transparencia suficiente” de un algoritmo), supone un paso firme en la regulación de la economía digital con equilibrio entre innovación y derechos humanos.

3. Comparación Internacional

La regulación de IA es un tema global, abordado con enfoques divergentes. Compararemos brevemente el anteproyecto español (marco UE) con Estados Unidos, China, y la propia Unión Europea (AI Act) así como otras jurisdicciones relevantes:

Unión Europea (AI Act): España se adelanta implementando el AI Act, la primera legislación integral sobre IA a nivel supranacional. El AI Act sigue un enfoque basado en riesgos con cuatro niveles: riesgo mínimo, limitado, alto e inadmisible. El anteproyecto español prácticamente traspone este esquema:

• Prohíbe los usos de riesgo inadmisible, muchos de los cuales el AI Act ya enumera (manipulación subliminal, puntuación social, etc.).

• Impone obligaciones estrictas a los de alto riesgo en línea con el reglamento (gestión de riesgos, supervisión humana, marcaje CE, etc.).

• Establece sanciones en las horquillas máximas del AI Act, e incluso prevé en España multas de hasta el 7% de facturación global (similar al tope del Act).

• Introduce el derecho de retirada provisional de mercado de IA peligrosa, que aunque inspirado en el AI Act, España aplica con inmediatez nacional.

La UE además ha incluido en su ley algunas disposiciones pioneras: prohibición de IA para vigilancia biométrica masiva (con excepciones), requisitos de transparencia para modelos de propósito general y fundacionales (ej. GPT-4), y evaluación continua de nuevas aplicaciones (para actualizar la clasificación de riesgo). El anteproyecto español menciona que el Reglamento Europeo exigirá informes periódicos para reclasificar nuevas tecnologías emergentes (como pasó con la IA generativa durante la tramitación), asegurando que la norma se mantenga “future-proof”. En síntesis, España sigue de cerca el modelo comunitario, caracterizado por su carácter vinculante, preventivo y orientado a derechos. Este modelo contrasta con los de EE.UU. y China:

Estados Unidos: Carece de una ley federal integral de IA; su aproximación ha sido más fragmentaria y voluntarista:

• En octubre de 2023, el Presidente Biden emitió una Orden Ejecutiva sobre IA, que si bien no es una ley formal, establece directrices para limitar riesgos de IA avanzada, incluyendo requerir pruebas de seguridad para modelos punteros antes de su lanzamiento. Los resultados de esas pruebas deben notificarse al Gobierno Federal para evaluar riesgos y eventualmente vetar modelos peligrosos.

• Se alienta, aunque sin fuerza legal obligatoria, a las empresas a etiquetar contenidos generados por IA (similar a la exigencia de etiquetar deepfakes del AI Act). Es decir, en EE.UU. es más una recomendación voluntaria que una obligación sancionable.

• La regulación en EE.UU. se apoya en agencias sectoriales (por ejemplo, FDA en salud, FTC en comercio y protección del consumidor) aplicando leyes existentes de seguridad del producto, antidiscriminación o privacidad. No hay un régimen sancionador específico para IA como tal a nivel federal.

• Enfoque estadounidense: es más laxo y se basa en autorregulación guiada. La idea es no frenar la innovación; las corporaciones tecnológicas tienen gran protagonismo en fijar buenas prácticas, y se fomenta la colaboración público-privada más que la imposición de controles ex ante. Adigital resume que EE.UU. “deja la iniciativa a las empresas”, sin un plan regulatorio estructurado, concentrándose en acciones voluntarias y principios éticos.

Comparando con España/UE, EE.UU. muestra diferencias: ausencia de categorías de riesgo legalmente definidas, falta de autoridad central específica de IA (aunque recientemente se discute crear un AI Safety Board), y confianza en marcos sectoriales y post-facto (litigios en tribunales, responsabilidad civil) para corregir abusos. Esto puede cambiar, ya que hay proyectos de ley en curso en el Congreso (p.ej., para prohibir usos como scoring social o manipulación electoral por IA), pero hoy por hoy la brecha es notable: mientras la UE (y España con ella) legisla directamente la IA, EE.UU. opta por soft law y estándares voluntarios.

China: Ofrece un modelo casi opuesto al norteamericano. La República Popular China ha desarrollado un robusto andamiaje normativo:

• En agosto de 2023 entraron en vigor medidas provisionales para regular la IA generativa. China exige, por ejemplo, que los productos de IA generativa (tipo ChatGPT locales) obtengan aprobación gubernamental antes del lanzamiento. Esto implica un registro obligatorio de algoritmos, contenido y proveedores ante la autoridad estatal, en línea con una estrategia de control centralizado.

• Previamente, en 2022, China aprobó regulaciones de algoritmos de recomendación y otros servicios de IA de uso masivo, imponiendo requisitos de transparencia, opción de opt-out para usuarios y responsabilidad de proveedores.

• En 2023 se conoció un borrador de Ley de IA más amplio (73 artículos, 7 capítulos) que abarca todo el ciclo: investigación, provisión y uso de IA en China. Ese borrador define IA legalmente, afirma principios rectores (seguridad, transparencia, equidad, centrado en el ser humano), y consagra el rol protagonista del Estado en la promoción y control de la IA. Por ejemplo, China planea un sistema de “lista negativa”: ciertas aplicaciones de IA requerirán permiso expreso del gobierno según su potencial daño a seguridad nacional o intereses públicos.

• En cuanto a sanciones, China recurre a su régimen general: órdenes de corrección, advertencias, confiscación de ingresos ilícitos, y en casos graves, suspensiones o prohibición de servicios. La filosofía subyacente es “IA para el bien común bajo supervisión estatal”, enfatizando que la IA debe respetar los valores socialistas y no desestabilizar la sociedad. Por ejemplo, hay regulaciones contra difusión de fake news por IA y contra generadores de contenido que puedan afectar la moral pública.

Comparando con España/UE, similitudes y diferencias:

• Similitud: Tanto China como la UE reconocen la necesidad de transparencia, seguridad y no discriminación en IA. Los principios enumerados en la futura ley china (responsabilidad, transparencia, equidad, centrado en la persona) resuenan con los principios éticos de la OCDE (2019) mencionados en la exposición de motivos española. Ambos marcos quieren IA confiable.

• Diferencia principal: Enfoque de gobernanza. España/UE equilibran derechos individuales con innovación, bajo control judicial y con agencias independientes. China otorga un rol central al gobierno y la seguridad nacional, con censura previa a IA potencialmente sensible. Donde España introduce un derecho de retirada tras incidentes, China prefiere autorización previa para evitar siquiera la puesta en marcha de IA riesgosas. Esto refleja diferencias político-jurídicas: modelo democrático vs. modelo autoritario.

• Otra diferencia es la extraterritorialidad: la norma china declara aplicarse también fuera de China si una IA extranjera afecta intereses chinos, lo cual es un alcance expansivo que la ley española no contempla (esta se circunscribe a mercado español, complementando el reglamento UE que tiene ámbito UE).

Otros referentes:

• Reino Unido: Tras el Brexit, no estará sujeto al AI Act. Ha optado por un enfoque de “pro-innovación” basado en principios. En marzo 2023 publicó un Libro Blanco que definió 5 principios (seguridad, transparencia, equidad, responsabilidad, contestabilidad), dejando a los reguladores sectoriales británicos (como Ofcom, ICO, etc.) la implementación flexible de estos principios en sus áreas. El Reino Unido evita una ley rígida; su enfoque es ágil y contextual . Por ejemplo, la Competition and Markets Authority evalúa los grandes modelos de IA por su impacto en competencia, mientras el regulador de protección de datos (ICO) adapta guías sobre IA a la luz de esos principios . En suma, UK prefiere guidance y ajustes a leyes existentes en vez de una ley de IA unificada. Esto contrasta con la propuesta española: la ley española es más prescriptiva (heredando el espíritu del AI Act), mientras UK confía en la autorregulación supervisada.

• Otros países de la UE: Algunos han anticipado aspectos del AI Act. Francia, por ejemplo, creó una estrategia nacional de IA e invierte en IA confiable, pero espera igualmente la aplicación directa del reglamento europeo (no se prevé ley nacional separada más allá de designar autoridades competentes). España, al impulsar este anteproyecto antes de la aprobación final del AI Act, marca una posición proactiva en la UE, similar a cómo hizo con la Carta de Derechos Digitales.

• Iberoamérica: La mayoría de países aún no tienen leyes específicas de IA. Algunos discuten proyectos inspirados en la UNESCO o la OCDE. Por ejemplo, Brasil ha barajado un marco legal (PL 21/2020) con deberes de transparencia y prohibiciones de usos que violen derechos fundamentales, pero está en trámite. En ausencia de normativa, suelen aplicar leyes de datos personales (como la LGPD en Brasil) o de defensa del consumidor para casos de IA defectuosa.

4. Propuestas de Enmiendas y Mejora

Si bien el anteproyecto es ambicioso y detallado, ningún texto legislativo es perfecto. A continuación se identifican lagunas o áreas de mejora potenciales, con propuestas para optimizar la regulación:

• Clarificación técnica del etiquetado de contenidos IA (deepfakes): El anteproyecto tipifica como infracción grave la falta de etiquetado de audio/vídeo/imágenes generados o manipulados por IA que representen ultrasuplantaciones. Sin embargo, “no concreta cómo se deberá identificar los deepfakes”, más allá de repetir la frase del Reglamento (“de manera clara y distinguible en la primera exposición”) . Esto puede generar incertidumbre sobre qué formato, estándar o indicador usar. Sería conveniente una enmienda que mandate al Gobierno (posiblemente a AESIA) desarrollar una guía técnica o norma reglamentaria especificando métodos de marcado (por ejemplo, metadatos estandarizados, marcas de agua digitales o disclaimers visibles), para que la obligación sea ejecutable de forma uniforme. Así se evitaría que cada proveedor interprete el etiquetado a su manera, reduciendo la efectividad de la medida. El ministro mismo reconoció en rueda de prensa que esto deberá precisarse en desarrollo normativo posterior.

• Alcance del Derecho de Desconexión de sistemas de IA: La introducción del derecho de retirada del mercado de IA tras incidentes graves es loable. No obstante, podría considerarse extender este derecho más allá de incidentes con daño ya materializado (como un fallecimiento) a supuestos de riesgo inminente. Es decir, permitir que organizaciones de la sociedad civil o defensores de derechos puedan solicitar la suspensión preventiva de un sistema de IA que, por sus características, suponga un riesgo elevado de violación de derechos fundamentales, antes de que cause un daño irreparable. Esto sería un mecanismo precautorio acorde con el principio de prevención en materia de derechos. Habría que diseñarlo garantizando el debido proceso a la empresa desarrolladora, para evitar abusos, pero sería una mejora pro-derechos.

• Comité Ético Asesor: Para complementar la gobernanza, se podría proponer crear (en la propia ley o por vía reglamentaria) un Comité independiente de Ética de la IA que asesore a AESIA y a las autoridades sectoriales. Dicho comité, con expertos en derechos fundamentales, técnicos, juristas y representantes de la sociedad civil, podría emitir dictámenes no vinculantes sobre casos especialmente complejos o dilemas éticos (p.ej., uso de IA en decisiones médicas críticas, equilibrio entre vigilancia y privacidad en IA policial, etc.). Esto aportaría transparencia y legitimidad a la toma de decisiones sobre IA controvertidas. Si bien la UE discutió la idea de un Comité Europeo de IA (finalmente en el AI Act se establece una Junta Europea de IA, similar al Comité Europeo de Protección de Datos), a nivel nacional español un órgano consultivo podría enriquecer la gobernanza colaborativa.

• Protección reforzada de datos personales sensibles: El anteproyecto se centra en la IA, pero muchas aplicaciones involucran tratamiento masivo de datos personales (big data + IA). Sería útil una enmienda que explicite la obligación de cumplir con la normativa de protección de datos en todo proyecto de IA. Por ejemplo, requerir evaluaciones de impacto algorítmico conjuntas con las evaluaciones de impacto en protección de datos (EIPD) del RGPD cuando un sistema de IA procese información personal a gran escala. También se podría añadir que, en IA de alto riesgo, se debe implementar por diseño y por defecto medidas de anonimización o minimización de datos, siempre que sea posible, para reducir riesgos a la privacidad. Esto refuerza la cohesión entre las regulaciones.

• Responsabilidad civil y seguros: El anteproyecto cubre sanciones administrativas, pero ¿qué pasa con la reparación de daños a víctimas de un mal funcionamiento de IA? Podría contemplarse, al menos en la exposición de motivos o en disposiciones adicionales, la necesidad de abordar la responsabilidad civil objetiva para ciertos usos de IA (similar a la responsabilidad por productos defectuosos), e incluso fomentar la contratación de seguros de responsabilidad para IA de alto riesgo. La Comisión Europea publicó en paralelo propuestas sobre responsabilidad civil de IA. España, en sintonía, podría prever la revisión del marco de responsabilidad civil (Código Civil o normativa de consumidores) para no dejar lagunas si una IA causa un perjuicio económico o personal y no encaja bien en las figuras actuales.

• Enfoque dinámico y revisión periódica: Dado lo veloz que avanza la tecnología, se sugiere añadir una cláusula de revisión de la ley. Por ejemplo, que cada X años (quizás 3) el Gobierno presente al Parlamento un informe de evaluación de la aplicación de la ley y, si procede, propuestas de reforma. Esto garantizaría que el marco normativo no quede obsoleto, pudiéndose ajustar a nuevas realidades (como IA consciente, avances en IA general, etc.). Aunque el Reglamento europeo ya prevé actualizaciones de categorías de riesgo, a nivel nacional sería prudente un compromiso de mejora continua.

• Apoyo a la innovación y PYMEs: Si bien se menciona la posibilidad de apercibimiento en vez de sanción para PYMEs en infracciones leves, podría ser beneficioso incluir medidas de incentivo y asesoramiento para las empresas pequeñas y startups. Por ejemplo, un programa dentro de AESIA de “regulatory sandbox” permanente donde las PYMEs puedan probar sus sistemas de IA de forma controlada y recibir guía para cumplir requisitos legales antes de lanzarlos al mercado. Esto complementaría el sandbox formal requerido por la UE con un enfoque más continuo de incubación de IA ética. Legalmente, podría introducirse como una disposición adicional instando a la administración a facilitar esos espacios y mentorías.

• Colaboración internacional: Añadir en la ley algún artículo o disposición final que habilite a la AESIA a establecer convenios de cooperación con autoridades de IA de otros países. La IA es global, y la efectividad regulatoria se refuerza con el intercambio de información sobre best practices, incidentes transfronterizos y estándares técnicos. Por ejemplo, cooperación con la futura Junta Europea de IA, con organismos homólogos en la UE, e incluso con entes en países terceros que compartan objetivos (Reino Unido, Canadá, Japón, etc.). Esto podría mejorar la interoperabilidad regulatoria y evitar vacíos legales explotables mediante traslado geográfico de actividades.

5. Casos de Uso de IA y Aplicación de la Ley

Para entender el impacto concreto de esta ley, resulta útil analizar ejemplos específicos en distintos sectores y cómo el marco propuesto incidiría en ellos:

• Salud (diagnóstico médico asistido por IA): Imaginemos un hospital que utiliza un sistema de IA para analizar radiografías y ayudar en diagnósticos de cáncer. Este sería un sistema de IA de alto riesgo (producto sanitario con IA). Bajo la ley, el proveedor del software y el hospital deben asegurar que:

• El sistema tiene marcado CE como dispositivo médico con IA, acreditando conformidad con requisitos esenciales del AI Act (transparencia, gestión de riesgos, etc.).

• Existe supervisión humana: el diagnóstico final lo corrobora un médico especialista, no se deja solo a la IA la decisión (falla en esto podría ser infracción grave).

• Se implementan controles de calidad y registro de funcionamiento: auditorías periódicas del algoritmo para detectar sesgos (por ej., que funcione igual de bien con pacientes de distintas etnias y géneros) y trazabilidad de recomendaciones.

• Si la IA fallara gravemente (p. ej., varios pacientes sufren daños por falsos negativos), la autoridad sanitaria o AESIA podrían activar el derecho de retirada provisional del sistema hasta que se garantice su seguridad.

• Además, cualquier incidente grave (daño a la salud) debe notificarse a la autoridad de vigilancia. No hacerlo sería infracción muy grave con multas millonarias.

Impacto: La ley empuja a los fabricantes de IA médica a altos estándares de fiabilidad y obliga a los hospitales a integrar la IA sin sustituir la pericia médica humana. Esto aumenta la confianza en la tecnología y protege el derecho a la salud y a la vida de los pacientes, aunque puede encarecer y ralentizar la introducción de estas herramientas por los trámites de conformidad.

• Finanzas (scoring crediticio y asesoramiento financiero): Una entidad bancaria emplea IA para otorgar préstamos, analizando datos de clientes (ingresos, historial, incluso huella digital en redes). Según el anteproyecto, el scoring crediticio con IA es considerado de alto riesgo (acceso a servicios esenciales financieros). Obligaciones y consecuencias:

• La IA debe ser transparente; los solicitantes de crédito tendrían derecho a saber qué factores influyeron en la decisión automatizada y solicitar intervención humana si son denegados (conexión con art.22 RGPD).

• No puede usar datos sensibles prohibidos: por ejemplo, inferir la etnia o ideología del cliente para decidir el crédito estaría absolutamente vetado. Un sistema descubierto haciendo eso incurriría en una práctica prohibida, con sanciones hasta 7% de la facturación del banco.

• Supervisión: el banco debe tener comités de validación de modelos, y si la IA rechaza a personas erróneamente (falsos negativos), corregir los criterios. Una falta de gobernanza de datos que cause discriminación sistemática podría ser infracción grave.

• La autoridad competente aquí sería el Banco de España (según el anteproyecto, supervisará IA de solvencia crediticia). AESIA intervendría subsidiariamente.

• Caso de uso: Si un cliente denuncia que el algoritmo lo discriminó por su código postal (usándolo como proxy de origen étnico), el Banco de España/AESIA podrían investigar. Si se confirma un sesgo indebido, obligarán a corregir el sistema y podrían sancionar al banco, además de que el cliente podría litigar por discriminación.

Impacto: La ley busca asegurar que la IA en finanzas sea justa y explicable, protegiendo derechos como la igualdad de oportunidades y evitando exclusión financiera injustificada. Para el sector, implica costes de cumplimiento (auditorías algorítmicas, personal especializado) pero también mejora la transparencia y reputación de las decisiones automatizadas.

• Seguridad y vigilancia (reconocimiento facial en lugares públicos): Pensemos en una policía local que quisiera instalar cámaras inteligentes con IA de reconocimiento facial para identificar delincuentes en tiempo real en una plaza. Según el AI Act y el anteproyecto, la identificación biométrica remota en tiempo real en espacios públicos es, por regla general, prohibida por ser de riesgo muy elevado para derechos fundamentales (privacidad, presunción de inocencia). Solo se permitirían excepciones muy tasadas: búsqueda de víctimas de crímenes graves (como niños desaparecidos), prevenir amenaza terrorista inminente o localizar sospechosos de delitos graves ya en curso de persecución, y siempre con autorización judicial previa y límites temporales y geográficos estrictos (art. 9 AI Act, que España debe incorporar). El anteproyecto dedica su Capítulo III precisamente a regular estos supuestos excepcionales en territorio nacional. Implicaciones:

• En la mayoría de los casos, instalar ese sistema sin base legal sería una práctica prohibida (vigilancia masiva), y tanto la empresa proveedora como la autoridad pública usuaria incurrirían en infracción muy grave sancionable. Además, vulneraría la normativa de protección de datos (tratamiento ilegítimo de datos biométricos masivos).

• Si la policía cree que concurre una excepción (p. ej., riesgo terrorista), deberá recabar autorización judicial y coordinar con una autoridad (¿Interior? ¿AESIA? El anteproyecto debería designar quién valida estos usos caso por caso).

• AESIA y la AEPD vigilarían estrechamente estos despliegues. Cualquier extralimitación (uso continuado sin justificación, uso para fines distintos al autorizado) sería pasible de cese inmediato y sanciones.

Impacto: Este caso de uso muestra cómo la ley blinda derechos fundamentales ante la tentación de usar IA omnipresente en seguridad. Obliga a los cuerpos de seguridad a atenerse al principio de proporcionalidad y solo usar IA invasiva en circunstancias excepcionales, preservando las libertades públicas. Para la industria de seguridad, delimita claramente qué se puede ofertar a instituciones (fomentando quizás desarrollos de IA de seguridad respetuosa, como sistemas que detectan armas u objetos peligrosos pero sin identificar rostros).

• Administración pública (tramitación automatizada): Supongamos un ayuntamiento que implementa un sistema de IA para asignar citas de atención social prioritariamente a casos urgentes, o un algoritmo que ayude a detectar fraude en solicitudes de ayudas. La Ley 40/2015 ya permitía la “actuación administrativa automatizada” bajo responsabilidad de la autoridad que la emplea. Con la nueva ley de IA:

• Si estas decisiones afectan derechos de los ciudadanos, la Administración debe informar claramente de la intervención de IA y permitir recurso o revisión humana (conexión con el derecho a no ser discriminado por decisión algorítmica).

• Si el sistema se usa, por ejemplo, para determinar quién recibe una ayuda económica (servicio público esencial), entra en la categoría de alto riesgo (acceso a prestaciones públicas). Requiere entonces que la Administración tenga un sistema de gestión de riesgos y calidad sobre esa IA, asegurando que no tenga sesgos (que no discrimine por barrio, apellido, etc. sin justificación objetiva).

• La AESIA probablemente sea competente para estos usos generales en el sector público, apoyándose en órganos como el Ministerio de Asuntos Económicos y Transformación Digital. Además, la propia Carta de Derechos Digitalesrecomendaba evaluaciones de algoritmos públicos. La ley viene a dar fuerza legal a esas recomendaciones.

• Ejemplo: Un ciudadano considera que un algoritmo municipal le denegó injustamente una plaza en una guardería pública. Puede solicitar explicaciones; el ayuntamiento deberá proveer criterios del algoritmo. Si detecta opacidad o discriminación, podría quejarse a AESIA/AEPD. La AEPD podría actuar si hay tratamiento masivo de datos personales sensibles sin legitimación; la AESIA si hay incumplimiento de requisitos de IA. Incluso los tribunales contencioso-administrativos podrían anular la decisión si la IA vulneró el procedimiento legal (recordando que toda decisión automatizada pública debe ser impugnable).

Impacto: En la administración, la ley fomentará transparencia algorítmica y responsabilidad. A futuro, cuando se use IA en ámbitos como justicia (p. ej., reparto de asuntos en juzgados con ayuda de IA) o en evaluaciones educativas (corrección automática de exámenes), habrá que cumplir con esta normativa, garantizando derechos de los afectados (por ejemplo, un estudiante tendría derecho a revisión humana de su examen si la IA calificadora falla). Se espera con esto ganar confianza en la adopción de IA en lo público, evitando la sensación de “caja negra” burocrática que podría minar legitimidad institucional.

• Sector transporte (vehículos autónomos): Un coche autónomo (nivel 4 o 5 SAE) integra múltiples IA (visión por computador, toma de decisiones en conducción). Aunque la regulación de vehículos autónomos tiene aristas propias (reglamentos de homologación vehicular), esta ley le afecta en cuanto a que un vehículo autónomo es un producto con IA de potencial alto riesgo (seguridad de transporte).

• Habría que cumplir con requisitos de IA de alto riesgo: certificación, registros de eventuales accidentes o fallos casi accidentales, trazabilidad de las decisiones del piloto automático en caso de colisión para determinar responsabilidades.

• Si un fabricante lanza un modelo con IA de conducción y se descubre que una parte de su software toma decisiones prohibidas (imaginemos una IA que deliberadamente ignore ciertos obstáculos pequeños para optimizar velocidad, causando peligro a peatones vulnerables – algo hipotético pero ilustrativo), eso se consideraría non-compliance. La autoridad de vigilancia del mercado (en automoción, a nivel nacional puede ser el ministerio competente de Industria o la DGT en aspectos de circulación) en coordinación con AESIA podría ordenar la retirada del modelo del mercado hasta corrección. Este es un poder fuerte pero necesario para proteger vidas.

• Además, si un vehículo autónomo causa un accidente mortal por fallo de IA, la familia de la víctima podría denunciarlo a AESIA para activar el derecho de desconexión de ese sistema en todo el país mientras se investiga. La ley española facilita esto incluso antes de 2026, lo que es un plus frente a la simple reacción del fabricante.

Impacto: El sector de automoción debe integrar equipos de legal y compliance IA en sus procesos de I+D. No es solo probar coches en carretera, sino asegurar conformidad con los principios de IA fiable. A largo plazo, esta rigurosidad salvará vidas y evitará crisis de confianza del público en los vehículos autónomos, un factor clave para su aceptación.

Estos casos demuestran que la ley tiene un alcance transversal: desde la clínica médica hasta la fábrica, pasando por oficinas de gobierno y servicios online. La IA es ubicua, por lo que la norma se diseñó transversalmente. Cada sector tendrá sus retos de adaptación:

• En salud: conjugar innovación (p.ej. IA en investigación de nuevos fármacos) con validación clínica rigurosa.

• En finanzas: aprovechar IA para eficiencia sin vulnerar la ética crediticia.

• En seguridad: emplear IA en inteligencia policial respetando Estado de Derecho.

• En administración pública: mejorar servicios con IA sin sacrificar garantías legales.

• En industria y transporte: incorporar IA manteniendo estándares de seguridad tradicionales y nuevos.

La ley pretende no frenar los casos de uso beneficiosos (los promueve mediante el sandbox y clarificando el marco), pero sí poner freno a usos nocivos o irresponsables. Cada ejemplo ilustra cómo la regulación incide en la fase de diseño, despliegue y operación de un sistema de IA, buscando maximizar su utilidad social y minimizar sus riesgos.

6. Impacto y Relevancia del Anteproyecto

La relevancia de este anteproyecto en el contexto del derecho digital es enorme, por varias razones:

• Marco pionero en derecho digital: Supone la primera gran ley española enfocada íntegramente en la IA, complementando la transformación iniciada con el RGPD (protección de datos) y la Ley de Servicios Digitales europeos. Es un paso más en la configuración de un corpus de Derecho Digital que abarca desde protección de datos personales hasta regulación de algoritmos. Marca un hito histórico similar a lo que fue en su día la LSSI (Ley de Servicios de la Sociedad de la Información) para internet. España, que ya lideró con iniciativas como la Carta de Derechos Digitales, se consolida como referente normativo en la materia.

• Equilibrio entre innovación y garantías: El anteproyecto impactará en cómo se desarrolla tecnológicamente el país. Por un lado, ofrece certeza jurídica a empresas innovadoras: saber qué está permitido y qué no ayuda a orientar la inversión en IA segura y evita escándalos posteriores. Por otro lado, al poner límites claros (deepfakes etiquetados, nada de IA discriminatoria, etc.), envía un mensaje de confianza a la ciudadanía, crucial para la adopción social de la IA. Como señaló el ministro, la IA puede mejorar vidas o atacar la democracia; esta ley busca que prevalezca lo primero. Así, el impacto es doble: fomentar la innovación responsable (se habla de “enfoque regulador que impulsa la innovación”) y proteger los derechos fundamentales en la era digital.

• Desarrollo tecnológico e innovación: La existencia de un sandbox regulatorio obligatorio es especialmente relevante para startups y centros de investigación. Les brinda un entorno de pruebas legalmente reconocido donde experimentar sin incurrir en sanciones, siempre que sea bajo supervisión. España ya lanzó uno piloto, y la ley consolidará esa práctica. Esto puede atraer inversión y proyectos de IA punteros al país, sabiendo que hay un ecosistema que permite innovar con apoyo gubernamental (por ejemplo, 12 proyectos de IA de alto riesgo ya seleccionados para el sandbox español). En un mundo donde la competencia global en IA es feroz, este marco legal combinado con incentivos (como los fondos Next Generation EU que España canaliza en IA) podría dar a España una ventaja en ciertos nichos (e.g. IA en castellano y lenguas cooficiales, IA en salud pública, etc.).

• Confianza del usuario y adopción: El impacto en la confianza del público hacia la tecnología es significativo. Encuestas (como la citada de KPMG en la fuente) indican desconfianza mayoritaria en la IA. Una regulación fuerte que proteja al individuo (como multas duras a quien abuse de IA, o derechos de reclamación si algo va mal) puede aumentar la aceptación social. Saber que existe AESIA velando por que un sistema no se desboque, o que hay derecho a reparación si la IA causa daño, hará que más personas y empresas se animen a usar IA (sabiendo que no es la “ley de la selva” tecnológica). En este sentido, la ley es habilitadora de la transformación digital: sin confianza, no hay adopción; sin adopción, la innovación no se traduce en progreso económico.

• Salvaguarda de derechos e impacto ético: Tecnológicamente, se espera un impacto preventivo: diseñadores de IA incorporarán desde el inicio consideraciones éticas (diseño ético) para cumplir la ley – por ejemplo, IA explicable por diseño, datasets libres de sesgos, pruebas de robustez antes de desplegar. Esto mejora la calidad de la tecnología resultante. En el contexto de la innovación, promueve la disciplina llamada “AI Governance” dentro de las organizaciones, creando empleos en cumplimiento legal, auditoría algorítmica y ética digital.

• Armonización con la UE: En el panorama europeo, que España apruebe esta ley temprano facilita la implementación uniforme del AI Act. Otros países podrán observar el modelo español en aspectos como la asignación de autoridades de supervisión. Además, un Estado miembro preparando el terreno normativo ayudará a una transición más suave cuando el Reglamento sea plenamente aplicable (2025-2026). Esto es relevante para empresas multinacionales: sabrán que en España ya se aplican criterios equivalentes a los europeos – un mercado sin sobresaltos regulatorios inesperados.

• Desafíos: Por supuesto, el impacto viene acompañado de desafíos. Las empresas deberán invertir en cumplimiento normativo, lo que puede ser costoso (e incluso disuasorio para algunas pequeñas si no se articulan bien las ayudas). Existe el riesgo de sobre-regulación si la norma no se aplica con ponderación; se tendrá que asegurar que la burocracia no ahogue desarrollos legítimos. Sin embargo, el anteproyecto parece consciente de ello al hablar de impulsar la innovación y prever medidas para PYMEs. El propio preámbulo menciona conciliar regulación con impulso innovador.

• Impacto en la innovación global: España, dotándose de este marco, participa en el debate global sobre la IA de forma activa. La ley será observada en foros internacionales; su éxito o problemas influirán en cómo otros países legislen. Dado que la IA no conoce fronteras, el liderazgo normativo también es una forma de soberanía tecnológica: establecer estándares que luego otros adopten (como pasó con el RGPD, replicado en decenas de países). Así, el anteproyecto tiene relevancia más allá de España, en la conformación de la gobernanza global de la IA bajo principios democráticos y humanistas.

Fuentes:

• Referencia del Consejo de Ministros (11/03/2025).

• Nota de prensa del Ministerio de Transformación Digital.

• Artículo periodístico en El País (Manuel G. Pascual, 11/03/2025), destacando la adaptación del marco europeo y el papel de AESIA, así como la falta de concreción sobre deepfakes .

• Texto del Anteproyecto (Exposición de Motivos) sobre el derecho de retirada, y estructura general.

• Análisis comparativo internacional – Directortic (B. Madariaga, 2024) sobre enfoques en UE, EE.UU. y China, y Diario La Ley sobre la regulación china.