En la era de la inteligencia artificial (IA), gran parte de las decisiones que afectan a nuestra vida cotidiana (concesión de créditos, procesos de selección, priorización de contenidos) están mediadas por algoritmos. Sin embargo, no siempre sabemos cómo y por qué llegan a sus conclusiones. Esta opacidad plantea un problema jurídico, técnico y ético: ¿podría un algoritmo discriminar sin que ni siquiera sus desarrolladores lo detecten?
La respuesta es sí. Y por ello, el Reglamento General de Protección de Datos (RGPD), la Ley Orgánica de Protección de Datos y Garantía de los Derechos Digitales (LOPDGDD) y el Reglamento de IA de la UE establecen obligaciones en materia de transparencia, explicabilidad y prevención de sesgos.
La caja negra algorítmica: un riesgo real
Muchos sistemas de IA, especialmente los basados en aprendizaje profundo, funcionan como “cajas negras”: reciben datos de entrada, procesan internamente con múltiples capas y devuelven una salida… sin que el razonamiento sea fácilmente comprensible.
Un ejemplo: un modelo de selección de personal que, sin ser programado para ello, aprende patrones discriminatorios porque ha sido entrenado con historiales de contratación sesgados.
Riesgo legal: El RGPD, en su art. 22, reconoce el derecho a no ser objeto de decisiones basadas únicamente en tratamientos automatizados que produzcan efectos jurídicos o significativamente similares. Además, el art. 15.1.h otorga derecho a obtener “información significativa sobre la lógica aplicada”.
Discriminación inadvertida: cómo ocurre
La discriminación algorítmica puede producirse de forma indirecta:
- Datos de entrenamiento sesgados (ej.: uso de variables correlacionadas con el género o el origen étnico).
- Variables proxy: aunque se eliminen datos como la raza, otros indicadores pueden predecirla (código postal, historial laboral).
- Diseño del modelo: ponderaciones y parámetros que favorecen inconscientemente a un grupo.
El Reglamento de IA de la UE, en su clasificación de riesgos, obliga a que los sistemas de “alto riesgo” implementen medidas de gobernanza de datos, documentación técnica y mecanismos de supervisión humana.
El papel de la explicabilidad y la transparencia
La explicabilidad es la capacidad de un sistema para ofrecer razones comprensibles de sus decisiones. No basta con mostrar el código fuente o las matemáticas internas: se requiere traducción a un lenguaje entendible para personas no expertas.
Ejemplo práctico: un banco rechaza una solicitud de crédito. No es suficiente decir que “el modelo lo denegó”; debe indicarse qué factores (ej.: ratio deuda/ingresos, historial de impagos) pesaron más y cómo mejorar la puntuación.
Responsabilidades y obligaciones
Bajo el RGPD y la LOPDGDD:
- Evaluaciones de impacto en protección de datos (EIPD) para tratamientos de alto riesgo (art. 35 RGPD).
- Minimización de datos y revisión periódica de la calidad de los datos.
- Garantizar intervención humana significativa en decisiones críticas.
Bajo el Reglamento de IA:
- Requisitos de documentación y registro de actividades.
- Auditorías internas y externas.
- Pruebas de robustez y mitigación de sesgos antes y durante la operación del sistema.
Conclusiones
La discriminación algorítmica no siempre es intencionada, pero sus efectos son igualmente graves. La normativa europea y española obliga a anticipar y prevenir estos riesgos mediante transparencia, explicabilidad y control humano.
Recomendaciones prácticas
- Exigir explicaciones claras: si una decisión automatizada te afecta, solicita información comprensible sobre cómo se tomó.
- Auditar algoritmos: organizaciones deben evaluar periódicamente el impacto y sesgos de sus sistemas.
- Formar equipos multidisciplinares: incluir perfiles legales, técnicos y éticos en el desarrollo y supervisión de IA.
- Adoptar IA explicable desde el diseño (explainable by design).
