Por qué importa la ética de la IA

Por qué importa la ética de la IA

La inteligencia artificial está cambiando nuestro mundo a una velocidad vertiginosa. Diagnostica enfermedades, conduce vehículos, decide sobre la concesión de créditos e influye en las noticias que ves. Pero este poder plantea preguntas fundamentales: ¿quién decide qué puede hacer la IA? ¿Según qué valores actúa? ¿Y quién asume la responsabilidad cuando algo sale mal?

La ética de la IA no es un asunto secundario para filósofos: es uno de los retos más urgentes de nuestro tiempo. En esta lección descubrirás por qué es así, qué daños reales se han producido ya y por qué también te afecta a ti, que usas la IA.

¿Lo sabías? En 2021, los 193 Estados miembros de la UNESCO aprobaron la primera recomendación mundial sobre la ética de la IA. Sin embargo, no es jurídicamente vinculante. El primer acuerdo internacional vinculante es el Convenio Marco del Consejo de Europa sobre Inteligencia Artificial, Derechos Humanos, Democracia y Estado de Derecho (2024), que también firmó Suiza en 2025. El Reglamento de Inteligencia Artificial de la UE (AI Act), en vigor desde agosto de 2024 y aplicable de forma gradual, es la ley más completa hasta la fecha, pero tampoco cubre todas las cuestiones éticas. La ética de la IA es un campo en constante evolución.

La ética no es un nice-to-have

Hay quien ve la ética como un freno a la innovación. Es justo al contrario: la falta de ética es un riesgo, para las empresas, para la sociedad y para las personas. Los sistemas de IA sin límites éticos ya han causado daños reales. Los siguientes ejemplos muestran lo que ocurre cuando la ética se tiene en cuenta a posteriori en lugar de desde el principio.

Ejemplos históricos de fallos éticos

La historia de la IA está llena de señales de alarma. Tres casos especialmente llamativos:

El sistema COMPAS (2016)

El sistema COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) se usaba en tribunales de EE. UU. para predecir la probabilidad de reincidencia de las personas acusadas. Los jueces usaban estas puntuaciones para decidir sobre la fianza y la pena.

El problema: una investigación de ProPublica mostró que el sistema clasificaba sistemáticamente a los acusados negros como más peligrosos que a los blancos, incluso con antecedentes comparables. La proporción de personas clasificadas erróneamente como de alto riesgo era casi el doble entre los afroamericanos. Aun así, el algoritmo se usó durante años sin que las personas afectadas pudieran cuestionar el sistema.

Problema ético: discriminación, falta de transparencia, ninguna posibilidad de recurso.

La IA de selección de personal de Amazon (2018)

Amazon desarrolló un sistema de IA que debía evaluar automáticamente las candidaturas. El sistema se entrenó con datos históricos de contratación, y como Amazon había contratado en el pasado sobre todo a hombres, la IA aprendió a preferir a los candidatos masculinos.

La IA penalizaba sistemáticamente los currículos que contenían la palabra «women's» (p. ej., «women's chess club»). Amazon abandonó el proyecto, pero el caso se convirtió en el ejemplo por excelencia de cómo los prejuicios históricos perviven en los sistemas de IA.

Problema ético: discriminación por sexo debido a datos de entrenamiento distorsionados.

Microsoft Tay (2016)

Microsoft lanzó en Twitter el chatbot «Tay», que debía aprender de sus interacciones con los usuarios. En 16 horas hubo que desactivarlo: los troles le habían enseñado declaraciones racistas, sexistas y antisemitas, que el chatbot difundía alegremente.

Tay puso de manifiesto un problema fundamental: cuando un sistema de IA aprende sin filtros del comportamiento de los usuarios, adopta también los peores aspectos del comportamiento humano. Sin mecanismos de seguridad, la IA se convierte en un amplificador del odio.

Problema ético: falta de medidas de seguridad, ninguna alineación (alignment) con los valores humanos.

El dilema del tranvía en la IA

Imagínate: un coche autónomo detecta que un accidente es inevitable. Puede girar a la izquierda y poner en peligro a un peatón o seguir recto y arriesgar la vida de sus ocupantes. ¿Cómo debe decidir la IA?

El clásico «dilema del tranvía» (trolley problem) de la filosofía se vuelve de repente real con la conducción autónoma. Y se complica aún más: ¿debe importar la edad de las personas afectadas? ¿Su número? ¿Y si hay un niño en la calle?

Ejemplo: el proyecto de investigación del MIT «Moral Machine» recogió más de 40 millones de decisiones de personas de todo el mundo. Los resultados mostraron enormes diferencias culturales: en casi todos los países se tendía a salvar a las personas más jóvenes, pero en muchos países de Asia oriental esta preferencia era claramente más débil que en los países occidentales (Awad et al., Nature 2018). ¿Cómo se programa una «ética global» en un coche que circula por distintos países? La respuesta es: no hay una solución sencilla.

El dilema del tranvía es solo la punta del iceberg. Surgen dilemas parecidos en todos los ámbitos en los que la IA toma decisiones: ¿debe una IA médica dar prioridad a un paciente joven o a uno mayor cuando los recursos escasean? ¿Debe una IA de créditos tener en cuenta el barrio de residencia, aunque eso conduzca a la discriminación?

¿Quién es responsable cuando la IA comete errores?

Cuando un médico humano comete un error, la cuestión de la responsabilidad está clara. Pero ¿qué pasa si una IA hace un diagnóstico erróneo? ¿Quién responde?

Atención: la cuestión de la responsabilidad por los errores de la IA no está resuelta en ningún lugar del mundo. Ni el AI Act ni otras normativas ofrecen hasta ahora una respuesta completa. Esto significa que, si usas sistemas de IA en tu trabajo, puede que asumas una responsabilidad cuyo alcance todavía no está definido jurídicamente. Nunca confíes a ciegas en las decisiones de la IA en ámbitos críticos.

Las partes interesadas (stakeholders), es decir, las personas implicadas y responsables, forman una red compleja:

  • Desarrolladores e investigadores: diseñan los modelos, eligen los datos de entrenamiento y definen los objetivos de optimización. Sus decisiones en la fase de desarrollo tienen consecuencias éticas de gran alcance.
  • Empresas: usan sistemas de IA y son responsables de sus efectos en los clientes, el personal y la sociedad. El afán de lucro no debe imponerse a los principios éticos.
  • Legisladores y reguladores: crean el marco jurídico, pero la tecnología evoluciona más rápido que las leyes. La brecha entre la realidad técnica y la regulación es un problema permanente.
  • Sociedad e individuos: a todos nos afecta, y todos tenemos voz. Una ciudadanía informada puede presionar a las empresas y a la política y exigir normas éticas.
Cita: «Technology is neither good nor bad; nor is it neutral» (Melvin Kranzberg, historiador de la tecnología, 1986). Esta cita es especialmente válida para la IA: es una herramienta poderosa cuyo efecto depende por completo de cómo la diseñemos y la usemos.
Consejo práctico: no hace falta formación jurídica ni filosófica para entender la ética de la IA. Empieza con una pregunta sencilla ante cada sistema de IA que uses: «¿Quién podría salir perjudicado por este sistema?». Esta pregunta por sí sola agudiza enormemente tu conciencia y te ayuda a detectar a tiempo posibles problemas.
¿Por qué se criticó el sistema COMPAS desde el punto de vista ético?
¡Correcto! La investigación de ProPublica mostró que COMPAS clasificaba erróneamente como de «alto riesgo» a los acusados negros con antecedentes comparables casi el doble de veces. El sistema reforzaba los prejuicios racistas existentes en lugar de corregirlos, un ejemplo paradigmático de discriminación algorítmica.
No exactamente. El problema principal de COMPAS no era de naturaleza técnica ni una cuestión de autorización. La investigación de ProPublica reveló que el sistema clasificaba sistemáticamente a los acusados negros como más peligrosos, un caso claro de discriminación algorítmica con consecuencias reales para las personas afectadas.
Puntos clave:
  • La ética de la IA no es un asunto secundario: afecta a personas reales con consecuencias reales, de las sentencias penales a las decisiones de crédito.
  • Casos históricos como COMPAS, la IA de selección de personal de Amazon y Tay lo muestran: sin límites éticos, la IA causa daños medibles.
  • El dilema del tranvía deja claro que muchas cuestiones éticas de la IA no tienen respuestas sencillas, pero aun así hay que plantearlas.
  • La responsabilidad por la ética de la IA recae en todas las partes interesadas: desarrolladores, empresas, legisladores y la sociedad.
  • Si usas la IA, puedes contribuir cuestionando de forma crítica los sistemas de IA y exigiendo transparencia.