¡Ese no fui yo! – ¿Quién es responsable de las decisiones respaldadas por IA?
Anna le quita el juguete a su hermano y él comienza a gritar. El padre entra en la habitación e inmediatamente capta la situación. “¡Anna, no debes quitarle el juguete a tu hermano!”, le dice con reproche. “¡Pídele disculpas!”, continúa. Acto seguido, Anna le devuelve el juguete y se disculpa de mala gana.
En 2018, las empresas Volkswagen y Audi admitieron su responsabilidad por violar sus deberes de supervisión en el escándalo de las emisiones, y pagaron multas elevadas en relación con la manipulación de los valores de las emisiones.
Estos ejemplos ilustran la relevancia de las atribuciones de responsabilidad tanto en contextos públicos como privados. Para nosotros es importante que las personas asuman la responsabilidad de sus acciones y, si es necesario, tengan consecuencias. Nos culpamos unos a otros por las malas acciones y esperamos que los demás admitan su culpa y se enmienden cuando hacen algo mal. Pero, ¿qué pasará con esta práctica si no son las personas sino los sistemas de IA los que toman decisiones?
El problema de la brecha de rendición de cuentas
Imaginemos el departamento de recursos humanos de una gran empresa que ha automatizado por completo sus procesos de solicitud. Un sistema autónomo de contratación de IA recibe toda la información de las solicitudes de un procedimiento específico. A continuación, clasifica de forma independiente las aplicaciones inadecuadas. Supongamos que el sistema clasifica incorrectamente a una persona como inadecuada para el puesto anunciado en función de ciertas características del grupo – por ejemplo, el color de la piel y el sexo – y resuelve su solicitud. Como resultado, el sistema de contratación tiene un sesgo (es decir, está sesgado) y, por lo tanto, discrimina a un solicitante negro, por ejemplo.
A veces, las personas también tienen prejuicios contra los miembros de ciertos grupos sociales: es posible que los gerentes de recursos humanos no hayan preseleccionado al solicitante negro debido a los prejuicios. Sin embargo, hay una gran diferencia: si un gerente de recursos humanos discrimina al solicitante, entonces esta persona es obviamente responsable de ello. Podemos culpar a la persona o incluso emprender acciones legales contra ella o la empresa. Pero, ¿quién tiene la culpa si el sistema de contratación totalmente automatizado discrimina al solicitante? En el debate filosófico sobre las lagunas en la rendición de cuentas, se argumenta que en algunos casos de esta naturaleza ya nadie es responsable. No hay una sola persona que tome la decisión discriminatoria. Así que nadie tiene que hacerlo ni puede defenderlos.
Responsabilidad indirecta
¡Pero detente! ¿No es obviamente responsabilidad de la empresa utilizar el sistema de contratación discriminatorio? Alternativamente: ¿no deberían responsabilizarse a los desarrolladores del sistema porque lo construyeron tan mal que discrimina a las personas?
En algunos casos, las brechas en la responsabilidad ciertamente pueden cerrarse de esta manera. Los operadores o desarrolladores de un sistema no son directamente responsables de la decisión discriminatoria, pero al menos indirectamente. Porque son los responsables de haber utilizado o desarrollado un sistema de IA discriminatorio.
El problema de muchas manos
Desafortunadamente, esta cadena de argumentos no siempre funciona. Algunos casos plantean un “problema de muchas manos”: en situaciones complejas con muchos participantes, a menudo es imposible encontrar a alguien responsable de un mal resultado. Porque hay demasiadas partes involucradas para determinar quién es realmente el culpable. Una posible razón para esto: posiblemente no era previsible para los involucrados debido a la compleja situación general que sus respectivas acciones contribuirían a un mal resultado.
En el caso del sistema de reclutamiento totalmente automatizado, tenemos muchos participantes y una situación general compleja. Por lo tanto, es posible que los desarrolladores del sistema hicieran todo lo posible para descartar sesgos, por ejemplo, probando el sistema en busca de decisiones discriminatorias (y no encontraron ninguna). Quizás la empresa opera el sistema porque ha sido certificado como no discriminatorio por una organización confiable e independiente. A pesar de estas precauciones, puede haber un sesgo, pero esto solo ocurre en situaciones excepcionales, como en nuestro ejemplo, debido a una combinación de pertenencia al grupo de género y color de piel. Dado que el sesgo algorítmico está muy extendido y no está claro si siempre podemos detectarlo, este es un problema grave. En tal caso, es difícil responsabilizar a los promotores o a los operadores, aunque sea indirectamente, de la decisión discriminatoria del sistema de contratación. El problema de la brecha de rendición de cuentas persiste.
Apariencia: humano en el bucle
Una mejor solución es organizar el proceso de selección de personal de manera diferente. En muchos casos, las decisiones de gran importancia no deben estar completamente automatizadas, sino que requieren un ser humano en el circuito. Los sistemas de IA solo sirven para respaldar decisiones y hacer recomendaciones sobre la base de las cuales un ser humano decide. Esta persona es entonces responsable de la decisión respaldada por IA.
¿Puede esta propuesta resolver todos los problemas? Supongamos que los reclutadores reciben recomendaciones del sistema sin saber por qué hace estas recomendaciones y si se hacen debido a un sesgo oculto en el sistema. Entonces no podemos responsabilizar a las personas por decisiones de las que no podrían haber conocido las implicaciones morales potenciales.
Necesitamos IA explicable
Para permitir la rendición de cuentas, los sistemas de IA deberían poder explicar su recomendación en tales casos. Si la recomendación del sistema de apoyo a la toma de decisiones en contra de una solicitante se explica por el hecho de que es una mujer negra, entonces los reclutadores en el circuito pueden muy bien saber que la decisión correspondiente sería discriminatoria. Si, a pesar de todo, se sigue la recomendación automática y no se invita al solicitante, los responsables de RR.HH. conocen las implicaciones morales de su decisión y podemos responsabilizarlos por ello.
Estas consideraciones resaltan la relevancia de la IA explicable para resolver el problema de la brecha de responsabilidad. A esto le siguen las preguntas de, en primer lugar, cómo podemos obtener explicaciones para los resultados de un sistema y, en segundo lugar, qué tipo de explicaciones son adecuadas, por ejemplo, para permitir realmente a los gerentes de recursos humanos tomar decisiones responsables. El problema de la brecha de responsabilidad abre así espacio para emocionantes proyectos de investigación interdisciplinarios en la interfaz entre la informática y la filosofía.
Fuente: