Avances en tecnologías de asistencia con Inteligencia Artificial.
Para alguien con discapacidad visual, navegar por una calle desconocida puede ser un desafío. Incluso ir recto puede resultar complicado en un espacio abierto. Encontrar obstáculos, escaleras e intersecciones puede resultar potencialmente en una situación insegura. Si bien las ayudas, como los bastones blancos o los perros guía, son útiles, no pueden decirle exactamente a una persona con discapacidad visual lo que tiene delante ni adónde ir. Avances en tecnologías de asistencia con IA para ayudar a personas con discapacidad visual.
El profesor Eshed Ohn-Bar trabaja en el desarrollo de tecnologías de inteligencia artificial que pueden colaborar y ayudar a los humanos sin problemas. Ohn-Bar es Thrust Leader of the AI for Assisitive Applications and Natural Interfaces, parte del programa de investigación enfocado Teaching Machines Human-Like Intelligence. También es miembro del profesorado del CISE y profesor de Ingeniería Eléctrica e Informática en la Facultad de Ingeniería.
IA para ayudar a personas con discapacidad visual
El artículo más reciente de Ohn-Bar, “ASSISTER: Assistive Navigation via Conditional Distribution Generation”, presenta una IA de generación de lenguaje para brindar asistencia intuitiva y similar a la humana a personas con discapacidad visual. El objetivo es que ASSISTER pueda determinar qué y cuándo decirle a una persona con discapacidad visual, por ejemplo, qué obstáculos enfrenta, mientras dirige verbalmente a la persona a su destino planificando un camino.
“Existe un gran desafío de ingeniería para ayudar a las personas con discapacidad visual a navegar y llegar a su destino de forma segura y sin problemas”, dijo Ohn-Bar. “Las personas con discapacidades suelen decir que el transporte y el desplazamiento a lugares pueden afectar su calidad de vida porque tal vez quieran ir a restaurantes o al gimnasio. Pero pueden terminar quedándose en casa porque sienten que es muy difícil llegar a estos lugares de forma independiente”.
Ohn-Bar y su equipo querían que ASSISTER AI actuara menos como una guía automatizada y, en cambio, fuera más natural y orientada a la propia interpretación de las direcciones y habilidades de la persona.
“El objetivo de ASSISTER es imitar la interacción humana natural en lugar de proporcionar retroalimentación similar a un sistema de autocorrección que le brinda algunas recomendaciones que no desea utilizar”, dijo Ohn-Bar.
Cómo navegar hacia un destino
Para imitar interacciones más naturales, Ohn-Bar y su equipo contrataron guías de orientación y movilidad. Estos guías trabajan con personas con discapacidad visual para enseñarles cómo navegar hacia un destino. Mientras navegaban, los viajeros llevaban cámaras, lo que permitió a los investigadores observar cómo los guías daban indicaciones y sus respuestas. Luego tomaron los datos de vídeo y audio de esas experiencias y los usaron para entrenar a ASSISTER. Utilizando un modelo de hablante-seguidor, ASSISTER fue programado para proporcionar instrucciones conversacionales a través de un sistema de asistencia portátil.
Ohn-Bar y su equipo probaron ASSISTER primero en una simulación, en diversos escenarios y entornos, y luego con humanos siguiendo instrucciones en el mundo real. La simulación imita lo que es navegar sin poder ver nada. El usuario puede utilizar las teclas del teclado para moverse, pero lo único que ve en la pantalla es un abanico de colores que indica la posición de su bastón. Con solo ver el ventilador en la pantalla, el usuario debe completar la tarea de encontrar su vehículo de viaje compartido.
Instrucciones para llegar a un vehículo autónomo
Una vez que perfeccionaron el algoritmo, transfirieron la IA al mundo real. Ohn-Bar y su equipo colaboraron con el Carroll Center for the Blind en Boston, dando a los usuarios instrucciones para llegar a un vehículo autónomo a 200 pies de distancia a través de intersecciones concurridas, escaleras, bordillos y peatones. El sistema de asistencia paso a paso pudo guiar a los usuarios hasta la manija de la puerta del vehículo.
Ohn-Bar dijo que si bien siempre trabajó en la interacción hombre-máquina para tecnologías de asistencia, trabajar con un informático ciego en la Carnegie Mellon University le mostró de primera mano cómo la tecnología puede aliviar las dificultades de las personas ciegas.
En general, la IA y la visión por ordenador hoy en día tienen dificultades para comprender a los humanos con discapacidades. En un artículo titulado X-World: Accessibility, Vision, and Autonomy Meet, Ohn-Bar y su equipo descubrieron que los algoritmos detectaban una silla de ruedas con un 30% de precisión, y bastones blancos con menos del 1% de precisión, lo que demuestra que hay una falta de investigación sobre máquinas de enseñanza para reconocer e interactuar con personas con discapacidad.
Ohn-Bar y su equipo recibieron recientemente una subvención de la NSF para continuar la investigación con ASSISTER. Actualmente están probando una versión de ASSISTER para teléfonos inteligentes y Ohn-Bar dijo que quiere que ASSISTER se convierta en un sistema completo de apoyo en viajes que cualquiera pueda usar. Básicamente, la aplicación guiaría a cualquier persona de un destino a otro, y luego de regreso a casa. Espera que su trabajo pueda facilitar a las personas con discapacidades navegar y realizar las tareas cotidianas con facilidad.
Más información:
ASSISTER: Assistive Navigation via Conditional Instruction Generation https://eshed1.github.io/papers/assister_eccv2022.pdf
X-World : Accessibility, Vision, and Autonomy Meet https://openaccess.thecvf.com/content/ICCV2021/papers/Zhang_X-World_Accessibility_Vision_and_Autonomy_Meet_ICCV_2021_paper.pdf
Leído en:
Boston University | Rafik B. Hariri Institute for Computing and Computational Science & Enginering