Un equipo internacional de investigadores ha desarrollado un prototipo de brazo robótico asistido, que incorpora las tecnologías de procesamiento de lenguaje natural (NLP), visión por computadora y computación en el borde. Esta innovadora solución busca mejorar la interacción humano-máquina, especialmente para personas con discapacidades. Las pruebas iniciales muestran la capacidad del sistema para manejar comandos complejos, transmitidos a través de lenguaje natural, gracias a la combinación de modelos de lenguaje (LLMs) y sistemas de visión.

Usar un joystick de dos ejes para manejar un brazo de siete grados de libertad en sillas de ruedas motorizadas presenta complicaciones, algo que este prototipo intenta mitigar a través de comandos de voz y procesamiento avanzado. Aunque las pruebas indicaron problemas de precisión en ambientes ruidosos, el uso de computación en el borde promete mejorar la respuesta y autonomía de estos dispositivos.

El sistema valiéndose del software de reconocimiento de voz VOSK transforma comandos hablados en texto, para ser procesados posteriormente por un API de GPT, interpretando y generando respuestas en formato JSON. Este proceso derivado facilita la comunicación intuitiva con los brazos robóticos, demostrando resultados prometedores en la manipulación de objetos basada en comandos verbales.

Diferentes prototipos robóticos, como el brazo móvil montado en sillas de ruedas, son elementos clave en el avance de las tecnologías asistidas, asegurando movimientos precisos y adaptados a las necesidades del usuario. Así, el sistema combina procesamiento de lenguaje natural con visión por computadora, integrándose a través de ROS, para ejecutar comandos altos en nivel, ajustándose meticulosamente a las necesidades individuales.

La investigación destaca la oportunidad de vincular lenguaje y acción, superando desafíos previos en traducción de comandos lingüísticos a ejecución precisa de robot. Incluso con avances, persisten retos sobre la adaptación justa de estas tecnologías a las necesidades únicas de sus usuarios, llamando a centrarse en diseños centrados en el ser humano.

Este proyecto sirve como un primer paso hacia sistemas más adaptativos y centrados en el usuario que, con el tiempo, podrán proporcionar robots asistivos aún más efectivos al traducir comandos verbales en movimientos coordinados, en entornos donde la accesibilidad y la atención especializada son cruciales.