Investigadores de la Universidad de Nueva York y otras instituciones han desarrollado una novedosa arquitectura de reconstrucción 3D, conocida como FusionSense, que podría cambiar la forma en que los robots perciben su entorno utilizando la integración de datos sensoriales. Este sistema combina visión, tacto y sentido común para lograr representaciones 3D más precisas de objetos complejos.
FusionSense destaca por su capacidad de representación robusta de formas globales. A diferencia de los sistemas visuales tradicionales que enfrentan problemas bajo malas condiciones de iluminación o con superficies difíciles como objetos transparentes o reflectantes, este nuevo sistema permite a los robots integrar observaciones escasas de sensores visuales y táctiles reforzando así la percepción robótica con datos más sólidos y fiables.
Uno de los puntos fuertes del sistema es su método de selección activa de puntos de toque, que utiliza prior conocimientos geométricos y modelos fundacionales de sentido común. Este enfoque permite a los robots mapear los alrededores y seleccionar estratégicamente puntos de contacto en los objetos que requieren información táctil refinada. Los experimentos realizados han mostrado que FusionSense supera en eficiencia y precisión a otros métodos de reconstrucción de visión escasa previamente establecidos.
FusionSense también aborda el desafío de cómo las observaciones parciales, como las señales táctiles, pueden mejorar la representación de un objeto en su totalidad. Utilizando una técnica de esparcimiento de Gauss en 3D, el sistema no solo mejora la claridad de la reconstrucción de superficies, sino que también maneja escenarios con objetos históricamente difíciles.
Los módulos que componen el sistema son de especial interés. El primero, dedicado a la representación robusta de formas globales, introduce umbrales de estructura híbrida junto con la técnica de poda de cascos, la cual ayuda a preservar la integridad de la estructura inicial al eliminar falsas impresiones en la reconstrucción inicial. El segundo módulo se centra en la selección estratégica de puntos de contacto basándose en gradientes elevados, indicando regiones complejas o discrepancias entre la representación y la observación.