Los investigadores combinan drones e inteligencia artificial para hacer que la remoción de minas terrestres sea más rápida y segura

Al menos 57 países tienen minas antipersonal activas en sus territorios. Sólo en 2024, 1.945 personas murieron y 4.325 resultaron heridas por minas terrestres, el 90 por ciento de las cuales eran civiles. Casi la mitad de ellos eran niños. En el mismo año, se retiraron 105.640 minas mediante desminado.

Con nuevos conflictos, el número de minas terrestres sigue aumentando. Para los agricultores, los niños y otras personas que regresan a zonas posconflicto, un paso puede significar lesiones permanentes o la muerte.

Soy estudiante de doctorado en el Departamento de Ciencias de la Imagen del Instituto de Tecnología de Rochester y trabajo con Emmett Ientilucci. Mi investigación se centra en el uso de drones, imágenes multisensoriales e inteligencia artificial para mejorar la velocidad, precisión y confiabilidad de la detección de minas terrestres y municiones sin detonar.

Nuestra investigación tiene como objetivo hacer esto de tres maneras: desarrollar técnicas para combinar datos de múltiples tipos de sensores, crear conjuntos de datos de referencia para desarrollar y evaluar sistemas de detección y mejorar la confiabilidad de los métodos de detección de IA mediante la incorporación de estimaciones de incertidumbre.

Los investigadores utilizaron estas minas terrestres inertes y municiones sin detonar para probar sensores basados ​​en drones. Baur et al. Más sensores desde arriba

La detección de minas terrestres todavía depende en gran medida de métodos terrestres, cada uno de los cuales tiene serias limitaciones. Los detectores de metales portátiles a menudo tienen problemas en suelos ricos en minerales y tienen dificultades para detectar de manera confiable minas con bajo contenido de metales o predominantemente plásticas. El radar de penetración terrestre puede detectar objetos no metálicos, pero funciona mal en terrenos húmedos o irregulares, o en terrenos cubiertos de vegetación, y a menudo genera altas tasas de falsas alarmas. El sondeo manual y los animales de detección entrenados siguen siendo métodos eficaces para localizar minas terrestres, pero el proceso es lento, requiere muchos recursos y expone a los desminadores a riesgos significativos. Dada la escala del despliegue de minas terrestres en Ucrania y otras regiones en conflicto y posconflicto, los estudios del suelo por sí solos no pueden seguir el ritmo.

Las operaciones de desminado utilizan cada vez más imágenes aéreas basadas en drones para acelerar los estudios de las minas, en particular de las minas colocadas en tierra. Sin embargo, el camuflaje, la vegetación y las condiciones cambiantes de iluminación a menudo hacen que estas minas sean casi invisibles en las imágenes convencionales.

Investigaciones anteriores que mis colegas y yo realizamos examinaron si los sensores aéreos podrían reemplazar o respaldar de manera realista los estudios terrestres tradicionales. Evaluamos la viabilidad de reemplazar los sistemas aéreos de detección de metales con detectores de metales portátiles para detectar minas terrestres y municiones sin detonar.

Los resultados mostraron que la detección magnética montada en drones puede detectar objetivos metálicos con una precisión comparable a los métodos terrestres en un rango controlado, al tiempo que reduce el riesgo humano y aumenta la velocidad del estudio aproximadamente diez veces. Nuestro mapa de calor, generado utilizando detectores de metales de inducción electromagnética aerotransportados sobre el sitio de prueba, resalta las ubicaciones probables de minas terrestres enterradas y objetivos de municiones sin detonar, lo que ilustra cómo los sensores basados ​​en drones pueden estudiar de manera segura y efectiva áreas sembradas de minas terrestres.

La detección aérea se beneficia de sensores complementarios. Las cámaras RGB, que detectan imágenes de luz visible en color, registran las características visuales de las minas terrestres. Los sensores térmicos detectan diferencias de temperatura entre las minas y el suelo que las rodea. Los sensores multiespectrales e hiperespectrales identifican las firmas de diferentes materiales. El radar de apertura sintética detecta cambios en la superficie terrestre. LiDAR mapea perturbaciones superficiales sutiles. Y los magnetómetros detectan componentes metálicos subterráneos. Juntos, estos sensores pueden abordar los distintos tipos de minas y condiciones de emplazamiento que se encuentran en entornos del mundo real.

La detección de minas mediante drones que utiliza múltiples sensores e inteligencia artificial puede mejorar la seguridad y la velocidad. Instituto de Tecnología de Rochester

A pesar de su potencial, los sistemas multisensoriales de detección de minas basados ​​en drones siguen estando poco explorados. El progreso se ha visto limitado por la falta de conjuntos de datos de referencia disponibles públicamente con datos recopilados de múltiples tipos de sensores utilizando una ubicación realista de las minas y una verdad precisa del terreno, es decir, las posiciones y profundidades reales de las minas objetivo. Sin estos conjuntos de datos, los investigadores no pueden comparar algoritmos con precisión, validar resultados de pruebas ni desarrollar modelos de IA que funcionen bien fuera de un entorno de pruebas.

Construcción de conjuntos de datos de detección de minas.

Para enfrentar este desafío, nuestro equipo junto con varios otros investigadores colaboraron con la comunidad de investigación de desminado sin fines de lucro para recopilar un conjunto de datos completo. Utilizamos el campo de pruebas de investigación de remoción de minas controlado de la Comunidad en Oklahoma, que incluía más de 140 minas inertes y municiones sin detonar.

Recopilamos un gran conjunto de datos multisensor georreferenciado utilizando plataformas terrestres y drones de múltiples altitudes. Utilizamos radares hiperespectrales, multiespectrales, térmicos, RGB, LiDAR, radar de apertura sintética, radar de penetración terrestre, detectores de metales de inducción electromagnética y magnetómetros. Este conjunto de datos se publicará en una revista actualmente en revisión. Publicamos parte de esta colección (un conjunto de datos hiperespectrales particularmente visibles y de infrarrojo cercano adquiridos a 20 metros) a través de una publicación de conferencia.

Los investigadores utilizaron estas réplicas en 3D de las minas PFM-1 verdes y marrones en el campo.

Ampliamos este esfuerzo a nivel internacional mediante la colaboración con la Real Academia Militar de Bélgica durante una importante campaña de recopilación de datos. Juntos, desplegamos más de 110 réplicas de minas PFM-1 en diversos terrenos y condiciones de vegetación.

Para simular campos minados realistas, esparcimos minas inertes para aproximarnos a la dispersión aérea. Medimos y geolocalizamos con precisión cada mina utilizando estaciones base GPS. Luego recopilamos datos a múltiples altitudes utilizando drones equipados con sensores de polarización hiperespectrales, multiespectrales, térmicos, RGB, LiDAR y reductores de deslumbramiento.

Otros grupos de investigación, participantes y socios de la industria, incluidos fabricantes de sensores, recopilaron conjuntos de datos adicionales en el mismo campo de prueba. Estos conjuntos de datos se están procesando actualmente y se publicarán como acceso abierto en un futuro próximo.

Hasta donde sabemos, estos serán los primeros conjuntos de datos de su tipo disponibles públicamente, lo que abrirá nuevas oportunidades no solo para la investigación de detección de minas terrestres, sino también para la comunidad más amplia de inteligencia artificial y teledetección. Al hacer que estos conjuntos de datos estén disponibles, nuestro objetivo es acelerar la investigación sobre fusión de datos multisensor, mejorar la confiabilidad de los sistemas de detección basados ​​en IA y ayudar a cerrar la brecha entre la investigación académica y las necesidades de los desarrolladores industriales y las organizaciones humanitarias.

Este campo de prueba tenía 110 réplicas de minas PFM-1 con sus posiciones geolocalizadas (incrustadas) para calibrar los experimentos de detectores. Medición de confiabilidad del Instituto de Tecnología de Rochester

Pero incluso si calibra cuidadosamente sus sensores utilizando nuestro conjunto de datos, aún debe reconocer las limitaciones de la tecnología. En aplicaciones como la detección de minas, un error puede ser fatal. La mayor parte de mi investigación se centra en la confiabilidad de la IA y la evaluación de la incertidumbre. En un estudio reciente, desarrollamos una medida de la incertidumbre de un modelo de IA sobre sus predicciones.

En lugar de obligar a los modelos a producir predicciones confiables en todo momento, desarrollamos métodos que permiten a los sistemas decir: “No estoy seguro”. Nuestro objetivo es proporcionar una métrica de incertidumbre junto con las predicciones: cuanto más ruidosa o ambigua sea la entrada, mayor será la puntuación de incertidumbre. Esta información puede ayudar a los operadores de desminado a tomar decisiones más seguras e informadas, especialmente en condiciones difíciles o inciertas.

Con la publicación de estos conjuntos de datos, creemos que surgirán nuevas oportunidades para que los investigadores de inteligencia artificial y teledetección exploren la fusión de datos multisensor. Los conjuntos de datos incluyen una amplia gama de objetivos en términos de tamaño, forma y orientación, con todos los datos completamente georreferenciados y con información precisa sobre el terreno. Debido a que cada objetivo fue observado por múltiples sensores en múltiples altitudes, los investigadores podrán realizar análisis comparativos de sensores individuales versus enfoques de detección combinados. Esto apoyará el desarrollo de algoritmos de detección más fiables, seguros y rápidos adaptados a las necesidades reales de desminado.

Básicamente, esta investigación no se trata de algoritmos o drones, sino de personas. Se trata de que los agricultores recuperen sus tierras, que los niños vayan a la escuela de forma segura y que las comunidades se reconstruyan sin miedo. Al combinar inteligencia artificial, drones y ciencia abierta, nuestro objetivo es transformar la detección de minas de una práctica lenta y peligrosa a un proceso más seguro, inteligente y escalable, que ayude a devolver los paisajes posconflicto a lugares donde la vida pueda volver a crecer.