Datos sintéticos: mejorar los algoritmos de percepción y optimizar la búsqueda de límites

Para cubrir todos los casos extremos encontrados en el mundo real, los sistemas de detección críticos requieren grandes cantidades de datos. Uno de los enfoques más comunes de los algoritmos de entrenamiento para vehículos autónomos es la selección y etiquetado de datos reales de conducción. En CVPR 2020, Andrey Karpaty dijo que Tesla también usa este enfoque: sus autos adaptan etiquetas de objetos en línea. La "variación y el control" es muy importante, ya que los ingenieros están adaptando constantemente la ontología y la metodología para etiquetar los datos, ya que los vehículos autónomos se enfrentan constantemente a nuevos escenarios que deben analizarse.



Sin embargo, este enfoque basado en datos tiene varias limitaciones debido a la escalabilidad, los costos de recopilación de datos y la cantidad de esfuerzo requerido para etiquetar con precisión los conjuntos de datos. En este texto, el equipo de Applied discutirá un enfoque de datos etiquetados sintéticos. Este enfoque hace que el aprendizaje y el desarrollo de algoritmos críticos para vehículos no tripulados sean más rápidos y rentables.







Un ejemplo de datos sintéticos para imágenes de cámaras con marcas de referencia. Imagen RGB original (arriba a la izquierda), cuadros 2D (arriba a la derecha), marcado semántico (abajo a la izquierda) y cuadros 3D (abajo a la derecha).

Enfoque moderno para el marcado de datos y problemas relacionados

La Figura 2 muestra un enfoque típico para crear conjuntos de datos etiquetados. Este es un proceso que requiere mucho tiempo: los conductores de prueba conducen vehículos equipados con múltiples sensores en modo manual o no tripulado. Durante estos viajes, un software especial integrado en el vehículo registra los datos brutos del sensor y la salida del programa de los módulos de detección, control y planificación. En el proceso de desarrollo, puede ser necesario crear vehículos especiales, ya que los vehículos en serie pueden carecer de los sensores precisos necesarios para la recopilación de datos. Después de recolectar los datos, surge la difícil tarea de formar una muestra de los datos que se marcarán. Esto requiere una selección cuidadosa de eventos específicos e interesantes, después de lo cual se envían conjuntos de datos a las empresas,participa en el marcado (es aconsejable minimizar el tamaño del conjunto de datos para ahorrar en su marcado). A veces, esto incluye la búsqueda de casos extremos específicos en los registros (como un paquete volando en la autopista). Además, es posible que se requiera la recopilación y el etiquetado al actualizar la configuración de cualquiera de los sensores.







2:



Si bien el marcado puede ser la única forma de preparar los datos sin procesar necesarios para entrenar algoritmos de conducción autónoma, la principal desventaja de este enfoque es la inversión necesaria para escalar lo suficiente. Los conductores de prueba pueden necesitar viajar cientos o miles de kilómetros para detectar cualquier caso límite. Tesla, por ejemplo, tiene una flota de más de un millón de autos de producción que recopilan enormes cantidades de datos: señales de alto en diferentes idiomas, diferentes ubicaciones, validación de datos y más, todo en nombre de la empresa. La mayoría de los fabricantes de equipos originales no tienen suficientes vehículos para recopilar estos conjuntos de datos. Incluso si estuvieran disponibles grandes cantidades de datos de conducción, todavía no hay garantía.que estos datos estarían disponibles en conjuntos de datos. En este caso, para recopilar dichos datos, es necesario realizar campañas especiales, lo que aumenta el costo de desarrollo y aumenta el plazo.



Otro aspecto es la disponibilidad y disponibilidad de condiciones específicas. En el momento de escribir este artículo, los EE. UU. Están experimentando condiciones climáticas extremas: el cielo se vuelve naranja (a veces incluso rojo) (Fig. 3). Si no hay vehículos en un área con estas condiciones, se necesitarán años para recopilar dichos datos, para que se repitan las condiciones extremas. De lo contrario, habrá distorsiones en el conjunto de datos debido al hecho de que no proporciona muestras de tales condiciones.







Figura 3: Las condiciones extremas son difíciles de predecir y capturar en conjuntos de datos de vehículos autónomos. Fuente: CBS News.



Además, los desarrolladores de vehículos autónomos siempre están buscando nuevos diseños y se necesitará una infraestructura significativa para procesar los datos de manera eficiente. Muchas consultas sobre estos datos asumen que los datos ya tienen etiquetas o marcas. El problema es que si este método no se ha utilizado antes, es posible que no existan. Por último, el costo de etiquetar los datos es bastante alto y, a menudo, los datos se etiquetan manualmente. Existe una alta probabilidad de errores e inexactitudes (por ejemplo, cuando un automóvil se superpone a otro en la imagen).

Usar datos sintéticos y sus beneficios

Los datos sintéticos proporcionan un enfoque alternativo que es más escalable y preciso. Aunque los datos sintéticos se generan a partir de la simulación, la información confiable (etiquetas semánticas de vehículos o texto en las señales de tráfico) se proporciona con precisión. Las simulaciones también pueden proporcionar datos precisos sobre el albedo, la profundidad, el reflejo posterior y la rugosidad de cada objeto en la escena (Figura 4). Además, los objetos tienen máscaras de píxeles y etiquetas semánticas. Todo esto le permite crear anotaciones automáticamente, sin la necesidad de etiquetar manualmente los datos de los sensores. Si bien puede requerir un software de extracción dedicado del mundo real para crear anotaciones individuales, será una inversión única que le permitirá crear y usar nuevas clases de etiquetas.







4: . : , , , , .



Otra ventaja notable del marcado de datos sintéticos es que le permite crear muchas variaciones de la misma escena sin tener que viajar por el mundo y depender de la suerte. Los datos sintéticos también le permiten concentrarse en objetos específicos de interés para los desarrolladores. Con los algoritmos adecuados configurados, se pueden simular millones de variantes de señales de tráfico en cuestión de horas. Estas opciones pueden incluir diferentes condiciones de iluminación, ubicación de objetos, diversas obstrucciones y daños (óxido, manchas de aceite, grafitis). Por tanto, los datos sintéticos pueden complementar los datos extraídos del mundo real. Los eventos compuestos del mundo real se pueden utilizar como punto de partida a partir del cual se crearán miles de variaciones de la escena original.



La diversidad también es importante desde el punto de vista geográfico. Para cumplir con las señales de tráfico extranjeras con modificaciones específicas utilizadas en países individuales, los vehículos de prueba deberán viajar a esos países. Además, un automóvil de prueba puede viajar cientos de kilómetros para encontrar una señal de tráfico específica, pero al final resulta que estaba medio bloqueado por un autobús escolar. Todas estas dificultades se pueden sortear creando instantáneamente las escenas necesarias utilizando conjuntos de datos sintéticos (Figura 5). Debido al hecho de que se puede crear una amplia gama de escenarios sobre la base de datos sintéticos, los algoritmos se pueden probar en muchos casos extremos (Fig. 6).Esta publicación describe cómo Kodiak Robotics (que se ocupa de camiones autónomos) utiliza simulaciones sintéticas para entrenar algoritmos y pruebas; verifican que su sistema Kodiak Driver maneja adecuadamente varios casos de prueba de borde.











Figura 5: Ejemplos de diferentes señales de tráfico en Europa y EE. UU.







Figura 6: Modificación de las condiciones de la carretera y las marcas en datos sintéticos



Otro caso de uso importante es obtener muestras de datos de referencia que no se pueden recopilar de sensores o agregar manualmente. Un ejemplo típico es la extracción de profundidad precisa de una cámara con uno o más objetivos. Los datos del mundo real no nos dicen la profundidad de cada píxel individual y es imposible calcularlo con precisión o marcarlo a mano.

Requisitos de datos sintéticos

Datos del sensor



Para que el marcado de datos sintéticos sea útil en términos de algoritmos de prueba y entrenamiento para vehículos autónomos, los datos de los sensores simulados y las anotaciones deben cumplir con ciertos criterios. Como escribimos anteriormente en la publicación sobre el modelado de sensores, los grandes conjuntos de datos de sensores artificiales utilizados para desarrollar vehículos no tripulados deben generarse de manera económica y rápida (en unos pocos días). Además, los sensores artificiales deben modelarse teniendo en cuenta los principios físicos básicos inherentes a tipos específicos de sensores. El factor más importante es el nivel de precisión de los modelos creados. Existe una compensación entre la brecha de probabilidad (la diferencia con la que los algoritmos perciben los datos reales y sintéticos) y la velocidad de recopilación de datos.Esta brecha puede variar según el tipo de sensor simulado, los objetos circundantes y las condiciones ambientales. También es muy importante poder cuantificar esta brecha y usar la estimación resultante para formar una estrategia para usar datos sintéticos. Como ejemplo, observe la Figura 7, que muestra cómo responde el modelo LIDAR a una carretera mojada. En la imagen, puede ver cómo reacciona el LIDAR a la retroalimentación a nivel del suelo y al rociado de los vehículos que lo rodean.En la imagen, puede ver cómo reacciona el LIDAR a la retroalimentación a nivel del suelo y la pulverización de vehículos cercanos.En la imagen, puede ver cómo reacciona el lidar a las señales de retorno a nivel del suelo y al rociado de los vehículos que lo rodean.







7:







Otro aspecto importante que surge cuando se trabaja con datos sintéticos es la variedad de medios y materiales que se encuentran en estos medios. Los entornos deben generarse rápidamente a partir de mapas y datos reales, como se muestra en la Figura 8. La capacidad de crear rápidamente dichos entornos depende de las técnicas de generación de procedimientos. La capacidad de modelar cualquier región geográfica de todo el mundo es otra ventaja increíble de los datos sintéticos sobre los datos reales. Sin embargo, aunque las diferentes ubicaciones son fáciles de crear, si los métodos están mal configurados, las áreas y los datos se pueden duplicar. Actualmente, un aspecto muy importante en esta área es encontrar la relación entre la repetición de datos y el reflejo de la diversidad del mundo real. La diversidad debe tenerse en cuenta tanto a nivel macro (cuánto puede cambiar la superficie de la carretera en un segmento kilométrico de la ruta),ya nivel micro (por ejemplo, cómo pueden diferir los diferentes materiales del medio ambiente).



La importancia de los materiales en la representación de entornos físicamente creíbles se discutió en una publicación anterior, aunque generalmente las texturas que componen estos materiales son escaneos de superficies reales. La creación de combinaciones y variaciones de estos materiales para agregar variedad a los datos generados puede ser fundamental tanto en los algoritmos de entrenamiento como en sus pruebas.







Figura 8: Entorno urbano de alta calidad generado por procedimientos.



Anotaciones



Los requisitos para las anotaciones de datos dependen tanto de los casos de uso como de los algoritmos. Los tipos de anotaciones de datos extraídos del mundo real se presentan en la Tabla 1.







Tabla 1: Tipos de anotaciones para datos del mundo real



En el caso de datos sintéticos, se dispone de información mucho más confiable para generar anotaciones similares que se pueden capturar en los datos recopilados. Los datos base también se reproducen con precisión de puntos / píxeles. Finalmente, tanto los datos de los sensores como las anotaciones se pueden procesar en cualquier marco de referencia (el mundo, el sistema en sí, un sensor separado, etc.).



La Tabla 2 enumera los tipos de anotaciones estándar para los datos generados por simulaciones. Además, se pueden personalizar aún más muchos formatos y tipos de datos.







Tabla 2: Tipos de anotaciones para datos sintéticos El



uso de todos estos tipos de datos de referencia adicionales acelera drásticamente el desarrollo de algoritmos. La gran escala de los datos, la calidad y el volumen de datos disponibles permiten a los ingenieros tomar decisiones más rápidamente.







Figura 9: Datos sintéticos anotados que muestran cuadros 2D con píxeles perfectos

---

• El primer sistema de control en serie de Rusia para un motor de combustible dual con separación funcional de controladores
• En un automóvil moderno, hay más líneas de código que ...
• Cursos en línea gratuitos en automoción, aeroespacial, robótica e ingeniería (50+)
• McKinsey: repensar la arquitectura de software y electrónica en la automoción