El auto de prueba de Cruise que salió de la línea de producción de GM está equipado con sensores (marcados en rojo).
La industria automotriz todavía está buscando una tecnología de reconocimiento confiable que funcione en todas las condiciones: noche, niebla, lluvia, nieve, hielo, etc.
La conclusión de AutoSens 2019 aquí la semana pasada fue que no hay escasez de innovación tecnológica. Los desarrolladores de tecnología, Tier-1 y OEM todavía persiguen el objetivo de crear tecnología de reconocimiento "confiable" que pueda funcionar en todas las condiciones de la carretera, incluso de noche, con niebla, bajo la lluvia, con nieve, sobre hielo o en la carretera con aceite derramado. etc.
A pesar de que todavía no existe una fórmula mágica en el mercado automotriz que pueda resolver todos los problemas a la vez, varias empresas presentaron sus tecnologías de reconocimiento y nuevos conceptos de productos.
La feria AutoSens de este año en Bruselas se centró más en los sistemas de asistencia al conductor (ADAS) que en los coches autónomos.
La comunidad de ingenieros ha llegado a cierto consenso. Muchos reconocen que existe una gran brecha entre lo que es posible hoy y la perspectiva de vehículos comerciales autónomos con inteligencia artificial que no requieren un conductor humano.
Para ser claros, nadie está diciendo que los vehículos no tripulados sean imposibles. Sin embargo, Phil Magney, fundador y director de VSI Labs, cree que “los vehículos autónomos de nivel 4 funcionarán en áreas de diseño operativo (ODD) extremadamente limitadas. Los diseños de estas máquinas se desarrollarán sobre la base de requisitos de seguridad completos y detallados "
Magny aclaró que por" áreas restringidas "se refiere a restricciones en términos de selección de carreteras y carriles, tiempo de funcionamiento, condiciones climáticas, hora del día, puntos de salida y parada, etc. Más lejos.
A Bart Selman, profesor de informática en la Universidad de Cornell especializado en IA, se le preguntó si un automóvil impulsado por IA podría alguna vez razonar con "sentido común" (siendo consciente del proceso de conducción y comprendiendo el contexto). Selman respondió al cierre de la conferencia: "Llegaremos a esto en al menos 10 años ... y tal vez en 20-30 años".
Mientras tanto, los desarrolladores de sistemas ADAS y vehículos altamente automatizados compiten para desarrollar sistemas de visión para vehículos.
Fung Kupopman, director de tecnología de Edge Case Research y profesor de la Universidad Carnegie Mellon, cree que la base de cualquier vehículo altamente automatizado es un sistema de "detección" que puede determinar la posición de varios objetos alrededor del vehículo. Aclaró que la debilidad de los vehículos no tripulados radica en la incapacidad de predecir, comprender el contexto y predecir dónde podría moverse este o aquel objeto capturado.
Promoción de sistemas inteligentes
Una nueva tendencia que surgió en la conferencia fue la aparición de varios sistemas inteligentes. Muchos fabricantes agregan sistemas de inteligencia artificial a sus productos incorporándolos en sus combinaciones de sensores (cámara RGB + NIR; RGB + SWIR; RGB + lidar; RGB + radar).
Sin embargo, no existe consenso entre los actores de la industria sobre el logro de los objetivos de la industria. Algunos creen que el camino hacia el éxito pasa por las combinaciones de sensores, mientras que otros (como Waymo) se inclinan por procesar los datos del sensor en el procesador central.
AutoSens también tiene una serie de nuevos sistemas de monitoreo que deben desarrollarse para cumplir con Euro NCAP, el conjunto de requisitos para los sistemas de monitoreo de conductores y un importante estándar de seguridad en 2020. En particular, estamos hablando de sistemas que monitorean no solo al conductor, sino también a los pasajeros y otros objetos dentro del automóvil.
Un ejemplo es el nuevo sensor RGB-IR de On Semiconductor, equipado con el chip de procesamiento de video RGB-IR de Ambarella y el software de reconocimiento de escena Eyeris.
NIR vs SWIR
La necesidad de ver en la oscuridad (tanto dentro como fuera del vehículo) indica la necesidad de IR.
Mientras que el sensor de imagen RGB-IR de On Semiconductor funciona con radiación de infrarrojo cercano (NIR), Trieye, que también asistió al espectáculo, fue más allá con la introducción de la cámara SWIR (infrarrojo de onda corta). ).
Entre las ventajas de las cámaras SWIR se encuentra la capacidad de ver objetos en cualquier condición climática / luminosa. Más importante aún, SWIR puede identificar de manera proactiva los peligros de la carretera (como el hielo) al detectar una respuesta espectral única basada en las características químicas y físicas de cada material.
Sin embargo, el uso de cámaras SWIR se limita a aplicaciones militares, científicas y aeroespaciales debido al costo extremadamente alto del arseniuro de indio y galio (InGaAs) utilizado en esta tecnología. Trieye afirma haber encontrado una forma de crear cámaras SWIR utilizando tecnología CMOS. “Hemos logrado un gran avance. Al igual que los semiconductores, hemos estado utilizando CMOS para la producción de grandes volúmenes de cámaras SWIR desde los primeros días ”, dice Avi Bakal, CEO y cofundador de Trieye. Bacal dice que, a diferencia del sensor de arseniuro de galio de $ 8,000, la cámara Trieye se ofrecerá "por decenas de dólares".
Falta de datos etiquetados
Uno de los mayores desafíos de la IA es la falta de datos para las muestras de entrenamiento. Más precisamente, "datos de entrenamiento etiquetados", dijo Magny. “Un modelo es tan bueno como los datos y la forma en que se recopilan. Por supuesto, los datos de entrenamiento deben etiquetarse con metadatos, y el proceso de etiquetado lleva mucho tiempo ".
Hubo una animada discusión en AutoSens sobre las redes neuronales generativas adversarias (GAN). En la GAN, dos redes neuronales compiten para crear nuevos datos, dijo Magny. Habiendo recibido una muestra de entrenamiento como input, dichos modelos son entrenados para generar nuevos datos, cuyos indicadores estadísticos coincidirán con los originales.
Drive.ai, por ejemplo, utiliza el aprendizaje profundo para mejorar la automatización del marcado de datos, acelerando así el tedioso proceso de marcado.
En una conferencia en AutoSens, Koopman también abordó el problema de anotar datos con precisión. Sospecha que muchos de los datos permanecen sin etiquetar porque solo las grandes empresas pueden permitirse hacerlo bien.
De hecho, las nuevas empresas de inteligencia artificial en la feria reconocieron que las anotaciones pagas para datos de terceros las perjudican mucho.
Una forma de resolver este problema es GAN. Edge Case Research ofrece otra forma de acelerar el desarrollo de software de reconocimiento seguro sin etiquetar datos. La compañía anunció recientemente el Holograma, una herramienta para los sistemas de percepción de pruebas de estrés y análisis de riesgos. Según Koopman, en lugar de marcar petabytes de datos, simplemente puede ejecutarlos dos veces: el holograma proporcionará información sobre partes sospechosas del conjunto de datos y le dirá qué es lo mejor que puede hacer: ampliar el conjunto de entrenamiento o volver a entrenar su modelo.
También se discutió en la conferencia el tema de los conjuntos de datos etiquetados: ¿qué pasa si el OEM del automóvil reemplaza la cámara y los sensores utilizados para la capacitación y la manipulación de datos?
David Tokich, vicepresidente de marketing y asociaciones estratégicas de Algolux, le dijo al EE Times que los ingenieros que trabajan en ADAS y vehículos no tripulados están preocupados por dos cosas: 1) la confiabilidad de los sistemas de reconocimiento en diversas condiciones y 2) el desarrollo de soluciones precisas y escalables para Tareas de visión por computadora Los
sistemas de cámaras utilizados en ADAS y vehículos no tripulados pueden diferir significativamente entre sí. Todos tienen diferentes parámetros dependiendo de las lentes (diferentes lentes proporcionan diferentes ángulos de visión), sensores y tecnologías de procesamiento de señales. Una empresa de tecnología selecciona uno de los sistemas de cámara, recopila un gran conjunto de datos, lo etiqueta y entrena su modelo para ajustarlo para su uso con un sistema específico.
Pero, ¿qué sucede cuando un OEM reemplaza una cámara que se usó con un conjunto de datos específico? Este cambio podría afectar la precisión de la percepción porque un modelo de aprendizaje automático ajustado a una cámara específica ahora tiene que lidiar con un nuevo conjunto de datos sin procesar.
¿Requiere esto que el OEM entrene sus modelos una y otra vez en nuevos conjuntos de datos?
Tesla, Waymo, GM / Cruise usan una variedad de cámaras en sus vehículos autónomos.
Cuando se le preguntó sobre la posibilidad de reemplazar los sensores de imagen, Magny de VSI Labs dijo: "No creo que esto funcione, a menos que las especificaciones sigan siendo las mismas". También agregó: “En VSI, entrenamos una red neuronal para trabajar con una cámara termográfica FLIR, y las características de las imágenes en el conjunto de entrenamiento coincidían con las características de la cámara para la que se entrenó la red neuronal. Más tarde reemplazamos los sensores, pero las especificaciones técnicas siguen siendo las mismas ".
Algolux, sin embargo, afirma que la nueva tecnología para traducir conjuntos de datos creados previamente debería estar disponible "en unos pocos días". Según Tokić, Atlas Camera Optimization Suite resuelve este problema tomando “datos de referencia” (características de la cámara y el sensor) y aplicándolos a las capas de reconocimiento. “Nuestro desafío es democratizar las opciones de cámaras” para los fabricantes de equipos originales, dijo Tokić.
Hardware de IA
En los últimos años, ha habido muchas nuevas empresas dedicadas a los procesadores de IA. Esto generó un impulso que llevó a algunos a anunciar un resurgimiento del mercado de hardware. Muchas startups que desarrollan chips para IA citan los mercados de vehículos autónomos y ADAS como sus mercados objetivo.
Ceva, en particular, dio a conocer en la conferencia AutoSens un nuevo núcleo para IA e 'Invite API': productos destinados al mercado de aceleradores para sistemas inteligentes.
Curiosamente, la nueva generación de autos multifuncionales aún tiene que implementar chips de IA modernos, con la excepción de los chips de Nvidia e Intel / Mobileye, así como los chips de piloto automático completos desarrollados por Tesla para uso interno.
Por otro lado, On Semiconductor anunció en la conferencia AutoSens que su equipo (y el equipo de Eyeris) usarán los sistemas en un chip de Ambarella como procesadores de inteligencia artificial para monitorear varias métricas en los vehículos.
Modar Alawi, CEO de Eyeris, dijo: “No pudimos encontrar un solo chip de IA que pudiera manejar 10 redes neuronales, consumir menos de 5 vatios y capturar video a 30 cuadros por segundo usando hasta seis cámaras ubicadas en el interior coche ".
Allawi admitió que Ambarella no es un fabricante conocido de chips de inteligencia artificial (son más conocidos por fabricar chips para compresión de video y visión por computadora). Sin embargo, el sistema CV2AQ de Ambarella cumple con todos sus requisitos, dijo, superando a todos los demás aceleradores.
Allawi espera que el software de inteligencia artificial de su empresa se traslade a otras tres plataformas de hardware para el Consumer Electronics Show en Las Vegas en enero de 2020.
En Semi, Ambarella y Eyeris están demostrando un nuevo sistema de monitoreo en la cabina utilizando tres cámaras RGB-IR.
Al mismo tiempo, On Semi enfatizó que los sistemas de monitoreo de conductores y pasajeros requieren "la capacidad de capturar imágenes bajo una variedad de condiciones de iluminación, desde la luz solar directa hasta la oscuridad". La compañía afirma que gracias a su buen tiempo de respuesta en el infrarrojo cercano, "la tecnología RGB-IR en el sensor de imagen CMOS ofrece una salida de imagen Full HD 1080p utilizando HDR de 3 exposiciones y retroiluminación (BSI) a 3,0 μm". Los sensores que son sensibles a la iluminación RGB e IR pueden capturar imágenes en color a la luz del día e imágenes IR monocromáticas con espectros de infrarrojos cercanos iluminados.
Más allá de los sistemas de control del conductor
Alawi se enorgullece de que el software de inteligencia artificial de Eyeris pueda realizar análisis completos del cuerpo y la cara, monitoreo de la actividad de los pasajeros y detección de objetos. Además de observar al conductor, "estamos monitoreando todo dentro del automóvil, incluidas las superficies de los asientos y el volante", agregó, y enfatizó que la puesta en marcha ya no es solo "buscar autos en la transmisión de video".
Laurent Emmerich, director de soluciones para clientes europeos de Seeing Machines, sin embargo, pidió que no se detuviera allí. “Ir más allá de observar al conductor y hacer un seguimiento de muchos objetos es una evolución natural”, dijo. "También estamos buscando expandirnos".
En comparación con las empresas emergentes, la ventaja de Seeing Machines radica en "una base sólida en visión por computadora y experiencia en inteligencia artificial obtenida en los últimos 20 años", agregó. El sistema de monitoreo de conductores de la compañía lo utilizan actualmente "seis fabricantes de automóviles y se divide en nueve .programas "
Además, Seeing Machines señaló que también ha desarrollado su propio chip para monitorear conductores -. Fovio preguntó si el chip también puede proporcionar trabajo para futuros sistemas de monitoreo de automóviles, Emmerich explicó que su chip se utilizará en la plataforma de hardware configurable ...
Reserva
Combinar diferentes sensores e instalarlos en un automóvil es necesario no solo para mejorar la percepción, sino también para agregar una redundancia muy necesaria para la seguridad.
Cuadro Outsight presentado en AutoSens.
Outsight, una startup cofundada por el ex CEO de Whitings, Cedric Hutchings, presenta un nuevo sistema multisensor altamente integrado en AutoSens. Explicó que la unidad del sensor Outsight fue diseñada para "proporcionar un reconocimiento y una localización significativos de objetos con una comprensión del contexto del entorno, incluidos la nieve, el hielo y el aceite en la carretera". También agregó: "Incluso podemos clasificar los materiales en la carretera utilizando detección hiperespectral activa".
Cuando se le preguntó qué sensores se utilizan en el Outsight Box, se abstuvo de comentar. "No estamos anunciando a nuestros socios clave en este momento, ya que todavía estamos trabajando en especificaciones y aplicaciones".
El EE Times habló con Trieye de que Outsight utilizará una cámara SWIR de Trieye. Outsight está promocionando su bloque de sensores que se lanzará para pruebas en el primer trimestre de 2020. El Outsight Box está destinado a ser un sistema autónomo complementario que proporciona datos "no relacionados con otros sensores", por seguridad y "verdadera redundancia", explicó Hutchings.
Outsight Box no utiliza tecnologías de aprendizaje automático y, por lo tanto, los resultados de su trabajo son predecibles y el sistema en sí puede ser "certificado".
Para los mercados UAV y ADAS, Aeye también desarrolló iDAR, un lidar MEMS de estado sólido junto con una cámara de alta definición. Al combinar dos sensores e inteligencia artificial integrada, el sistema en tiempo real puede "resolver una serie de problemas de borde", dice Aravind Ratnam, vicepresidente de gestión de productos de AEye.
El sistema iDAR está diseñado para combinar “píxeles” de cámara 2D (RGB) y “vóxeles” de datos LIDAR 3D (XYZ) para generar un nuevo tipo de datos en tiempo real. La compañía explicó que este nuevo tipo de datos debería proporcionar una mayor precisión, rango y los datos en sí deberían ser más comprensibles para los sistemas de enrutamiento utilizados en vehículos no tripulados.
Características del producto de AEye AE110 frente a los puntos de referencia y las capacidades de la industria.
En su presentación, Ratnam dijo que AEye está explorando una variedad de aplicaciones. “Observamos 300 escenarios, elegimos 56 que encajaban y los reducimos a 20”, en los que la fusión de cámara, lidar e IA tiene sentido.
Ratnam mostró una escena en la que un niño pequeño de la nada conduce una pelota a la calle, justo en frente del automóvil. El sistema de cámara lidar funciona mucho más rápido, lo que reduce los tiempos de respuesta del vehículo. Ratnam comentó: "Nuestra plataforma iDAR puede proporcionar computación de muy alta velocidad".
Cuando se le preguntó sobre los beneficios de la combinación de sensores, un ingeniero de Waymo le dijo al EE Times en la conferencia que no estaba seguro de que hiciera una gran diferencia. Preguntó: “¿La diferencia será de microsegundos? No estoy seguro".
AEye confía en los beneficios que puede aportar su iDAR. Ratnam de AEye destacó la estrecha colaboración con Hella y LG y destacó: “Hemos podido reducir el costo de iDAR. Ahora ofrecemos LIDAR 3D al precio de ADAS ".
En los próximos 3-6 meses, AEye terminará de trabajar en un sistema de grado automotriz que combina algoritmos RGB, LIDAR y AI. Ratnam afirma que su solución costará menos de $ 1,000.
Ventas de sistemas lidar para la industria automotriz (Fuente: IHS Markit)
Dexin Chen, analista senior de semiconductores y sensores automotrices en IHS Markit, dijo a los asistentes a la conferencia que los proveedores de lidar estaban "por delante del mercado y prometían demasiado". Señaló que en el futuro, las características físicas de los lidars (que son su ventaja) pueden afectar al mercado, pero su comercialización lo decidirá todo. El mercado necesita desesperadamente "estandarización, alianzas y asociaciones, y gestión de la cadena de suministro y asociaciones de IA".
Suscríbase a los canales:
@TeslaHackers : una comunidad de piratas informáticos rusos de Tesla, capacitación en alquiler y deriva en Tesla
@AutomotiveRu : noticias de la industria automotriz, hardware y psicología de la conducción
Sobre ITELMA
Lea más artículos útiles: