Hoy discutiremos por qué se necesitan sensores 3D en los teléfonos inteligentes, cómo funcionan y, por supuesto, realizaremos varias pruebas y verificaremos las declaraciones de los fabricantes.
¿Qué es un sensor 3D (sensor de profundidad)?
Primero, averigüémoslo, ¿qué es un sensor 3D? Las cámaras capturan una proyección del mundo circundante en un avión. Solo a partir de la fotografía, no se puede entender el tamaño real del objeto, ya sea del tamaño de una botella o del tamaño de la Torre Inclinada de Pisa. Y la distancia también es difícil de entender.
Para comprender el tamaño real de los objetos en la foto, la escala de disparo, para distinguir lo que está más cerca de la cámara y lo que sigue, se necesitan sensores 3D. Durante mucho tiempo se han utilizado activamente en robótica, transporte autónomo, juegos, medicina y muchos otros lugares. Además, nuestros ojos también son un sensor 3D. Al mismo tiempo, a diferencia de los sensores LiDAR y ToF de los teléfonos inteligentes, los ojos son un sensor 3D pasivo. Es decir, no emite ninguna luz, sino que funciona solo sobre la base de la luz entrante. Solo gracias a esto podemos movernos de alguna manera en el espacio e interactuar con los objetos circundantes. Ahora han aparecido sensores 3D en los teléfonos inteligentes.
¿Cómo funciona ToF?
LiDAR en iPad, así como todos los sensores 3D en teléfonos inteligentes Android, son sensores de tiempo de vuelo o ToF para abreviar. Determinan la distancia a los objetos alrededor, midiendo directamente cuánto tiempo tarda la luz en viajar desde la cámara al objeto y regresar. Esto es muy parecido a un eco en una cueva, también nos regresa con un retraso después de reflejarse en las paredes. Se necesitan 3 nanosegundos para volar 1 metro de luz y 30 picosegundos para 1 cm. Todo parece estar claro. Pero hay un problema.
Estos son intervalos muy pequeños. ¿Cómo puede una cámara medir esto? ¿No tomará mil millones de fotogramas por segundo y luego los comparará? Hay 2 enfoques principales para resolver este problema: dToF (ToF directo) e iToF (ToF indirecto). Y para intrigarlo aún más: la gran mayoría de los teléfonos inteligentes Android usan solo sensores iToF, mientras que LiDAR en el iPad de Apple y muy probablemente en los próximos iPhones es un raro representante de la familia de sensores dToF. Entonces, ¿en qué se diferencian?
iToF - ToF indirecto
Comencemos con iToF. En tales sensores, el emisor envía luz modulada de alta frecuencia, es decir, esta luz se enciende y apaga constantemente a una frecuencia de decenas de millones de veces por segundo. Debido al hecho de que la luz necesita tiempo para volar hacia el objeto y regresar, la fase, es decir, este estado está en algún lugar entre el encendido y el apagado, la luz que regresa a la cámara es ligeramente diferente de la fase de la luz en el momento del envío. En el sensor, las señales original y reflejada del objeto se superponen entre sí, y debido a esto, se determina el cambio de fase, lo que nos permite comprender la distancia a cada punto del objeto.
dToF - directo ToF
dToF funciona de forma un poco diferente. Estos sensores miden directamente la diferencia de tiempo entre el envío de luz y la detección de su reflejo en el sensor. Para ello se utilizan los denominados SPAD: diodos de avalancha de fotón único. Pueden detectar pulsos de luz extremadamente pequeños, de hecho, incluso captar fotones individuales. Estos SPAD se encuentran en cada píxel del sensor. Y como emisor en tales sensores, por regla general, se utilizan los llamados VCSEL - Cavidad vertical, láser emisor de superficie. Este es un emisor de láser, similar a los que se usan en ratones láser y en muchos otros lugares. El sensor dToF en LiDAR se desarrolló en colaboración con Sony y es el primer sensor dToF comercial producido en serie.
Por qué el iPad usa un sensor dToF es una incógnita, pero destaquemos los beneficios de dicho sensor. En primer lugar, a diferencia del sensor iToF, el emisor no emite una pared sólida de luz, sino que solo brilla en direcciones separadas, lo que ahorra batería. En segundo lugar, el sensor dToF es menos propenso a errores en la medición de profundidad debido a la llamada interferencia multitrayecto. Este es un problema típico con los sensores iToF. Ocurre debido al reflejo de la luz entre objetos antes de que ingrese al sensor y distorsione las mediciones del sensor.
Cómo funciona, lo averiguamos, ahora veamos por qué se utilizan sensores 3D en teléfonos inteligentes.
¿Por qué se necesita en los teléfonos inteligentes?
1. Seguridad
Le debemos la primera introducción masiva de sensores 3D en teléfonos inteligentes a la tecnología de Apple y Face ID. El reconocimiento facial que utiliza datos tridimensionales es mucho más preciso y confiable que el reconocimiento facial clásico de una foto. Para Face ID, Apple utiliza tecnología de iluminación estructurada, en la que nos detendremos con más detalle la próxima vez.
2. RA
La mayoría de los fabricantes afirman que el modo de realidad aumentada mejor y más preciso es la tarea principal de los sensores 3D. Además, también es compatible directamente con Google. Recientemente, presentaron una próxima actualización de su biblioteca de realidad aumentada ARCore, que permite una ubicación más realista de objetos virtuales en la realidad e interactuar con objetos reales.
Para la misma tarea, Apple ha incorporado LiDAR en el iPad Pro. Esto se puede hacer sin un sensor 3D, pero con él todo funciona de manera más precisa y confiable, además la tarea se vuelve mucho más fácil computacionalmente y alivia el procesador. El sensor 3D lleva la RA a otro nivel.
3. Mejora de fotografías
Varios fabricantes como Samsung y HUAWEI dicen que el sensor 3D se usa principalmente para un mejor desenfoque del fondo y un enfoque automático más preciso al grabar videos. En otras palabras, le permite mejorar la calidad de fotos y videos regulares.
4. Otro
Algunos teléfonos inteligentes tienen acceso abierto a los datos de los sensores, por lo que cada vez hay más aplicaciones que ofrecen nuevas aplicaciones. Entonces, por ejemplo, con la ayuda de aplicaciones externas, se puede utilizar un sensor 3D para la medición de objetos, escaneo 3D y seguimiento de movimiento. Incluso hay una aplicación que le permite crear un dispositivo de visión nocturna con su teléfono inteligente.
Pruebas
Descubrimos cómo funciona en teoría, veamos ahora cómo funciona en la práctica y si tiene algún sentido estos costosos sensores 3D en los buques insignia. Para las pruebas tomamos el Redmi Note 9S, tiene un sensor ToF y tomamos algunas fotos en modo retrato, pero en el segundo caso simplemente tapamos la cámara 3D con nuestro dedo. Y esto es lo que pasó. Es simple: el desenfoque es realmente más grande y mejor si ToF funciona. Y para la frecuencia del experimento, tomamos el Samsung Galaxy S20 Ultra, que también recibió una cámara ToF. ¿Y encuentra al menos una diferencia? ¿Lo que pasa? El caso es que, según el fabricante, la cámara ToF se utiliza de diferentes formas y en distintos grados.
Podemos decir que algunos fabricantes de teléfonos inteligentes colocan sensores ToF en sus teléfonos inteligentes no por marketing, para agregar otra cámara, sino por si acaso. ¿Y luego los algoritmos deciden si usar esta cámara o no? Al mismo tiempo, por el momento no hay necesidad de cámaras LiDAR o ToF. Entonces esto probablemente sea un poco más de marketing.
