Revisión de la tecnología de seguimiento: máscaras AR

Hola. Mi nombre es Dyadichenko Grigory y me encanta rastrear. En los últimos años, las tecnologías de rastreo han evolucionado a pasos agigantados y se han vuelto cada vez más democráticas. Han aparecido muchas tecnologías de un plan muy diferente. Tuve la suerte de trabajar con una gran cantidad de tecnologías de varios tipos, así que quiero estructurar un poco este conocimiento. En su mayor parte, buscaremos tecnologías de seguimiento que sean compatibles con Unity o la Web. Entonces, si este tema te interesa. ¡Bienvenido bajo el corte!

— . , . Face Landmark Recognition. , , Face Recognition FaceID , , , .

AR

AR . , , AR. — . Instagram TikTok. . .

Face Tracking

Epic Games Hyprsense.

2020 . , , , . , . Motion Capture , Faceware, . FaceRig VTuber’. , . , - , ARKit. , , . Faceware .

AR

, . - . . :

https://player.vimeo.com/video/220504292

https://mixr.ru/2021/01/20/trollo/

AR . , , .

Unity, , . , SDK , SDK , ( ).

SparkAR

:

: Android/IOS

Unity: ,

:

https://sparkar.facebook.com/ar-studio/

, Spark. — , Instagram . — , . , .. . , .

, , , - . , , Spark AR Studio .

ARFoundation (ARKit/ARCore)

:

: Android/IOS

Unity:

SDK : 2

:

https://docs.unity3d.com/Packages/com.unity.xr.arfoundation@4.1/manual/

ARFoundation 4.1 Face tracking ARCore ARKit ( ARFoundation ARCore). , , , API AR Foundation. Unity , , . .

SDK, , , . , .

OpenCV + Dlib

: / Unity 135$ (https://assetstore.unity.com/packages/tools/integration/opencv-for-unity-21088 + https://assetstore.unity.com/packages/tools/integration/dlib-facelandmark-detector-64314 )

: Android/IOS/WebGL/Win/Mac/Linux/Hololens/MagicLeap

Unity:

SDK : 9 ( , )

:

https://opencv.org/

. , , Python, . — . Unity - , . OpenCV Dlib, . . . , . Python , Unity SDK.

- . , OpenCV - . -, OpenCV . -, , Unity, Unity . C , . , . 2 FPS, 30, 60 SDK .

XZIMG

: 2100€

: Android/IOS/WebGL/Win

SDK : 2

Unity:

:

https://www.xzimg.com/Products?nav=product-XMF

SDK - , . , , . , , . , MOTOROLA G5S. Android 4.1 - . , - . , . OpenCV .

ARGear

: / 25$

: Android/IOS

Unity:

SDK : 9

:

https://argear.io/

, XZIMG. Xiaomi Redmi Note 8T. . . , , , - . , , sample project Unity, sdk. - .

BRFv5

:

: Web/Android(Chrome)/IOS(Safari)

Unity:

https://github.com/Tastenkunst/brfv5-browser

SDK , . . . (: ) , 68 — . . . , Media Pipe .

, , Banuba Deepar. , . Deepar SDK Unity, .

, . . . . , OpenCV , , , , . , , .

, . , SLAM, ..