De profesión soy director de edición y la programación aplicada es como un hobby en mi tiempo libre.
En algún momento surgió la idea de combinar el trabajo con un hobby, leí un artículo sobre Habré sobre el reconocimiento de objetos en imágenes usando Core ML, y así empezó todo. Compartiré mi modesta experiencia y los problemas que puede enfrentar al desarrollar aplicaciones que trabajan con Core ML.
El caso es que casi un tercio del trabajo de un editor de video consiste en la búsqueda rutinaria de secuencias de video desde las fuentes, las cuales deben ser enrolladas cada vez en busca de un plan contextual para texto fuera de pantalla, en mi opinión esto no conlleva ningún componente creativo, especialmente cuando ha estado haciendo esto durante 15 años). Bueno, pensé, ¿qué pasa si escribo un software que revise la carpeta con el código fuente, reconozca los objetos y los "ponga" cuidadosamente en la base de datos? Además, en el momento de buscar fragmentos de video para los llamados "jeans", se ingresa una palabra de búsqueda, por ejemplo "Sol", y todo lo que está de alguna manera se transfiere al sistema de edición.
La idea maduró, se iba a apilar, decidí escribir en Swift, modelos entrenados del propio Core ML, base de datos SQLite. A primera vista, la idea parecía fácil de implementar, como nada complicado.
Muy rápidamente, lancé el código principal que extrae fotogramas del video, reconoce objetos usando el modelo Resnet50 , que fue recomendado por Yabloko en su sitio web, funcionó muy rápido y le permitió ajustar el porcentaje en el que el objeto se consideraba reconocido. El código en sí se distribuye silenciosamente en el mismo apple.com para todos. Conecté la biblioteca SQLite.swift , envolví sus funciones en mis métodos, ¡todo funciona!
! 1000- mvc- , Stackoverflow. . , . , , , .
, Grand Central Dispatch (GCD) - Apple, , - ! ! .
, 70 , - ! ! 420- , - windows mobile, , , , …. 420 ! , , ! ? …. … 420 … .
, ( ) ! VNCoreMLRequest, ML- , , . «» copyCGImage, , generateCGImagesAsynchronously, , «» try catch.
. , . : YOLOv3 Resnet50, , . .
Apple Xcode Create ML , , , .
, - . - EDL XML. , «» , . , EDL , , , , , , , , . XML! : , , , , , ! , , XML, , -. Adobe Premiere XML. . , - , , , , . , String Xcode. , , . ! html-. , , ) ! XML , dobe Premiere, , , , Final Cut Pro ( ),
, , , , .
, , , , . Apple Silicon, ML 16x, . Mac App Store, Videoindex.
,