¡Hola, Habr! Junto con Harmony OS, presentamos la quinta versión de HMS Core, un conjunto de herramientas que puede utilizar para desarrollar aplicaciones para el ecosistema de Huawei. Agregamos nuevas oportunidades para trabajar con contenido, enfocados en la seguridad de los datos, la interacción entre dispositivos y expandimos las posibilidades de las herramientas de inteligencia artificial; hablamos de todo esto en detalle en nuestra conferencia HDC.Together , y en este artículo brindaremos una descripción general de las nuevas capacidades de HMS.
Herramientas para trabajar con ML e IA
Los principales servicios para trabajar con IA están incluidos en el ML Kit y le permiten trabajar con texto, voz, imágenes, tecnologías AR / VR. En HMS Core 5.0, hemos aumentado el número de idiomas admitidos a 50 y podemos traducir entre 20 idiomas, mientras que tanto el texto como las grabaciones de voz se aceptan como entrada. Además, ML Kit se puede utilizar para filtrar el spam y cualquier imagen obscena.
Con ML Kit es posible convertir grabaciones de voz a formato de texto y viceversa, y hemos ampliado esta funcionalidad con Video Course Creator, que crea automáticamente cursos educativos: toma como entrada el programa educativo, los comentarios del maestro y los parámetros de audio y video preestablecidos; durante la transmisión, el maestro puede consultar los materiales necesarios y todos los materiales grabados se ensamblan en un solo curso.
Hemos hecho especial hincapié en el reconocimiento facial, los gestos y las poses. Gracias a esto, ML Kit se puede usar para la autenticación facial: el sistema está conectado a través de API y se puede usar para acceder rápidamente a las aplicaciones sin ninguna acción adicional.
Puede trabajar con herramientas de IA y ML en diferentes niveles:
- HiAI , , NPU-.
- Ability Gallery AI .
AR/VR
Nuestro motor de RA analiza información sobre iluminación, plano, forma de objeto, tipo de superficie y puede buscar objetos específicos en el espacio. Por separado, el sistema puede construir un esquema 3D utilizando puntos de anclaje y rastrear los movimientos, gestos y expresiones faciales humanas. Por ejemplo, se asignan 21 puntos para determinar la posición de la mano, y se asignan 23 puntos a la posición del cuerpo. Ahora el sistema puede reconocer 6 poses y analizar 2 personas a la vez.
Con la quinta versión, HMS Core CameraKit ofrece varios modos de disparo: gran apertura, modo retrato, HDR, desenfoque de fondo, modo supernoche y otros similares. También fue posible utilizar la IA en la toma de fotografías y videos para la preselección de filtros y corrección de color.
Colaboración de dispositivos
La nueva versión de HMS Core tiene varios motores nuevos para la colaboración entre diferentes dispositivos. Hemos simplificado las interacciones entre dispositivos y cosas inteligentes utilizando el motor DeviceVirtualization . Convierte los dispositivos periféricos en objetos virtuales y permite que el teléfono trabaje con ellos de la misma forma que con las funciones normales.
En la misma dirección, desarrollamos Cast Engine , que permite que el teléfono funcione en modo multipantalla y transfiera imágenes a TV en alta definición. También planeamos agregar la capacidad de trabajar con Cast Engine a través de otras aplicaciones.
Otro nuevo motor del kit OneHopfunciona con NFC y le permite transferir datos de forma segura entre dispositivos con un solo toque. Con él, puede sincronizar dispositivos Huawei entre sí, transferir archivos y abrir aplicaciones en otros dispositivos con la misma configuración que en el principal. Hasta ahora, solo funciona entre teléfonos y tabletas Huawei, por lo que proporcionamos un motor Share para la comunicación con otros dispositivos , que brinda velocidades de hasta 80 Mb / s a través de Bluetooth.
Video y audio
En la nueva versión, hemos desarrollado varias herramientas SDK nuevas para trabajar con audio y video. El kit de audio y el kit de video admiten los principales formatos de archivo y códecs y pueden integrarse fácilmente en la aplicación y leer, guardar y eliminar listas, reproducir secuencias y ajustar la velocidad de reproducción. Todo el audio y el video están protegidos por algoritmos de encriptación.
El kit de audio ahora tiene un motor de audio para grabar sonido en alta calidad con la optimización del retardo y otras funciones del instrumento. El motor de video, a su vez, admite los principales protocolos HTTP, HTTPS, HLS, DASH. También le permite organizar la transmisión desde servicios de terceros utilizando el kit de video WisePlayer SDK.
Basado en nuestro servicioHuawei Meetime ha lanzado el kit Caas para videollamadas, que proporciona reproducción y transmisión de imágenes HD incluso con conexiones inestables. El motor también le permite compartir la pantalla, dibujar garabatos y, utilizando tecnologías de virtualización, transferir imágenes a cualquier otro dispositivo, que se puede utilizar para conferencias de negocios.
Imágenes y renderizado 3D
Ha aparecido Image Kit para el procesamiento de imágenes : ofrece más de 20 filtros y efectos visuales, incluida la animación con renderizado. Incluye 2 SDK: Image Vision SDK para trabajar con filtros de color y Image Render SDK para usar efectos de animación.
Scene Kit está diseñado para trabajar con objetos 3D: utiliza el método de renderizado físicamente correcto (PBR) y permite que las aplicaciones se conecten a través de API y reciban modelos 3D de objetos complejos. El motor ofrece tres escenarios: SceneView para escenas compartidas (no AR), ARView para escenas AR compartidas y FaceView para trabajar con caras en escenas AR.
Analítica y seguridad
En Huawei Core 5.0, lanzamos el sistema de etiquetado Dynamic Tag Manager (DTM) para rastrear la actividad de marketing de los usuarios: se integra tanto con los servicios de Huawei como con plataformas de terceros para enviar y procesar datos. Con el DTM, puede actualizar etiquetas de forma dinámica en la interfaz de usuario web, realizar un seguimiento de eventos específicos y enviar datos a plataformas de análisis de terceros. Nuestros sistemas se centran en la seguridad, razón por la cual el motor DTM también se utiliza como sistema antifraude para rastrear actividades sospechosas.
Una de las características de la nueva versión de HMS es la autenticación facial mediante LocalAuthentication Engine... Funciona con una cámara de infrarrojos que construye el modelo a partir de los puntos de referencia y se autentica con el ML Kit.
Por último, prestamos atención a la protección del contenido: para archivos de audio, se utiliza cifrado de caché, para vídeo (un sistema antilítico y autenticación durante la reproducción) y para trabajar con una cámara, cifrado de extremo a extremo. Todos los datos que HMS almacena en un entorno TEE confiable , dentro del cual se realiza el cifrado.
¿Dónde puedo encontrar más información?
Todas las grabaciones de la conferencia HDC.Together están disponibles aquí . Aquí puede escuchar informes sobre actualizaciones de la plataforma, los principales escenarios para trabajar con herramientas HMS y hacer preguntas técnicas en el Foro de desarrolladores de Huawei o Stackoverflow con la etiqueta huawei-mobile-services .