Mi nombre es Anton Fedoseev, soy desarrollador de una plataforma AR para videoconferencia, que utilizan nuestras instalaciones de producción. Lanzamos un servicio a través del cual nuestros empleados pueden comunicarse por video con colegas de otras regiones, recibir consultas en línea de expertos: fabricantes de equipos (también de otras regiones), y la empresa puede ahorrar de 500 mil rublos a varios millones por 1 videollamada.
¿De dónde vinieron estos ahorros, cuál es la peculiaridad de utilizar un servicio de este tipo en las instalaciones industriales, por qué no lo hicimos con los análogos existentes en el mercado y cómo hicimos nuestro producto? Se lo diré debajo del corte.
Un poco de historia
El proyecto AR se inició en SIBUR en enero de 2018, simultáneamente con el inicio de un trabajo activo en la integración del concepto de Industria 4.0 en varios escenarios de producción en nuestras fábricas. Para entonces, SIBUR ya había analizado una serie de casos relacionados con la reparación de equipos industriales, y la empresa estaba pensando en cómo reducir el costo de atraer especialistas externos de proveedores de estos equipos y empresas de servicios, reemplazando sus visitas presenciales por consultas en comunicaciones de audio y video.
En el mismo año, probamos la tecnología de mantenimiento remoto utilizando gafas AR, utilizando una serie de soluciones disponibles en el mercado, y también elaboramos escenarios básicos para la aplicación de dicha tecnología, calculando el efecto económico de su implementación. Nos dimos cuenta de que un proyecto de este tipo es conveniente y factible desde un punto de vista técnico. Y nuestras empresas de Tobolsk se convirtieron en el sitio de prueba.
Llamamos a nuestro producto “AR Remote Expert”. En 2019, con la ayuda de nuestro "Experto Remoto", que todavía estaba trabajando en el software temporal de un socio, se realizaron más de 300 videollamadas; todos estos son casos en que proveedores de equipos, expertos internos, representantes de empresas constructoras transfirieron o recibieron toda la información necesaria a través del servicio AR, sin venir a nuestras instalaciones de producción. Y en junio de 2020, SIBUR inició el despliegue activo de su propia plataforma AR para el mantenimiento y reparación remota de equipos industriales.
¿Qué es el servicio de reparación y mantenimiento remoto AR?
Nuestro servicio AR es fácil de usar y, en general, incluye 2 componentes clave: gafas de realidad aumentada RealWear y Epson (dependiendo de las condiciones ambientales, más sobre eso más adelante) y la propia plataforma de medios móviles de SIBUR integrada con ellos basada en el sistema operativo Android. desarrollado en colaboración con G-Core Labs. La plataforma le permite digitalizar completamente todo el proceso de mantenimiento y reparación, organizando la transmisión HD, utilizando WebRTC y una plataforma de comunicación completa para la interacción efectiva entre un especialista en el sitio con un experto remoto. Todo el control se realiza por voz, las manos de la persona que trabaja con la instalación quedan completamente libres.
Un representante de un proveedor de equipos industriales o un experto interno de SIBUR se pone en contacto con el especialista de fábrica, quien simplemente recibe un enlace a su correo electrónico personal e inicia la videoconferencia en cualquier navegador (Chrome, Edge, Mozilla, Safari, etc.) en cualquier dispositivo, en incl. tableta y teléfono inteligente.
No es necesario instalar aplicaciones o programas especiales.
SIBUR es una empresa distribuida geográficamente, nuestras empresas operan en más de 20 regiones a lo largo de Rusia (y no solo), desde la parte europea del país hasta Siberia y el Lejano Oriente. A veces hay miles de kilómetros entre la planta y un experto calificado que puede gestionar el mantenimiento o reparación de un equipo en particular. Por ejemplo, se necesitan entre 7 y 9 horas para llegar desde un centro corporativo en Moscú a un objeto ubicado en Siberia; durante este tiempo, todo puede cambiar tanto para mejor como para peor. ¿Y si el experto no está en Moscú, sino en otro país? Las fábricas operan tanto instalaciones rusas como equipos de fabricantes estadounidenses, japoneses, europeos y asiáticos. También tenemos en cuenta que necesita organizar un viaje de negocios, a veces, obtener una visa. Cabe señalar aquíque una consulta presencial con un especialista no es barata: son los gastos de viaje, el coste de pagar una jornada laboral completa de expertos, o incluso varios días (la facturación por horas no funciona en formato presencial). Una de esas consultas puede costarle a una empresa desde varios cientos de miles hasta un millón de rublos. ¿Y si vuelven a ponerse en cuarentena restricciones, cierres de fronteras y suspensión de vuelos internacionales? Por eso, el lanzamiento de la plataforma AR para consultoría remota fue muy relevante para nosotros.cierre de fronteras y suspensión de vuelos internacionales? Por eso, el lanzamiento de la plataforma AR para consultoría remota fue muy relevante para nosotros.cierre de fronteras y suspensión de vuelos internacionales? Por eso, el lanzamiento de la plataforma AR para consultoría remota fue muy relevante para nosotros.
Servicio de RA: funcionalidad necesaria y cómo la implementamos
El escenario principal para utilizar nuestro servicio son las videollamadas grupales. Para reducir la carga en la red y mejorar la calidad del video transmitido, usamos un servidor de medios. El servidor de medios utilizado en el proyecto permite duplicar el flujo de medios entrantes para varios clientes, adaptándolo al canal de comunicación de cada cliente. También le permite crear vistas previas en vivo de los usuarios, eliminando la necesidad de transferir videos a tamaño completo de otros clientes al cliente. Para el trabajo grupal de clientes sobre la base del servidor de medios, se implementan herramientas como el zoom y la grabación.
Cuando dicen "videoconferencia", todos representan skype o zoom. Pero trabajamos con interfaces y documentos, y en producción trabajamos con equipos, por lo que necesitamos manos libres para demostrar los procesos. El entorno en sí también es diferente: la herramienta de comunicación no debería provocar una chispa.
Para liberar las manos de un especialista "en el campo", la plataforma proporciona un control de voz completo de las gafas AR: al recibir una orden, se activan, inician la transmisión remota, graban videos y toman fotos de alta resolución. Una vez finalizada la sesión, los registros de consulta se guardan en el servidor empresarial. Al comienzo de la sesión, el nombre y las insignias del experto conectado, los indicadores de la calidad de la conexión de red y el nivel de la batería se muestran en la micropantalla de las gafas.
En heladas severas, los vasos funcionan sin problemas durante 2 horas. Y aquí volveremos al tema de la chispa. En nuestros sitios de producción, utilizamos equipos diseñados para funcionar en un entorno con gases peligrosos: esto es RealWear. Para trabajos en talleres de reparación, es posible utilizar dispositivos resistentes al polvo y la humedad en diseño industrial. Aquí utilizamos equipos Epson.
Sobre la foto
G-Core Labs nos ayudó a desarrollar la plataforma de medios. Una imagen estable y clara, la capacidad de ver incluso los pequeños detalles del equipo, todo esto fue muy importante para nosotros. En este sentido, hemos cambiado el comportamiento estándar de la biblioteca WebRTC, en la que cuando la velocidad de la conexión a la red disminuye, la calidad de la imagen se deteriora, pero la velocidad de fotogramas se mantiene. En nuestro caso, lo fundamental es la calidad de la imagen, incluso si hay retrasos en la entrega de la transmisión de video. Pues si la conexión falla por completo, nuestra plataforma da prioridad a mantener la conexión de audio con el operador.
Además de una imagen de alta calidad, también necesitábamos realidad aumentada: consejos, notificaciones. Con la ayuda de un puntero virtual que se muestra en la micropantalla de las gafas, un empleado del proveedor de equipos puede dirigir las acciones de un especialista de la planta, indicando dónde debe mirar, qué girar y dónde controlar. Además, el chat y el envío de pegatinas están integrados en la funcionalidad de la plataforma AR. Estos últimos son necesarios, por ejemplo, si hay algún problema con la conexión. En este caso, el experto remoto envía etiquetas adhesivas de señal, por ejemplo, un "tic" si todo se hace correctamente, o "detener" si necesita detener acciones.
¿Qué hace que nuestro servicio sea único?
Las principales características diferenciadoras de la solución SIBUR de otros análogos en el mercado son la profundidad de su integración en las tareas y procesos productivos reales de las empresas, la digitalización integral del proceso de reparación y la versatilidad, que permite desplegar el servicio en una variedad de sitios de producción.
En nuestra solución, elaboramos un modelo de rol completo centrado en los clientes comerciales: gerentes de producción, gerentes de sitio, mecánicos, gerentes técnicos de servicio al cliente, etc. El servicio AR proporciona un sistema de tickets, lo que implica no solo la posibilidad de comunicación por video, sino también una digitalización completa del proceso comercial para realizar una consulta remota. Con la ayuda de este sistema de tickets, guiamos al cliente a lo largo de todo el camino para resolver el problema que ha surgido, desde verificar la integridad de la información necesaria hasta evaluar el costo del trabajo, las competencias y calificaciones necesarias de expertos externos o internos, garantizar la seguridad de la información y responder preguntas sobre quién, en qué momento y con quién. debe llevar vasos,cómo se mantiene este sistema y cómo se lleva a cabo exactamente toda esta interacción hasta que se completa con éxito el servicio o la reparación.
Por supuesto, en Rusia, Europa, Asia y América existen sistemas que te permiten organizar la comunicación por video usando gafas de realidad aumentada. Sin embargo, hasta la fecha, el éxito de la implementación de tales proyectos en empresas industriales depende en gran medida de la calidad de la integración en los procesos internos, así como de la plataforma de TI utilizada, personalizada para procesos y tareas industriales.
Restricciones y desafíos: no, complementos y WiFi, sí, arquitectura de microservicio y LTE
Uno de los requisitos a la hora de crear la plataforma fue la ausencia de instalar nada (complementos o programas) en las computadoras de los usuarios. Hemos cumplido con este requisito utilizando un cliente web y un navegador moderno. Casi todos los navegadores modernos (tanto de escritorio como móviles) admiten la tecnología WebRTC. Nuestro servicio se basa en ello. En resumen, WebRTC le permite establecer una transmisión de comunicación de audio y video entre los participantes utilizando el protocolo RTP, que a su vez se ejecuta en UDP. Existe un mecanismo para seleccionar rutas para establecer una conexión entre participantes (ICE), un mecanismo para negociar el formato de los flujos de medios (SDP), algoritmos para estimar el ancho de banda de un canal de comunicación, algoritmos para adaptar la compresión de los flujos de datos de los medios y algoritmos de procesamiento de medios como la cancelación de eco, etc.Recientemente, WebRTC ha recibido una buena distribución en navegadores y desarrollo. El uso de UDP para la transferencia de datos entre participantes no siempre es posible debido a la presencia de firewalls, antivirus, enrutadores y NAT. Para resolver estos problemas, se inventaron STUN y TURN. Para los casos en los que UDP no está disponible, ahora es posible utilizar TCP para ICE. También se ha agregado soporte TCP a STUN y TURN.
TCP aumenta la disponibilidad de nuestro servicio para clientes externos que pueden estar detrás de NAT, firewall, firewalls corporativos y otras restricciones de red. Sin embargo, el uso del protocolo TCP en lugar de UDP supuso un cambio en el comportamiento de WebRTC. Durante la transferencia de datos multimedia a través del protocolo UDP, es posible la pérdida de paquetes, la duplicación, el reordenamiento y pequeños retrasos. Todas estas situaciones son manejadas correctamente por WebRTC: puede haber una aparición a corto plazo de artefactos de imagen o distorsión del sonido. Cuando se usa TCP, no hay pérdidas, duplicación ni reordenamiento de paquetes; esto es monitoreado por los algoritmos integrados en el protocolo. Pero todo esto se traduce en grandes retrasos y fluctuaciones al recibir paquetes.Visualmente, parecía congelar fotogramas y una acumulación gradual de retraso entre la fuente de video y la visualización en otro cliente. Después de realizar cambios en el servidor de medios, prácticamente logramos deshacernos de la acumulación de latencia, pero la congelación de cuadros no se superó. Se decidió deshabilitar temporalmente la transmisión de video desde el servidor de medios en caso de grandes retrasos en la recepción de paquetes. Esta solución hizo posible preservar la comunicación de voz entre los participantes, incluso en malas condiciones de red.Esta solución hizo posible preservar la comunicación de voz entre los participantes, incluso en malas condiciones de red.Esta solución hizo posible preservar la comunicación de voz entre los participantes, incluso en malas condiciones de red.
Todas las gafas inteligentes industriales del mercado se conectan a la red a través de WiFi. Esto crea ciertas dificultades en el funcionamiento de los vidrios en los vastos territorios de las fábricas de SIBUR. Proporcionar una conexión WiFi estable a todos los lugares de una fábrica donde se supone que el trabajo se realiza con lentes inteligentes, dada la escala de las fábricas e instalaciones, es todo un desafío. Es más eficiente y económico utilizar la red inalámbrica LTE en espacios abiertos. Sin embargo, esta solución requiere que el empleado tenga equipo adicional: un módem LTE. La red LTE también está bien protegida por las estructuras de hormigón armado de los talleres y las cajas metálicas de los equipos en su interior. Para proporcionar cobertura dentro del edificio, se utilizan módems LTE estacionarios y una red de emisoras WiFi. Cuando se trabaja con gafas inteligentes, la calidad de la conexión a los servidores es inestable,a veces se interrumpe. Para no perder información sobre lo que hacía el empleado con las gafas y cómo, las gafas graban video en un medio interno. Este video se graba en calidad HD y no depende de las condiciones de la red. Tenemos la capacidad de borrar datos de anteojos de forma remota, así como borrar datos en caso de detección de raíz.
Todos los servicios de SIBUR se construyen utilizando una arquitectura de microservicio. Nuestra plataforma no es una excepción. De hecho, consta de dos microservicios: microservicio BPM y microservicio de videollamada. También utilizamos microservicios implementados o desarrollados por otros equipos: un microservicio de autenticación para trabajar con usuarios, un microservicio de notificación para correo y envíos por SMS, y algunos otros. Los microservicios se comunican entre sí mediante gRPC. Los clientes se comunican con nuestro servicio de la misma forma: para gafas inteligentes y un cliente web. Sin embargo, los clientes web no admiten gRPC directamente. Tienen una biblioteca para trabajar con gRPC-web, que no es compatible con gRPC. Para acceder al servicio, se utiliza una puerta de enlace gRPC, que traduce gRPC-web a gRPC y viceversa.
Por el momento, hemos construido una plataforma modular que brinda comunicación de video y audio estable y de alta calidad (en la medida que la red lo permita), y también tiene la capacidad de expandir su funcionalidad agregando nuevos módulos y equipos. Aún queda mucho trabajo por delante: se prevé una mayor integración con otros servicios de información de SIBUR, investigación de una nueva generación de gafas inteligentes y cascos AR y VR, implementación de herramientas de realidad aumentada y colaboración efectiva de nuestros colegas y socios externos.