Las redes gráficas son una forma de aplicar modelos de redes neuronales clásicas para graficar datos. Los gráficos, al no tener una estructura regular como imágenes (cada píxel tiene 8 vecinos) o textos (una secuencia de palabras), durante mucho tiempo permanecieron fuera de la vista de los modelos neuronales clásicos, que están muy extendidos en el campo del aprendizaje automático y la inteligencia artificial. . La mayoría de los modelos de vectorización de gráficos (la construcción de una representación vectorial de vértices en un gráfico) eran bastante lentos y utilizaban algoritmos basados en la factorización de matrices o la descomposición de gráficos espectrales. En 2015-16, aparecieron modelos de caminata aleatoria más eficientes (DeepWalk, Line, Node2vec, Hope). Sin embargo, también tenían limitaciones, porque no afectaban de ninguna manera características adicionales al construir un modelo vectorial del gráfico,que se puede almacenar en vértices o bordes. La aparición de redes neuronales de grafos se convirtió en una continuación lógica de la investigación en el campo de las incrustaciones de grafos y permitió unificar los enfoques anteriores bajo un solo marco.
Para que sirven y como se organizan
Una capa de una red neuronal gráfica es una capa ordinaria completamente conectada de una red neuronal, pero los pesos que contiene no se aplican a todos los datos de entrada, sino solo a aquellos que son vecinos de un vértice particular en el gráfico, además de su propia representación de la capa anterior. Las ponderaciones de los vecinos y el vértice en sí se pueden establecer mediante una matriz de ponderación común o dos independientes. Se pueden agregar normalizaciones para acelerar la convergencia; Las funciones no lineales de las activaciones pueden variar, pero la construcción general sigue siendo similar. Al mismo tiempo, las redes convolucionales gráficas obtuvieron su nombre debido a la agregación de información de sus vecinas, aunque los mecanismos de atención gráfica (GAT) o el modelo de aprendizaje inductivo (GraphSAGE) están mucho más cerca de esta definición.
Solicitud
Sistemas de recomendación
Los gráficos evolucionan en el contexto de las interacciones del usuario con los productos en las plataformas de comercio electrónico. Como resultado, muchas empresas utilizan redes neuronales gráficas para crear sistemas de recomendación. Por lo general, los gráficos se utilizan para modelar la interacción de los usuarios con los productos, enseñar incrustaciones teniendo en cuenta una muestra negativa seleccionada correctamente y, al clasificar los resultados, se seleccionan ofertas personalizadas de productos y se muestran a usuarios específicos en tiempo real. Uno de los primeros servicios con tal mecanismo fue Uber Eats : la red neuronal GraphSage selecciona recomendaciones para alimentos y restaurantes.
Si bien los gráficos son relativamente pequeños para las recomendaciones de alimentos debido a limitaciones geográficas, algunas empresas utilizan redes neuronales con miles de millones de conexiones. Por ejemplo, el gigante chino Alibaba ha lanzado incorporaciones de gráficos y redes neuronales de gráficos para miles de millones de usuarios y productos. Crear estos gráficos es una pesadilla para los desarrolladores. Pero gracias a la canalización de Aligraphpuede crear un gráfico de 400 millones de nodos en solo cinco minutos. Impresionante. Aligraph admite almacenamiento de gráficos distribuido y eficiente, operadores de búsqueda optimizados y un montón de redes neuronales de gráficos nativas. Esta canalización ahora se utiliza para recomendaciones y búsquedas personalizadas en los numerosos productos de la empresa.
Pinterest propuso un modelo PinSage que empareja de manera eficiente a los vecinos mediante el uso de PageRank personalizado y actualiza las incrustaciones de vértices agregando información de los vecinos. El próximo modelo de PinnerSageya puede trabajar con múltiples incrustaciones para tener en cuenta los diferentes gustos de los usuarios. Estos son solo un par de ejemplos notables en el área de los sistemas de recomendación. También puede leer sobre la exploración de Amazon de gráficos de conocimiento y redes neuronales de gráficos , o el uso de Fabula AI de redes neuronales de gráficos para detectar noticias falsas . Pero incluso sin esto, es obvio que las redes neuronales de gráficos muestran resultados prometedores con una señal significativa de las interacciones del usuario.
Optimización combinatoria
Las soluciones de optimización combinatoria están en el corazón de muchos productos importantes en finanzas, logística, energía, ciencia y diseño electrónico. La mayoría de estas tareas se describen mediante gráficos. Y durante el último siglo, se ha dedicado mucho esfuerzo a la creación de soluciones algorítmicas más eficientes. Sin embargo, la revolución del aprendizaje automático nos ha proporcionado enfoques nuevos y convincentes. El
equipo de Google Brain utilizó redes neuronales de gráficos para optimizar el consumo de energía, el área y el rendimiento de los chips para hardware nuevo como Google TPU... Un procesador de computadora se puede representar como un gráfico de memoria y componentes lógicos, cada uno con sus propias coordenadas y tipo. Determinar la ubicación de cada componente, teniendo en cuenta las limitaciones de la densidad de ubicación y el enrutamiento de la carga, sigue siendo un proceso que requiere mucho tiempo, una obra de arte para los ingenieros electrónicos. La combinación del modelo gráfico con el aprendizaje de políticas y refuerzo permite encontrar la ubicación óptima de los chips y crear chips de mayor rendimiento en comparación con los diseñados por humanos.
Otro enfoque implica la integración del modelo de aprendizaje automático en las herramientas de solución existentes. Por ejemplo, un equipo dirigido por M. Gasspropuso una red gráfica que aprende políticas de selección de variables de ramificación y límite: una operación crítica en las herramientas de solución de programa lineal de enteros mixtos (MILP). Como resultado, las representaciones aprendidas intentan minimizar la duración de las herramientas de la solución y demostrar un buen equilibrio entre la velocidad de salida y la calidad de la solución.
En una colaboración más recienteDeepMind y Google utilizan redes de gráficos en dos subproblemas clave resueltos por las herramientas MILP: la asignación conjunta de variables y la restricción de los valores objetivo. El enfoque propuesto basado en la red neuronal resultó ser de 2 a 10 veces más rápido que las herramientas de solución existentes que utilizan enormes conjuntos de datos, incluidos los utilizados por Google para los sistemas de planificación y empaquetado de productos. Si está interesado en esta área, puede recomendar un par de estudios recientes ( 1 , 2 ), que analizan la combinación de redes neuronales gráficas, aprendizaje automático y optimización combinatoria con mucha más profundidad.
Visión por computador
Los objetos en el mundo real están profundamente interconectados, por lo que las imágenes de estos objetos se pueden procesar con éxito utilizando redes neuronales de gráficos. Por ejemplo, puede percibir el contenido de una imagen a través de gráficos de escena : un conjunto de objetos en una imagen con sus relaciones. Los gráficos de escena se utilizan para encontrar imágenes, comprender y dar sentido a su contenido, agregar subtítulos, responder preguntas visuales y generar imágenes. Estos gráficos pueden mejorar enormemente el rendimiento de sus modelos.
En una de las obras de Facebookdescribió que puede colocar objetos del popular conjunto de datos COCO en un marco, establecer sus posiciones y tamaños y, en base a esta información, se creará un gráfico de escena. Con su ayuda, la red neuronal gráfica determina las incrustaciones de objetos, a partir de las cuales, a su vez, la red neuronal convolucional crea máscaras, marcos y contornos de objetos. Los usuarios finales pueden simplemente agregar nuevos nodos al gráfico (definiendo la posición relativa y el tamaño de los nodos) para que las redes neuronales puedan generar imágenes con estos objetos.
Otra fuente de gráficos en la visión por computadora es la yuxtaposición de dos imágenes interconectadas. Este es un problema clásico que solía resolverse manualmente creando descriptores. Magic Leap, una empresa de gráficos 3D creó una arquitectura basada en redes neuronales de gráficos llamada SuperGlue . Esta arquitectura permite la coincidencia de video en tiempo real para la reproducción de escenas en 3D, el reconocimiento de ubicación, la localización y el mapeo simultáneos (SLAM). SuperGlue consiste en una red neuronal gráfica basada en el mecanismo de atención. Le enseña a encontrar los puntos clave de la imagen, que luego se transfieren a la capa de transporte óptima para hacer coincidir. En las tarjetas de video modernas, el modelo es capaz de trabajar en tiempo real y puede integrarse en sistemas SLAM. En estos estudios se describe más sobre la combinación de gráficos y visión por computadora: 1 , 2 .
Física y Química
La representación de interacciones entre partículas o moléculas en forma de gráficos y la predicción de las propiedades de nuevos materiales y sustancias mediante redes neuronales de gráficos permite resolver diversos problemas de las ciencias naturales. Por ejemplo, a través del proyecto Open Catalyst , Facebook y CMU están buscando nuevas formas de almacenar energía solar y eólica renovable. Una posible solución es convertir esta energía a través de reacciones químicas en otros combustibles, por ejemplo, hidrógeno. Pero para ello es necesario crear nuevos catalizadores para reacciones químicas de alta intensidad, y los métodos conocidos hoy como DFT son muy costosos. Los autores del proyecto publicaronla colección más grande de catalizadores, desintegraciones DFT y líneas de base para redes neuronales de gráficos. Los desarrolladores esperan encontrar nuevas simulaciones moleculares de bajo costo que complementen las costosas simulaciones actuales que se ejecutan durante días con estimaciones eficientes de energía y fuerzas intermoleculares que se calculan en milisegundos.
Los investigadores de DeepMind también han utilizado redes neuronales gráficas para emular la dinámica de sistemas de partículas complejos como el agua y la arena. Al predecir el movimiento relativo de cada partícula en cada paso, se puede recrear de manera plausible la dinámica de todo el sistema y aprender más sobre las leyes que gobiernan este movimiento. Por ejemplo, así es como intentan resolver el más interesante de los problemas no resueltos en la teoría de los sólidos: la transición al estado vítreo.... Las redes neuronales gráficas no solo le permiten emular la dinámica durante una transición, sino que también lo ayudan a comprender mejor cómo las partículas se afectan entre sí según el tiempo y la distancia.
El laboratorio de física estadounidense Fermilab está trabajando en el uso de redes neuronales de gráficos en el Gran Colisionador de Hadrones para procesar millones de datos y encontrar aquellos que puedan estar asociados con el descubrimiento de nuevas partículas. Los autores quieren implementar redes neuronales gráficas en circuitos integrados de lógica programable e incrustarlas en procesadores para la recopilación de datos , de modo que las redes neuronales gráficas se puedan utilizar de forma remota desde cualquier parte del mundo. Lea más sobre su aplicación en física de altas energías en este estudio .
Desarrollo de fármacos
Las empresas farmacéuticas están buscando activamente nuevos métodos de desarrollo de fármacos, compitiendo ferozmente entre sí y gastando miles de millones de dólares en investigación. En biología, los gráficos se pueden utilizar para representar interacciones en diferentes niveles. Por ejemplo, a nivel molecular, los enlaces entre nodos denotarán fuerzas interatómicas en una molécula o interacciones entre bases de aminoácidos en una proteína. A mayor escala, los gráficos pueden representar interacciones entre proteínas y ARN o productos metabólicos. Dependiendo del nivel de abstracción, los gráficos se pueden utilizar para identificación dirigida, predicción de propiedades moleculares, cribado de alto rendimiento, diseño de nuevos fármacos, diseño de proteínas y reutilización de fármacos.
Probablemente el resultado más prometedor del uso de redes neuronales gráficas en esta área sea el trabajo de investigadores del MIT, publicado en Cell en 2020. Aplicaron un modelo de aprendizaje profundo llamado Chemprop , que predijo las propiedades antibióticas de las moléculas: inhibir la proliferación de E. coli. Después de entrenar con solo 2.500 moléculas de una biblioteca aprobada por la FDA, Chemprop se aplicó a un conjunto de datos más grande, incluido un Centro de reutilización de medicamentos que contiene una molécula de Halicina renombrada después de AI HAL 9000de la película "A Space Odyssey 2001". Es de destacar que antes de que Halicin se estudiara solo en relación con el tratamiento de la diabetes, porque su estructura es muy diferente a la de los antibióticos conocidos. Pero los experimentos clínicos in vitro e in vivo han demostrado que Halicin es un antibiótico de amplio espectro. La comparación exhaustiva con modelos de redes neuronales fuertes destacó la importancia de las propiedades de Halicin descubiertas utilizando redes neuronales de gráficos. Además del papel práctico de este trabajo, la arquitectura Chemprop es interesante para otros: a diferencia de muchas redes neuronales de gráficos, contiene 5 capas y 1600 dimensiones ocultas, que es mucho más que los parámetros típicos de las redes neuronales de gráficos para tales tareas. Espero que este sea solo uno de los pocos descubrimientos de IA en la nueva medicina futura. Lea más sobre esta dirección aquí.y aqui .
Cuando las redes neuronales gráficas se convirtieron en tendencia
Las incorporaciones de gráficos alcanzaron su punto máximo en 2018, cuando los modelos de integración estructural y red neuronal de gráficos propuestos en 2016 se probaron en muchas aplicaciones prácticas y mostraron una alta eficiencia, incluido el ejemplo más famoso del modelo PinSAGE utilizado en las recomendaciones de la red social Pinterest. Desde entonces, el crecimiento de la investigación sobre este tema se ha vuelto exponencial, y hay cada vez más aplicaciones en áreas donde anteriormente los métodos no podían tener en cuenta de manera efectiva la comunicación entre objetos en modelos. Cabe destacar que la automatización del aprendizaje automático y la búsqueda de nuevas arquitecturas de redes neuronales eficientes también han recibido un nuevo impulso de desarrollo gracias a las redes neuronales gráficas.
¿También son una tendencia en Rusia?
Desafortunadamente, Rusia en la mayoría de los casos está a la zaga de la investigación moderna en el campo de la inteligencia artificial. El número de artículos en conferencias internacionales y en revistas líderes es un orden de magnitud menor que los artículos de científicos de los Estados Unidos, Europa y China, y el apoyo financiero para la investigación en nuevas áreas encuentra resistencia en el ambiente osificado de académicos que están atrapados en enfoques del siglo pasado y conceden subvenciones más sobre el principio del nepotismo gerontocrático que sobre los logros reales. Como resultado, en conferencias líderes como TheWebConf, ICDM, WSDM, KDD, NIPS, los nombres de los científicos rusos están principalmente afiliados a universidades occidentales, lo que refleja la tendencia de la fuga de cerebros, así como la seria competencia de países avanzados en el campo. del desarrollo de la IA, especialmente China ...
Si observa las conferencias en el campo de la informática con la calificación A * más alta según Core, por ejemplo, conferencias sobre informática de alto rendimiento, entonces el tamaño medio de la subvención para los artículos aceptados en la pista principal es de $ 1 millón, que pierde para los programas máximos de la fundación científica rusa en 15 30 veces. En tales condiciones, las investigaciones realizadas en grandes empresas con organización de I + D, de hecho, son los únicos impulsores en la búsqueda de nuevos enfoques basados en redes neuronales de grafos.
En Rusia, la teoría de las redes neuronales gráficas se está estudiando en la Escuela Superior de Economía bajo mi liderazgo, también hay grupos en Skoltech y MIPT, la investigación aplicada se lleva a cabo en ITMO, la Universidad Federal de Kazán, así como en el Laboratorio de Inteligencia Artificial de Sber. , en proyectos de I + D JetBrains, Mail.ru Group, Yandex.
En el escenario mundial, los conductores son Twitter, Google, Amazon, Facebook, Pinterest.
¿Tendencia fugaz o de largo plazo?
Como todas las tendencias, la moda de las redes neuronales gráficas ha dado paso a los transformadores con sus grandes arquitecturas que describen todas las posibles dependencias en datos no estructurados, pero generando modelos que cuestan millones de dólares entrenar y están disponibles solo para megacorporaciones. Las redes neuronales gráficas no solo han tomado su lugar con éxito como un estándar para construir aprendizaje automático sobre datos estructurales, sino que también han demostrado ser un medio efectivo para generar atención estructural en industrias relacionadas, incluida la alta eficiencia en problemas de aprendizaje de múltiples ejemplos y aprendizaje métrico. . Estoy seguro de que gracias a las redes neuronales gráficas obtendremos nuevos descubrimientos en ciencia de materiales, farmacología y medicina. Quizás haya modelos nuevos y más eficientes para big data que tengan las propiedades de transferir conocimiento entre diferentes datos gráficos.Los modelos superarán los problemas de aplicabilidad de los gráficos, cuya estructura es opuesta a la similitud de características, pero en general, esta área del aprendizaje automático se ha convertido en una ciencia independiente, y es hora de sumergirnos en ella ahora mismo, esto es una rara oportunidad de participar en el desarrollo de una nueva industria, tanto en ciencia como en aplicaciones industriales.
Si quieres mejorar tus habilidades en aprendizaje automático y estudiar redes neuronales gráficas, te esperamos en nuestra MADE Big Data Academy .