Funciones de plantilla en Python que se pueden ejecutar de forma sincrónica y asincrónica

Ahora casi todos los desarrolladores están familiarizados con el concepto de "asincronía" en la programación. En una era en la que los productos de información tienen tanta demanda que se ven obligados a procesar simultáneamente una gran cantidad de solicitudes y también a interactuar en paralelo con un gran conjunto de otros servicios, sin programación asincrónica, en ninguna parte. La necesidad resultó ser tan grande que incluso se creó un lenguaje separado, cuya característica principal (además de ser minimalista) es un trabajo muy optimizado y conveniente con código paralelo / concurrente, a saber, Golang . A pesar de que el artículo no trata sobre él en absoluto, a menudo haré comparaciones y me referiré a él. Pero aquí en Python, que se discutirá en este artículo, hay algunos problemas que describiré y ofreceré una solución a uno de ellos. Si está interesado en este tema, por favor, debajo de cat.

---

Dio la casualidad de que mi lenguaje favorito, con el que trabajo, implemento proyectos favoritos e incluso descanso y me relajo, es Python . Me cautiva infinitamente su belleza y simplicidad, su obviedad, detrás de la cual, con la ayuda de varios tipos de azúcar sintáctico, hay enormes oportunidades para una descripción lacónica de casi cualquier lógica de la que sea capaz la imaginación humana. Incluso leí en alguna parte que Python se llama lenguaje de nivel ultra alto, ya que se puede usar para describir abstracciones que serían extremadamente problemáticas de describir en otros lenguajes.



Pero hay un matiz serio: Pythonmuy difícil de encajar en conceptos modernos del lenguaje con la posibilidad de implementar lógica paralela / concurrente. El lenguaje, cuya idea se originó en los años 80 y que tiene la misma edad que Java, hasta cierto momento no implicó la ejecución de ningún código de forma competitiva. Si JavaScript inicialmente requería concurrencia para el trabajo sin bloqueo en el navegador, y Golang es un lenguaje completamente nuevo con una comprensión real de las necesidades modernas, entonces Python no tenía tales tareas antes.



Esta, por supuesto, es mi opinión personal, pero me parece que Python está muy retrasado con la implementación de la asincronía, desde la aparición de la librería asyncio incorporadamás bien, fue una reacción a la aparición de otras implementaciones de ejecución de código concurrente para Python. Básicamente, asyncio está construido para admitir implementaciones existentes y contiene no solo su propia implementación de bucle de eventos, sino también un contenedor para otras bibliotecas asincrónicas, ofreciendo así una interfaz común para escribir código asincrónico. Y Python , que se creó originalmente como el lenguaje más lacónico y legible debido a todos los factores enumerados anteriormente, cuando la escritura de código asincrónico se convierte en un revoltijo de decoradores, generadores y funciones. La situación se corrigió ligeramente mediante la adición de directivas especiales async y await (como en JavaScript , lo cual es importante) (corregido, gracias al usuariotmnhy), pero persistieron problemas comunes.



No los enumeraré todos y me centraré en uno que intenté resolver: esta es una descripción de la lógica general para la ejecución asíncrona y síncrona. Por ejemplo, si quiero ejecutar una función en paralelo en Golang , solo necesito llamar a la función con la directiva go :





Dicho esto, en Golang, puedo ejecutar esta misma función sincrónicamente:





En Python, todas las corrutinas (funciones asincrónicas) se basan en generadores y el cambio entre ellos ocurre durante la llamada de funciones de bloqueo, devolviendo el control al bucle de eventos mediante la directiva yield . Para ser honesto, no sé cómo funciona la concurrencia / concurrencia en Golang , pero no me equivoco si digo que no funciona como lo hace en Python . A pesar de las diferencias existentes en los aspectos internos de la implementación del compilador Golang y el intérprete CPython y la inadmisibilidad de comparar paralelismo / concurrencia en ellos, seguiré haciendo esto y prestaré atención no a la ejecución en sí, sino a la sintaxis. En PythonNo puedo tomar una función y ejecutarla en paralelo / al mismo tiempo con un operador. Para que mi función funcione de forma asincrónica, debo escribirla explícitamente de forma asincrónica antes de su declaración, y después de eso ya no es solo una función, ya es una corrutina. Y no puedo mezclar sus llamadas en el mismo código sin acciones adicionales, porque una función y una corrutina en Python son cosas completamente diferentes, a pesar de la similitud en la declaración.

def func1(a, b):
    func2(a + b)
    await func3(a - b)  # ,   await     

Mi principal problema fue la necesidad de desarrollar una lógica que se pueda ejecutar tanto de forma sincrónica como asincrónica. Un ejemplo simple es mi biblioteca para la interacción con Instagram , que abandoné hace mucho tiempo, pero ahora la retomé (lo que me impulsó a buscar una solución). Quería implementar en él la capacidad de trabajar con la API no solo de forma síncrona, sino también asincrónica, y esto no era solo un deseo: al recopilar datos en Internet, puede enviar una gran cantidad de solicitudes de forma asincrónica y obtener una respuesta a todas ellas más rápido, pero al mismo tiempo, la recopilación masiva de datos no es siempre necesitado. Por el momento, la biblioteca implementa lo siguiente: para trabajar con Instagramhay 2 clases, una para trabajo síncrono y otra para asíncrono. Cada clase tiene el mismo conjunto de métodos, solo que en el primero los métodos son síncronos y en el segundo son asincrónicos. Cada método hace lo mismo, excepto por cómo se envían las solicitudes a Internet. Y solo debido a las diferencias en una acción de bloqueo, tuve que duplicar casi por completo la lógica en cada método. Se parece a esto:

class WebAgent:
    def update(self, obj=None, settings=None):
        ...
        response = self.get_request(path=path, **settings)
        ...

class AsyncWebAgent:
    async def update(self, obj=None, settings=None):
        ...
        response = await self.get_request(path=path, **settings)
        ...

Todo lo demás en el método de actualización y en la rutina de actualización es absolutamente idéntico. Y como mucha gente sabe, la duplicación de código agrega muchos problemas, especialmente cuando se trata de corregir errores y realizar pruebas.



Escribí mi propia biblioteca pySyncAsync para resolver este problema . La idea es la siguiente: en lugar de funciones ordinarias y corrutinas, se implementa un generador, en el futuro lo llamaré plantilla. Para ejecutar una plantilla, debe generarla como una función regular o como una corrutina. La plantilla, cuando se ejecuta en el momento en que necesita ejecutar código asincrónico o síncrono dentro de sí misma, devuelve un objeto Call especial usando yield, que especifica a qué llamar y con qué argumentos. Dependiendo de cómo se generará la plantilla, como función o como corrutina, así es como se ejecutarán los métodos descritos en el objeto Call .



Mostraré un pequeño ejemplo de una plantilla que asume la capacidad de realizar solicitudes a Google :





Te contaré un poco sobre la estructura interna de la biblioteca. Existe una clase Manager en la que se registran funciones y corrutinas para ser llamadas usando Call . También es posible registrar plantillas, pero esto es opcional. La clase Manager tiene métodos de registro , generación y plantilla . Los mismos métodos en el ejemplo anterior fueron llamados directamente desde pysyncasync , solo que usaron una instancia global de la clase Manager , que ya fue creada en uno de los módulos de la biblioteca. De hecho, puede crear su propia instancia y llamar a los métodos de registro , generación y plantilla a partir de ella.aislando así a los gerentes unos de otros si, por ejemplo, es posible un conflicto de nombres.



El método de registro actúa como decorador y le permite registrar una función o corrutina para una llamada posterior desde la plantilla. El decorador de registros acepta como argumento el nombre bajo el cual se registra la función o corrutina en el administrador. Si no se especifica el nombre, la función o corrutina se registra con su propio nombre.



El método de plantilla le permite registrar el generador como una plantilla en el administrador. Esto es necesario para poder obtener una plantilla por su nombre. Generar



métodole permite generar una función o corrutina basada en una plantilla. Se necesitan dos argumentos: el primero es el nombre de la plantilla o la plantilla en sí, el segundo es "sincronizar" o "asíncrono" - qué generar la plantilla - para una función o para una corrutina. En la salida, el método generate proporciona una función o corrutina lista para usar.



Daré un ejemplo de cómo generar una plantilla, por ejemplo, en una corrutina:

def _async_generate(self, template):
    async def wrapper(*args, **kwargs):
        ...
        for call in template(*args, **kwargs):
            callback = self._callbacks.get(f"{call.name}:{ASYNC}")
            call.result = await callback(*call.args, **call.kwargs)
        ...
    return wrapper

En su interior se genera una corrutina, que simplemente itera sobre el generador y recibe objetos de la clase Call , luego toma la corrutina previamente registrada por su nombre (el nombre se toma de la llamada ), la llama con argumentos (que también toma de la llamada ) y el resultado de ejecutar esta corrutina también se almacena en la llamada .



Los objetos de la clase Call son simplemente contenedores para almacenar información sobre qué y cómo llamar y también le permiten almacenar el resultado en sí mismos. wrapper también puede devolver el resultado de la ejecución de la plantilla; para esto, la plantilla está envuelta en una clase Generator especial , que no se muestra aquí.



He omitido algunos de los matices, pero espero haber transmitido la esencia en general.



Para ser honesto, este artículo fue escrito por mí en lugar de compartir mis pensamientos sobre cómo resolver problemas con código asincrónico en Python.y, lo más importante, escuchar las opiniones de los residentes de Khabrav. Tal vez encuentre a alguien con otra solución, tal vez alguien no esté de acuerdo con esta implementación en particular y le diga cómo puede mejorarla, tal vez alguien le diga por qué tal solución no es necesaria en absoluto y no debe mezclar síncrona y código asincrónico, la opinión de cada uno de ustedes es muy importante para mí. Además, no pretendo ser cierto en todo mi razonamiento al comienzo del artículo. Pensé mucho en el tema de otros idiomas y podría estar equivocado, además, existe la posibilidad de que pueda confundir los conceptos, por favor, si de repente nota alguna inconsistencia, descríbala en los comentarios. También me alegrará si hay modificaciones en la sintaxis y la puntuación.



¡Y gracias por su atención a este tema y a este artículo en particular!