¿Quién vive bien en Rusia? Cómo buscamos la ciudad más verde usando OpenStreetMap y la API Overpass

Cada tarjeta tiene una leyenda: es ella quien le dice al lector qué se indica en ella y cómo. Las casas corresponden a polígonos grises, carreteras: segmentos y curvas, parques y plazas se llenan de verde claro y están decorados con un pictograma de árbol. Y a algunos mapas agregan una aplicación útil: una lista de estas mismas carreteras con su longitud, la cantidad de parques, tiendas y botes de basura.



Cuando nos preparábamos para automatizar el trabajo de los servicios municipales locales, llamamos la atención sobre el uso de la cartografía, que nos pareció una herramienta realmente poderosa y eficaz para resolver una amplia gama de tareas. En el mapa, puede mostrar información actualizada sobre la ubicación de los objetos, las rutas de movimiento del equipo de cosecha, el transporte, un plan de trabajo y un mapa de calor con áreas problemáticas y "saludables".



El uso de la cartografía en general ayuda a acelerar el tiempo de reacción y la toma de decisiones sobre asuntos urgentes, simplifica el proceso de planificación y previsión y, lo más importante, toda la información está disponible en la forma más visual.



Mientras trabajábamos con uno de los clientes, nos enfrentamos a una tarea interesante: calcular la cantidad de objetos en el mapa por categoría.

Encontrar

Determine la ciudad "más verde" del Distrito Federal Central mediante la combinación de los siguientes datos: el número de tiendas, basureros y parques.

Dado

Cartografía. Elegimos OpenStreetMap (en adelante, OSM ) como trampolín por una razón muy simple: Open Source.

Decisión

Hay varios enfoques para resolver este problema. Por ejemplo, podemos usar PostgreSQL para consultar la base de datos de OSM y recuperar los datos necesarios, o usar QGIS, un sistema para crear, analizar y publicar información geoespacial. Sin embargo, encontramos una forma más elegante y eficiente: Overpass API .

Overpass API es una poderosa herramienta para extraer datos de la base de datos de OSM a petición del usuario. Está optimizado para tareas de cualquier escala: desde recuperar varios elementos de una base de datos hasta cientos de millones de objetos que se seleccionan según una solicitud en forma de XML o Overpass QL, una versión mejorada de Overpass XML. Lea más sobre la API Overpass aquí .

Empecemos desde cero: en primer lugar, debe implementar OSM en el servidor. Ubuntu se utiliza como sistema operativo en nuestra máquina.



P: ¿Por qué implementar su OSM?

R: Para trabajar con datos, necesitamos la API Overpass, cuyo servidor público tiene un límite en la cantidad de solicitudes por día. Es por esta razón que implementaremos nuestro servidor con OSM blackjack y Overpass API.

Las instrucciones detalladas para instalar OSM están aquí .

El siguiente paso es instalar la API Overpass; su última versión se puede encontrar aquí .

sudo apt-get update
sudo apt-get install g++ make expat libexpat1-dev zlib1g-dev apache2 -y
wget http://dev.overpass-api.de/releases/osm-3s_.tar.gz
tar -zxvf osm-3s_.tar.gz
cd osm-3s_
./configure CXXFLAGS="-O2" --prefix=$EXEC_DIR
make install
cd ../
chmod -R 755 ./overpass

Después de la instalación, deberá completar: crear una base de datos. No necesitamos una base de datos de todo el mundo, por lo que utilizaremos el servicio Geofabrik , que nos permite obtener datos para las regiones administrativas especificadas.

Una alternativa digna a Geofabrik es BBBike .

Descargamos y descomprimimos la base de datos descargada del directorio Europa> Federación de Rusia> Distrito Federal Central en formato .osm.bz2, de la siguiente manera:

PATH_TO_INIT_OSM3S.SH PATH_TO_FILE_BZ2 PATH_WERE_Unpack_OVERPASS_API DIRECTORY

Nota: en este caso, todas las acciones se realizan en el directorio de paso elevado .

Entonces, la plataforma está casi lista, ahora podemos hacer nuestra primera solicitud y averiguar la cantidad de parques en toda la región.

PATH_TO_OSM3S_QUERY --db-dir = RUTA_A_DB

Nuestra solicitud y respuesta se ve así:

root@MIP-USER55:~# cd overpass/
root@MIP-USER55:~/overpass# ./osm-3s_v0.7.56.7/bin/osm3s_query --db-dir=db
encoding remark: Please enter your query and terminate it with CTRL+D.
[out:json][timeout:25];
(
nwr["landuse"="forest"];
);
out count;
{
  ...,
  "elements": [

{
  "type": "count",
  "id": 0,
  "tags": {
    "nodes": "23",
    "ways": "19723",
    "relations": "4206",
    "total": "23952"
  }
}

  ]
}

Ya estamos cerca: solo queda dividir los parques por regiones y ciudades. Un Dispatcher que se ejecute por separado y en constante ejecución nos ayudará a hacer frente a esta tarea .



Lanzamos la API y agregamos Listen PORT en el directorio /etc/apache2/ports.conf .

echo "_ localhost" | sudo tee /etc/apache2/conf-available/_.conf && sudo a2enconf _

sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport  -j ACCEPT
sudo a2enmod cgi
sudo a2enmod ext_filter
sudo cp /etc/apache2/sites-available/000-default.conf /etc/apache2/sites-available/___.conf

Comprobando la configuración. Debe tener un aspecto como este.

<VirtualHost *:>
   ServerAdmin webmaster@localhost
   ExtFilterDefine gzip mode=output cmd=/bin/gzip

   DocumentRoot __OVERPASS_API/html

   ScriptAlias /api/ __OVERPASS_API/cgi-bin/

   <Directory "__OVERPASS_API">
      AllowOverride None
      Options Indexes FollowSymLinks
      Require all granted
   </Directory>

   <Directory "__OVERPASS_API/cgi-bin/">
      AllowOverride None
      Options +ExecCGI -MultiViews +SymLinksIfOwnerMatch
      Require all granted
   </Directory>

   ErrorLog ${APACHE_LOG_DIR}/error.log
   CustomLog ${APACHE_LOG_DIR}/access.log combined
</VirtualHost>

A continuación, encendemos el nuevo host y enviamos el antiguo a descansar.

sudo a2ensite .conf
sudo a2dissite 000-default.conf
sudo a2dissite __.conf
sudo service apache2 reload

Ahora es el momento de habilitar el primer Dispatcher que manejará nuestras solicitudes. Para hacer esto, usaremos el comando.

nohup __OVERPASS_API/bin/dispatcher --osm-base --db-dir=__DB --meta &

La primera señal de que todo salió según lo planeado es la creación del archivo

osm3s_OVERPASS_API_VERSION_osm_base en el directorio de la base de datos. El archivo nohup.out muestra un mensaje de estado Dispatcher - dispatcher acaba de comenzar .



Sin embargo, el trabajo no termina ahí: debe iniciar otro Dispatcher. Primero, copie la carpeta de reglas en el directorio con la base de datos y distribuya los derechos a las áreas de osm3s_OVERPASS_API_VERSION_areas resultantes .

nohup __OVERPASS_API/bin/dispatcher --areas --db-dir=__DB &

chmod 666 "../db/osm3s_OVERPASS_API__areas"
nohup __OVERPASS_API/bin/rules_loop.sh __DB &

Ahora podemos hacer una solicitud para la región y calcular el número de parques en Ryazan. Y por cierto, esto ya funciona en la barra de direcciones del navegador.

http://localhost:/api/interpreter?data=[output:json][timeout:25]; area[name=""]->.searchArea; ( nwr["leisure"="park"](area.searchArea); ); out count;

¡Respuesta tan esperada!

"elements": [

{
  "type": "count",
  "id": 0,
  "tags": {
    "nodes": "0",
    "ways": "57",
    "relations": "11",
    "areas": "0",
    "total": "68"
  }
}

  ]
}

Entonces, ahora podemos sumergirnos en temas de análisis y mejora: encontraremos la cantidad de parques, tiendas y botes de basura en 25 grandes ciudades del Distrito Federal Central y compararemos estos indicadores utilizando las herramientas analíticas de la plataforma ODANT .

ODANT es una plataforma de integración digital de fabricación rusa diseñada para construir sistemas de información de diversa complejidad y distribución. Lea más sobre ODANT aquí .

Así son nuestros parámetros de búsqueda de contenedores de basura: en el marco de la tarea, no distinguimos entre sitios de contenedores, contenedores de basura independientes y puntos de recolección de residuos sólidos.

nwr["amenity"="recycling"](area.searchArea);
nwr["amenity"="waste_disposal"](area.searchArea);
nwr["amenity"="waste_basket"](area.searchArea);

Exportamos la salida de ODANT como una tabla plana.







En esta clasificación, la ciudad de Vladimir ocupa la honorable primera línea: solo hay 234 personas para un lugar de acumulación de basura. Utilizando las herramientas ODANT integradas, creamos dos gráficos divertidos.











Pasemos al siguiente elemento: bancos.

nwr["amenity"="bench"](area.searchArea);

Obtenemos el siguiente resultado en forma de tabla.





Y nuevamente Vladimir resultó ser el más cómodo de todos los contendientes: no será posible colocar a 602 personas en un banco, pero en Mytishchi se está librando una lucha mucho más feroz por los lugares. Sin embargo, siempre puedes establecer un horario.



Visualizamos nuestros resultados.











Pasemos a la parte más interesante: calcular la superficie de los parques. Podemos usar varios métodos para resolver este problema, pero el código más abierto y maravilloso que encontramos es la biblioteca de folletos . En la consulta en sí, debe reemplazar out count con out geom, lo que nos dará las coordenadas de las regiones como resultado.

Leaflet es una biblioteca de JavaScript de código abierto para mostrar mapas en sitios web. Admite la mayoría de las plataformas móviles y de escritorio que admiten HTML5 y CSS3. Leaflet permite a un desarrollador no familiarizado con GIS mostrar fácilmente mapas ráster formados por pequeños mosaicos, posiblemente con capas adicionales superpuestas sobre la principal. Lea más sobre el folleto aquí .

Creemos un polígono.

const polygon = L.polygon().addTo(map);
const area = L.GeometryUtil.geodesicArea(polygon.getLatLngs());

Ahora el área contiene el área de la región en m2. Extraemos los datos de las ciudades que seleccionamos y obtenemos la siguiente tabla.





Según OSM, Zelenograd justifica plenamente su nombre: el 11% del área de la ciudad está ocupada por áreas verdes. Obtengamos la relación entre el número de residentes y el número de parques.





Presentemos los datos en forma de gráficos.











Y en la final, la calificación de las ciudades, calculada por los lugares ocupados.

Epílogo y conclusiones

Por decisión del panel de jueces compuesto por OpenStreetMap, Overpass API y ODANT,

Vladimir toma el honorable primer lugar y recibe el título de “El más verde del Distrito Federal Central”.



Cabe destacar el siguiente hecho: nuestra investigación se basó exclusivamente en datos reflejados en OSM. Naturalmente, en Mytishchi hay un par de cientos de bancos más, y en Tula hay muchos más lugares para la acumulación de desechos. Nuestros resultados se pueden ver desde el otro lado, por ejemplo, para evaluar la dinámica de agregar objetos de infraestructura urbana a la base de datos de OSM. Sin embargo, en promedio, las personas son "igualmente lentas" para ingresar datos en OSM, por lo que podemos suponer que los datos son relativamente confiables y vale la pena considerarlos.



Logramos resolver el problema y encontrar una forma efectiva de trabajar con objetos en mapas OSM: resultó ser una combinación de Overpass API y Leaflet. Con la ayuda de este conjunto de herramientas, podemos realizar consultas a la base de datos de OSM y recibir datos sobre la cantidad de objetos, calcular las áreas de áreas. Para la presentación y el análisis de datos, creamos una solución basada en web basada en ODANT que cubrió todas nuestras necesidades.



Hay una gran cantidad de industrias, negocios y economía a las que esta solución podría ayudar. Si tiene alguna idea o comentario, sería muy bueno discutirlo. Pasamos 28 horas limpias en la tarea, es posible que pueda hacerlo más rápido.



Desarrollador líder de frontend, Infostandard - Daniel Epifanov.

Editor, Infostandard - Nikita Morozov.