La red es la base de las aplicaciones distribuidas. Una aplicaci贸n distribuida tiene varios microservicios, cada uno de los cuales se ejecuta en un conjunto de pods, a menudo ubicados en diferentes nodos. Las 谩reas problem谩ticas en una aplicaci贸n distribuida pueden estar en el nivel de la red (flujo, registros de la red) o en el nivel de indisponibilidad de los recursos de la aplicaci贸n (m茅tricas) o indisponibilidad de los componentes (rastreo).
La conectividad en la capa de red puede verse influenciada por varios factores, como la configuraci贸n de enrutamiento, la agrupaci贸n de IP, las pol铆ticas de red, etc. Cuando el servicio A no puede comunicarse con el servicio B a trav茅s de la red, o una aplicaci贸n externa no puede conectarse al servicio A, los registros de la red se convierten en una fuente importante de datos para solucionar problemas de conectividad. Al igual que con una red tradicional, los registros de red permiten a los administradores de cl煤steres monitorear la red de microservicios de Kubernetes.
Los registros de red tienen varios casos de uso
Los registros de red se pueden utilizar para cumplir con los requisitos 煤nicos de diferentes equipos (DevOps, SecOps, Plataforma, Red). El valor de los registros de red de Kubernetes radica en la informaci贸n recopilada, como el contexto detallado sobre el punto final / punto final (por ejemplo, pods, etiquetas, espacios de nombres) y las pol铆ticas de red implementadas al configurar la conexi贸n. En un entorno de TI, los equipos de DevOps, SecOps, Network y Platform pueden aprovechar los registros de red para sus casos de uso, que son 煤tiles en su dominio de conocimiento. A continuaci贸n mostramos algunos ejemplos.
Generaci贸n de pol铆ticas y detecci贸n de amenazas con registros de flujo de datos en Calico Enterprise.
Calico Enterprise genera registros contextuales de transmisiones de red en cada conexi贸n al pod. El registro se guarda en un archivo en el nodo, que luego es procesado por el agente fluentd y enviado al destino configurado.
Como se muestra en el diagrama anterior, los registros se env铆an de forma predeterminada al motor Elasticsearch que se env铆a con Calico Enterprise. Puede configurar el reenv铆o de registros de transmisi贸n a su plataforma SOC. Le recomendamos que tenga una 煤nica plataforma para todas sus revistas. Los registros son una herramienta esencial de monitoreo y an谩lisis para un equipo de operaciones que ya tiene procesos bien definidos construidos en una plataforma de registro centralizada. Esto es importante para su planificaci贸n.
Caracter铆sticas del registro de flujo de datos
Los registros de transmisi贸n tienen una gran sobrecarga de almacenamiento. De forma predeterminada, Calico Enterprise solo almacena datos de los 煤ltimos siete d铆as. Esto permite a Calico Enterprise ofrecer funciones dise帽adas espec铆ficamente para simplificar el desarrollo de pol铆ticas y la resoluci贸n de problemas de conectividad casi en tiempo real.
- Las pautas sugeridas para la creaci贸n de pol铆ticas permiten a los desarrolladores generar autom谩ticamente pol铆ticas de red para proteger sus servicios.
- El flujo de trabajo para las pol铆ticas (recomendaci贸n, vista previa, pol铆ticas por fases) permite a los equipos de SecOps y DevOps crear pol铆ticas de manera eficiente e implementarlas de manera discreta
- La detecci贸n de amenazas permite a los equipos de SecOps rastrear cada flujo a una direcci贸n IP o dominio espec铆fico e identificar amenazas
El registro de flujo est谩ndar en Calico Enterprise contiene toda la informaci贸n contextual necesaria:
- Contexto de Kubernetes (sub, espacio de nombres, etiquetas, pol铆ticas)
- Direcci贸n IP del remitente para fuentes externas, si est谩 disponible a trav茅s de la entrada
- Start_time, end_time, action, bytes_in, bytes_out, dest_ip, dest_name, dest_name_aggr, dest_namespace, dest_port, dest_type, dest_labels, reporter, num_flows, num_flows_completed, num_flows_started, http_requests_alrequests source_in, packinname_proalpackinque source_namespace, source_port, source_type, source_labels, original_source_ips, num_original_source_ips
El registro de DNS se agrega para cada pod a lo largo del tiempo y contiene la siguiente informaci贸n:
- Start_time, end_time, type, count, client_ip, client_name, client_name_aggr, client_namespace, client_labels, qname, qtype, qclass, rcode, rrsets, servidores
Las entradas de registro est谩n disponibles en Kibana como 铆ndices de Elasticsearch. Tiene control total sobre los par谩metros de indexaci贸n, el tiempo de retenci贸n y el almacenamiento. Mantener la configuraci贸n predeterminada funciona bien para la mayor铆a de las implementaciones.
Reduzca los costos operativos optimizando el almacenamiento de registros de subprocesos
Calico Enterprise recopila varios registros (red / flujo, auditor铆a, DNS). Los registros de transmisi贸n son los m谩s costosos en t茅rminos de almacenamiento, ya que representan m谩s del 95% del almacenamiento total. A menudo, por cada nodo completamente cargado hay un flujo de 5000 por segundo. Con unos modestos 200 bytes por flujo, esto se convierte en 1 MB / s (megabyte). El requisito de almacenamiento diario para cada nodo es de 86 GB para registros de subprocesos. 隆Para un cl煤ster de 100 nodos, el requisito de registro de subprocesos diario se convierte en 8 TB +! Obviamente, esto no escala. Y lo que es m谩s importante, 驴realmente necesita almacenar esa cantidad de datos? Por lo general, el valor de los datos contenidos en los registros disminuye exponencialmente con el tiempo y solo es relevante para fines de resoluci贸n de problemas y cumplimiento.
Por esta raz贸n, Calico Enterprise tiene agregaci贸n por defecto, lo que reduce los requisitos de almacenamiento de registros de subprocesos en m谩s de 100 veces. Hacemos esto sin comprometer los datos (visibilidad, monitoreo, resoluci贸n de problemas) que nuestros clientes reciben de los registros de transmisi贸n. Los registros se agregan por puerto de destino durante un per铆odo de tiempo espec铆fico. De esta manera, no necesita preocuparse por el costo de almacenar registros de transmisi贸n cuando usa la configuraci贸n predeterminada en Calico Enterprise. Otra forma en que Calico Enterprise puede ayudarlo a reducir sus requisitos de almacenamiento es excluy茅ndolo. Puede personalizar f谩cilmente instalaciones o espacios de nombres espec铆ficos que se excluir谩n de la generaci贸n de registros de transmisi贸n.
驴Est谩 interesado en explorar los registros de subprocesos en profundidad?
Los registros de subprocesos est谩n habilitados de forma predeterminada. Consulte la siguiente documentaci贸n para obtener una configuraci贸n detallada: