Hay tres niveles de gestión de alojamiento VDS: estratégico, cuando eliges qué tipo de producto fabricas, qué hardware y de quién compras, y en qué centros de datos y en qué condiciones te levantas; de hecho, esta es la formación de el ADN del hosting. Hay uno operativo: esta es una rutina como "recuperar el rango de direcciones IP que Sony intentó bloquear", "nuevamente el hardware está atascado en el borde" o "el administrador está enfermo, a quién poner en el turno" , "un billete complicado de la tercera línea". Por ejemplo, a nivel de ADN, decidimos que es necesario sustituir el soporte por desarrollo (para que el cliente pueda decidir todo desde su cuenta personal), y a nivel táctico, ya determinamos cómo hacerlo.
y hay un nivel táctico intermedio, que es tratado por el director de operaciones. Esta no es una solución a un problema formalizado específico, pero tampoco es una estrategia global.
Lo primero que hay que ver es una imagen clara de todos los recursos disponibles. Para hacer esto, necesita conocer los parámetros de marketing y los parámetros del modelo financiero. Es decir, necesitas conocer el estado de las cuentas de hosting con una semana, un mes y seis meses de anticipación en base a los pagos que se planean y los gastos que se planean. Es decir, necesita conocer el porcentaje de fallas y reparaciones de hardware, pagos a empleados, predecir la afluencia y salida de clientes, etc. En segundo lugar, debe administrar el desarrollo, es decir, elegir las funciones que se implementarán y encontrar tiempo para la refactorización.
Así que bienvenido a la columna "Hoster finalmente escribe sobre alojamiento en su blog corporativo" ...
Un mal director de operaciones comienza a recopilar datos para la toma de decisiones. Uno bueno ya tiene estos datos. Tomamos todas las decisiones muy rápido, porque somos geeks de la automatización y la autogeneración de informes. Cada vez que necesitamos algún indicador, no lo obtenemos a mano, sino que escribimos un script que corta informes sobre él o agrega el indicador a un informe existente. Tener información sobre todo en una empresa es una de las cosas más importantes en la gestión empresarial.
▍ Limpieza IP
Las direcciones IP se le dan al cliente de una vez por todas estáticas. Por cierto, esta es la razón por la que las tarifas promocionales de 30 rublos (cuando están disponibles) son populares: también hay una dirección IP en el paquete y el costo de la tarifa es más bajo que un servicio separado para asignar esta dirección. Pero al mismo tiempo, si un cliente en algún lugar "ensucia" su dirección, no la cambiamos con un chasquido de nuestros dedos. Por lo tanto, surgen preguntas con regularidad:
- Qué hacer si un cliente tiene una queja.
- Qué hacer si la dirección IP alquilada pertenecía anteriormente a un spammer o similar.
El bloqueo puede ser de diferente naturaleza. Lo primero que encuentra un hoster es Spamhouse. Básicamente, esta organización debería luchar contra el spam en todo el mundo. Pero formalmente, monitorea de forma independiente a los spammers, botnets y en general todo lo que está prohibido y que puede ser detectado automáticamente por algoritmos no muy complejos. Su función principal es que si ven spam de alguna dirección o descubren que un ataque DDoS proviene de alguna dirección, lo bloquean. Pero el bloqueo no ocurre de inmediato. Primero, envían un aviso a la empresa propietaria de las direcciones. Se trata de grandes empresas que compran direcciones IP.
No los compran para sí mismos, sino para arrendarlos a empresas más pequeñas. Alquilamos nuestras agrupaciones de direcciones de dichas empresas. Como resultado, la denuncia nos llega hasta nosotros. La carta proviene de un inquilino de un segmento grande, y debemos escribir a Spamhouse que se han tomado medidas. La casa de spam rara vez se equivoca, por lo que las "medidas" suelen ser para ordenar y bloquear. Por cierto, según sus cartas, actualizamos periódicamente la lista de software prohibido en el contrato para que no haya dudas en absoluto. Mantenemos la lista de software prohibido en secreto para que sea más difícil pasarlo por alto.
Si obtenemos una dirección que ya está en la base de datos de Spamhouse, generalmente después de una carta dentro de las 24 horas, se excluye de allí. Pero en el último contrato de arrendamiento, por ejemplo, había una subred en la lista negra, que hemos estado comprando durante casi una semana. Si tal dirección llega al cliente, entonces no todo funcionará bien para él en Internet. Es decir, no se cortará, pero al menos desaparecerán diferentes heisenbugs.
El segundo jugador clave en la jurisdicción rusa es Roskomnadzor. Pero meterse en sus candados en la práctica es una rareza. Se recibe una notificación de que tal o cual actividad maliciosa se encuentra en tal o cual dirección. Debemos enviar esta notificación a la persona que realiza esta actividad. Hay 24 horas para despejar. Además, el propietario elimina la infracción o el RKN envía su dirección a la lista negra. El principio de la lista negra ha cambiado varias veces, pero siempre es de una forma u otra el envío de direcciones a todos los operadores de telecomunicaciones en modo automático. Es simplemente un conjunto de direcciones que se cargan en el equipo de conmutación en forma de reglas. Fue este sistema el que se convirtió en la "campaña publicitaria" improvisada más grande para el uso de VPN en Rusia en ese momento.
Si un cliente no responde a RKN y no detiene la actividad maliciosa), bloqueamos dicho cliente de nuestro lado. Pero en la práctica, no hubo un solo caso de bloqueo: el cliente siempre hizo todo bien. Hubo un caso en el que obtuvimos una dirección de arrendamiento con el bloqueo ya aplicado (generalmente el inquilino de las direcciones borra sus subredes antes de transferirlas a otro cliente), tuvimos que escribir una carta sobre el arrendamiento en RKN con el significado "hay no hay tal actividad allí, eliminar ”. Eliminado bastante rápido.
▍ Aspectos de desarrollo
Estamos tratando de reemplazar el apoyo con el desarrollo. La primera línea de soporte, de hecho, actúa como un script: lee los tickets, los analiza y los envía a la segunda línea, o hace algo que podría hacerse mediante la automatización. Al principio del hosting, cuando acabamos de agregar a nuestra cuenta personal la capacidad de cambiar rápidamente los parámetros de la máquina (disco, memoria, parada-inicio), esto alivió enormemente el soporte. Ahora queremos deshacernos de él por completo haciendo que los problemas técnicos se resuelvan mediante botones en la cuenta personal.
Estamos hablando de la primera línea. Los tickets complejos y los relacionados con la organización y las relaciones con los clientes ciertamente permanecerán.
Con base en este modelo, consideramos el desarrollo como un medio de desarrollo de hosting (nuevas funcionalidades) y un medio de descarga de soporte (cada vez más automatización). Ambas funciones son críticas para el negocio, es decir, requieren un mínimo de pérdidas de comunicación. Por lo tanto, tenemos una jerarquía plana en desarrollo. No hay líderes de equipo, no hay "líderes de celda" como "Soy un senior, pasando dos intermedios y un junior", no hay funciones gerenciales en desarrollo. Las funciones de administración son asumidas directamente por el administrador de hospedaje. Está claro que con un crecimiento múltiple, lo más probable es que se necesite un CTO dedicado, pero por ahora, en cualquier caso, la condición técnica de toda la empresa debe ser la función del director: esto es fundamental para la eficiencia.
▍ Algunas palabras sobre marketing
El alojamiento no es nuestro primer negocio. Puedo decir que en marketing, la principal diferencia entre el hosting y otras empresas de servicios es que los especialistas en TI compran de forma racional. En el sentido de que los mecanismos publicitarios tradicionales no funcionan, se incluyen criterios completamente diferentes para evaluar "precio - calidad", la gente comprende la importancia de la estabilidad y el apoyo. Como resultado, muchos tienen su alojamiento favorito y es bastante difícil "trasplantar" un especialista en TI a uno nuevo (el nuestro). Este "funciona, no tocar" crea un conservadurismo tan saludable. Sí, nuestros clientes no son solo especialistas en TI (especialmente en los últimos años), sino que de muchas maneras seguimos vendiendo a personas racionales.
▍ Aspectos de la administración del sistema
Al principio, teníamos líderes de equipo entre administradores, ya que muchas operaciones tenían que realizarse manualmente. Con la automatización del alojamiento, la necesidad de esto comenzó a desaparecer gradualmente y se formó la misma red peer-to-peer que en el caso del desarrollo. Luego resultó que cada vez que los desarrolladores hacen algo para la automatización interna, se liberan pocos recursos para los administradores, es decir, se les hace más fácil vivir en general. Como resultado del desarrollo de este fenómeno, el departamento de desarrollo se convirtió en el jefe del departamento de administración. Y automatizaron la mayoría de las funciones del administrador.
Esto dio una cosa más importante: los administradores ordinarios ahora no tienen acceso directo al hardware, pero trabajan a través de nuestro panel de control interno. Esto también hizo posible resolver muchos problemas de seguridad. Como dije, no estamos interesados en qué sistema operativo invitado está instalado en la máquina y no vemos qué hay allí. Dado que no necesitábamos incidentes con errores o fugas, nos encargamos de registrar todas las acciones de los administradores y realizar comprobaciones automáticas de su idoneidad e informes al respecto. Bueno, sobre la diferenciación de derechos, claro. Hace varios años, una de las vulnerabilidades tradicionales del alojamiento, en la que los administradores humanos tenían acceso sin restricciones a las máquinas host, desapareció.
Nunca nos gustó la capacidad muy técnica de acceder a los datos del usuario y, a pesar de que es un estándar del mercado y es un hecho, lo dejamos. Para obtener acceso a una máquina host en particular, el administrador solicita una contraseña al sistema. Existen varias restricciones: por ejemplo, la cantidad de automóviles durante un período de tiempo, acciones con estas máquinas, etc. Minimizamos las acciones a través de la consola (de hecho, esto seguía siendo prerrogativa de los desarrolladores) y aseguramos los procesos comerciales contra el acceso no autorizado de los empleados.
Como resultado, los administradores calificados se enfocan en problemas de hardware e infraestructura, mientras que las funciones de administración son, de hecho, realizadas por el soporte. Además, el mismo soporte, que está siendo reemplazado gradualmente por scripts.
El resultado de este enfoque es que obtenemos importantes ahorros en la cantidad de personas necesarias en el centro de datos, lo que nos permite mantener los precios bajos y, al mismo tiempo, mejorar la calidad del alojamiento. Es decir, no estamos en el segmento más bajo del mercado, pero hemos tocado a tientas el nivel donde el indicador "precio - calidad" es muy popular entre los clientes.
Además, en los planes de tarifas más baratos, no proporcionamos parte del soporte administrativo (por ejemplo, no instalamos Apache, pero proporcionamos un enlace al mercado interno con él e instrucciones), y en proyectos costosos ya podemos proporcionar información personal. apoyo. Como regla general, en tal situación, el cliente ya comprende perfectamente lo que está haciendo, y las dos últimas veces necesitó que el administrador seleccionara ubicaciones, hardware y configuraciones para la tarea, y luego para realizar pruebas. Pero de todos modos, todos los meses nos llama un cliente chino, que escribe un ticket en ruso roto sobre el hecho de que no inicia alguna aplicación china.
▍ Gestionar personas
Cualquier gran sistema de TI trata de gestionar el caos con riesgos difusos. No hay un solo elemento completamente confiable en los sistemas; tarde o temprano todos fallan. El ejemplo más sorprendente son los componentes que deben reemplazarse regularmente sin tiempo de inactividad. Pero al mismo tiempo, el sistema en sí puede seguir siendo bastante confiable en su conjunto, si existen mecanismos de autocuración y redundancia. Quizás diré algo sedicioso, pero desde el punto de vista de la gestión, las personas también se relacionan con los puntos de falla y, en consecuencia, requieren redundancia.
Y esto requiere un rediseño de la arquitectura de departamentos y el enfoque de la contratación en general. Hace un tiempo buscábamos personas universales que pudieran resolver cualquier problema de hosting con una sola mano. Pero desde el punto de vista del apoyo empresarial, esto no es cierto. Era difícil cuando una persona estaba enferma, se iba de vacaciones. Era imposible sin él. Especialmente en términos de soporte y administración. Contratamos a un trabajador por turnos adicional, que normalmente trabaja en modo 5/2, y cuando alguien está de vacaciones o se va, cambia temporalmente a un horario de turnos. Como resultado, en cada departamento siempre tenemos una persona más de la necesaria, o estas funciones de la “persona adicional” se distribuyen entre varias otras personas. Si alguien se enferma, no se detendrá ni un solo proceso ni una sola tarea. Quizás bajen de velocidad, pero no se detendrán. Suena un poco extraño en la empresaque trabaja en el segmento de precios más bajos, pero contamos largos períodos y resultó que los especialistas redundantes cuestan en su conjunto (en un efecto sistémico para la empresa) más barato que su ausencia.
¿Qué hacer con puestos que requieren personas muy inusuales? Por ejemplo, ¿qué hacer con un ejecutivo de marketing? Aquí también nos quemamos un par de veces. Al principio, pensamos que debíamos contratar a una persona de un campo similar, idealmente con experiencia en promoción de hosting. En principio, el enfoque es razonable. No será necesario que la persona conozca el tema. Él ve lo que hay que hacer. Quizás ya tenga algún tipo de experiencia, que pueda multiplicar por la nuestra y obtener algo más al final. Todo terminó tristemente, ya que no tomamos en cuenta que si una persona acude a la competencia, entonces ya está copiando nuestros procesos comerciales allí. Como resultado, llegamos a la conclusión de que dividimos todas las tareas creativas en la misma automatización que para la administración. Es decir, cada proceso empresarial debe describirse y cubrirse al menos con instrucciones, y mejor aún, con instrucciones,ejemplos y herramientas sobre cómo trabajar con él. El punto es que todo lo que funciona debe ser recogido casi sin problemas por otra persona.
Suena como un intento de deshacerse de la indispensabilidad de los empleados y convertir todo en un trabajo de anidamiento cuadrado, pero de hecho, se logra un efecto diferente. Está claro que un buen especialista solo puede ser reemplazado por otro buen especialista y, al mismo tiempo, se perderá parte de las competencias de la empresa en su conjunto y aparecerán algunas nuevas. Pero la parte más importante es no dejar que nadie se empantane en una rutina. La rutina es para robots. Si más de la mitad de tu tiempo de trabajo está ocupado por algo que ya has hecho, o algo que, en principio, se puede automatizar o delegar en alguien con menos tiempo de trabajo, entonces esto es un fastidio para la empresa. Para crecer, debe hacer cosas que den el máximo efecto, y para esto, debe deshacerse constantemente de la rutina, primero al nivel de subordinación a continuación y luego a la automatización.
Por lo tanto, por cierto, tenemos una rotación muy baja. Quizás porque no hay inmersión en la rutina y hay un progreso constante.
▍ Selección de especialistas
Los sueldos en TI son una función en constante crecimiento. Los salarios son muy altos y probablemente ahora estén en su nivel máximo durante toda la existencia de la industria. Ahora imagina la situación: tienes un desarrollador en tu equipo que obtiene 100 mapaches muertos condicionales. Estos 100 mapaches son recibidos por un desarrollador de otra empresa. Este es el estándar del mercado. Para atraer a un desarrollador de otra empresa, debe ofrecerle mejores condiciones. Como resultado, serán 110 mapaches y algunos bollos intangibles o, condicionalmente, 120 mapaches. El proceso se repite varias iteraciones, y ahora obtenemos la igualación de salarios de acuerdo con la necesidad del mercado de nuevas personas y las expectativas de las empresas más ricas. Este es el proceso normal de equilibrar la oferta y la demanda.
Hemos estado utilizando los servicios de agencias de recursos humanos durante mucho tiempo. Pagaron regalías por la selección de personal. ¡Quien no hayamos elegido! Se ha vuelto muy caro en los últimos años y todavía te pones un cerdo en un empujón. Y en general, estamos satisfechos con el nivel de los sueldos del mercado, solo queremos encontrar una persona que se quede en la empresa por más de un año y al mismo tiempo sin brechas fundamentales en la educación. Es caro volver a capacitar a una persona durante uno o dos meses para que se vaya en un año.
Como resultado, llegamos a la conclusión de que es mucho más práctico formar a nuestros propios especialistas que ya están familiarizados con el hosting. Por ejemplo, un estudiante de una universidad técnica se acerca a los administradores. Si hay un deseo, lo llevamos a una pasantía en desarrollo. Sí, crece durante dos años, pero luego resulta una persona que entiende claramente qué y cómo funciona. Conoce todos los problemas de alojamiento. Entonces, cuidado con las manos: por el mismo salario de mercado, obtenemos una persona que tiene muchas menos probabilidades de cambiar de trabajo (ya que no tiene incentivos para hacerlo) y que comprende el producto mucho más profundamente.
Otro principio nuestro es no llevar personas a altos cargos sin hacer un examen o prácticas en puestos más simples.
También contamos con gestión colegiada. Hay empresas que han establecido reglas de gobierno totalitarias. Son muy efectivos en crisis, muy efectivos hasta que hay hasta 50 personas en ellas, pero luego comienzan a perder personas y eficiencia del mercado. Luego se elige una estructura con jefes de departamento fuertes o se introduce algún tipo de proceso democrático. Contamos con gestión colegiada. Como persona que es buena para convertir pequeños proyectos en grandes, me enfurece en algunos lugares puramente emocionalmente, pero este es un buen modelo de negocio.
Por ejemplo, tengo un entendimiento del mercado de que necesitamos alguna característica nueva. No puedo entrar en desarrollo y decir: "Lo hacemos así". Necesito vender esta idea a mis colegas. Es molesto, de hecho, el momento en que usted mismo comprende desde el principio que esto debe hacerse, pero aún necesita explicar a los demás por qué debe hacerse. Y esta es una prueba de la capacidad de explicar: puede resultar que la falla ocurrió exactamente allí. Sin embargo, si no lo hace, no habrá una situación saludable en el equipo.
Cuando seamos de 100 a 150, está claro que estos principios serán irrelevantes, pero ahora lo son.
▍ Aspectos del suministro de equipos
El suministro de equipos está bien automatizado y cubierto por procesos típicos, pero solo hasta cierto límite. Entonces, todo esto comienza a fallar en pedidos específicos, y cada entrega aún debe monitorearse manualmente.
El principio general es el siguiente: ordenamos equipos en Moscú a la oficina y los entregamos a MSK-IX, Ostankino y Korolev después de una breve configuración. También se encargan equipos para Rusia a Moscú. Lo preparamos con anticipación; en los centros de datos de terminales, solo necesita enchufarlo al rack, a la red y a la fuente de alimentación. DHL o CDEK realizan la entrega al centro de datos mediante cargadores especialmente capacitados. Sucede que un proveedor o distribuidor por sí solo envía inmediatamente el equipo a la Federación de Rusia y los documentos a nosotros. En cualquier caso, la configuración final se realiza desde la oficina cuando la pieza de hierro ha entrado en nuestro bucle de administración.
En Europa, ahora compramos en Amsterdam y transportamos a todos los países desde allí. No siempre es beneficioso y no siempre rápido a primera vista, pero resultó que así es como se logra el mejor efecto sistémico. En primer lugar, una vez que encontramos precios mucho más bajos en la Federación de Rusia y queríamos llevar un servidor específico al otro lado de la frontera, porque incluso teniendo en cuenta las operaciones aduaneras, resultó mucho más rápido y rentable. Resultó que no todo es tan simple: para exportar hierro, debe obtener el permiso del FSB. Para hacer esto, recurrimos a los logísticos. Cometieron errores en el diseño (bueno, o decidieron tomar un poco de todo, ahora no entienden). En cualquier caso, las fuerzas especiales rodearon el automóvil justo en la frontera y colocaron al conductor boca abajo en el piso. Porque no se puede sacar el equipo del servidor sin notificar al FSB. Y ellos, aparentemente, no informaron. El servidor mintió durante un año como prueba material,luego tuvimos que pagar una multa equivalente al costo del servidor en la declaración. Desde entonces, nos hemos dado cuenta de que no debe mover sus servidores de un lado a otro. Compramos en Europa a toda costa.
Dentro de Europa, casi no hay preguntas de entrega: servidores a Frankfurt, Zurich, Londres, etc., viajes desde Amsterdam. “Casi” es Suiza, hay una zona aduanera diferente. Si de Ámsterdam a Fráncfort la entrega va de una región a otra, Suiza necesita un agente de aduanas independiente. Primero, reembolsa el impuesto a la exportación, luego pagamos otro IVA en Suiza. Pero este "devuelto-dado" tarda aproximadamente un mes. Tuvimos un momento en que los servidores en Europa estaban instalados y llenados, y los suizos todavía iban al centro de datos. Pero sigue siendo más barato comprar en un solo punto.
▍ En general
Si sabe gestionar la selección de personas, conoce todos sus recursos y comprende exactamente cómo implementar la estrategia de la empresa, esta es la gestión operativa ideal. Obviamente, en el mundo real, todo ni siquiera está cerca. En cierto estado ideal, hay instrucciones para todo, todo es claro y predecible, la rutina está automatizada. Pero muchas cosas deben hacerse a mano antes de describir los procesos. Recuerdo cómo manejé el hardware yo mismo, cómo mantuvimos correspondencia sobre la primera limpieza de direcciones IP, cómo fuimos a las primeras negociaciones (y luego, después de un par de años, las negociaciones se abolieron por completo), y luego no estaba absolutamente claro que era necesario ir exactamente al estado actual de la empresa. Entonces hay otra pregunta importante, qué estás haciendo exactamente y cómo, es decir, el nivel estratégico. No habrá táctica sin un buen gol.
