¡Atención, empiezo sin overclocking!
Puerta trasera al patio
Nuestro cuarto de servicio en la planta baja tenía ventanas tan grandes, desde el sótano y casi hasta el techo. Salieron al estacionamiento de servicio, de donde partían por la mañana todo tipo de parquímetros y otros trabajadores de campo. El estacionamiento estaba ubicado a una distancia suficiente del frente y de todas las entradas de servicio, e incluso detrás de dos barreras.
Una mañana, los coches de la policía se acercan al edificio, los policías se paran en todos los controles e inspeccionan a todos los que se van. Llega una alerta a la lista de correo del servicio: de repente (realmente de repente, no como de costumbre) apareció una verificación del software con licencia, inspeccionarán las estaciones de trabajo. ¡Cualquiera que tenga algo pirata en su computadora debe demolerlo!
Por supuesto, todo lo relacionado con los sistemas operativos, el software de oficina y de utilidad se licenciaba principalmente. Pero no todo, no siempre ni en todas partes; y lo que los empleados se instruyeron sobre las computadoras portátiles de oficina es una historia completamente oscura. Me apresuré a revisar los autos en mi área de responsabilidad por piratería, demoliendo rápidamente algo ...
... Y en ese momento, los ingenieros comenzaron a ingresar al cuarto de servicio con paso apresurado y nervioso, con laptops e ingenieros de sistemas en sus brazos. Entran por la puerta y se van, riéndose de lo absurdo de la situación, por la ventana: bloquearon todos los controles, pero los demonios de la ley y el orden no pensaron en esa puerta trasera. Entonces, mientras el departamento de contabilidad verificaba (donde todo era ejemplar), los empleados sacaron todo.
El pasado esta ahí
Si estás interesado y no has cerrado la pestaña, aquí tienes una exposición de lo que está sucediendo en el tiempo, el espacio y las personas. Soy una hermosa joven, verde como una hoja de acedera, un graduado de TI que consiguió un trabajo como ingeniero de servicio en el Samara Megafon (que entonces también era la región MSS Volga). Para mí, este fue el primer contacto real con Technics con mayúscula y Technicians con una aún más grande: siendo el diablillo más joven en esta cocina infernal, observé con deleite el trabajo de ingenieros
Si alguno de los personajes mencionados aquí se reconoce repentinamente, ¡hola!
Funciona, no toque (pero toque si no lo hace)
Una de las supertecnologías mencionadas anteriormente fue Misha Basov. A lo largo de los años en Mega, he escuchado muchas cosas buenas e interesantes sobre él en el espíritu de que estaba casi en el origen y lanzó un montón de procesos. No logré comunicarme con él correctamente: literalmente nos conocimos en el departamento de personal, cuando traje los documentos y él se los llevó.
Uno de los sistemas de seguimiento con los que trabajamos fue escrito por Misha. Realmente no recuerdo qué se monitoreó allí, pero sé que Misha escribió una solución temporal, que rápidamente se convirtió en permanente. Y es bueno: mucho de lo que los verdaderos expertos en tecnología hacen para sus propias necesidades a toda prisa, resulta bien. Ese monitoreo también se adaptaba a todos, trabajando sin ningún soporte ni mantenimiento, sin embargo, nadie sabía cómo.
Un par de años después del despido de Misha, el monitoreo comenzó a mostrar una página en blanco.
Inmediatamente hice sonar la alarma. El líder de turno dio la alarma. El jefe de sector dio la alarma.
El jefe del departamento dio la alarma. El jefe del servicio dio la alarma. El jefe del departamento hizo sonar las campanas. La llamada fue escuchada por el director de TI de toda la región del Volga, convocando inmediatamente una reunión. Allí llamó al jefe del departamento. Este último ladró al jefe del servicio. Él, sin comprender la esencia del problema, llamó al jefe del departamento. Éste, sin entender lo ocurrido, llamó al jefe del sector, quien llamó al supervisor de turno. Bueno, me dirigió la flecha.
Habiendo cambiado de alguna manera del deber, fui a esta reunión. Se dijeron muchas palabras, se llamó al responsable del seguimiento (no escuchamos nada inteligible), se recordó que el seguimiento Basov escribió que el seguimiento es muy importante, pero que nadie entiende y no sabe cómo funciona ... Todo se redujo al hecho de que se debe eliminar un sistema incomprensible y que no funciona y, en su lugar, se debe implementar una solución probada de un proveedor confiable.
Mientras se decía todo esto, le pedí a alguien una computadora portátil y acceso SSH a ese servidor. Fue interesante para mí ver qué tipo de sistema súper genial escribió el legendario Basov.
Entro, en primer lugar por costumbre escribo:
df -hEl comando me responde algo como:
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% /Limpio el / var / log que se ha desbordado a lo largo de los años, actualizo el monitoreo, todo funciona. ¡Reparado!
La reunión se detiene, se arruga, todos se van. En el camino, el jefe del departamento se regocija y me promete una bonificación!
... En lugar de una bonificación, recibí un castigo mental por el hecho de que accidentalmente interrumpí una reversión para solicitar un sistema de monitoreo a un proveedor de confianza.
Donde viven las casas
Una de las funciones de los ingenieros de guardia era controlar las llaves electrónicas para acceder a las salas de informática. Los pasillos en sí me impresionaron mucho: filas de racks abarrotados de servidores y equipos de conmutación, líneas de fibra óptica y cables cruzados (en algún lugar, perfectamente colocados, en algún lugar, convertidos en una increíble masa de espaguetis), el constante zumbido de aires acondicionados y falsos pisos, debajo que era tan conveniente para enfriar bebidas ... Las entradas a los pasillos estaban selladas con puertas pesadas presurizadas diseñadas para proporcionar un bloqueo automático en caso de incendio. La entrada y salida se registraron estrictamente contra firma para que se supiera quién estaba adentro y por qué.
Sobre todo en estos pasillos me gustaron, por supuesto, los gabinetes de servidores de las "súper casas": dos HP SuperDome 9000, que aseguraron el trabajo de facturación. Dos nodos idénticos, uno siempre ha sido un nodo de combate y el otro un hot standby sincrónico. La diferencia entre ellos estaba solo en las direcciones IP, una era xxx45, la otra era xxx46. Todos los ingenieros conocían estas dos direcciones IP, porque si algo sucedía en el sistema de facturación, lo primero que hay que hacer es ver si las supercasa son visibles. Invisibilidad de las supercasas - akhtung.
Una mañana ocurre un Achtung similar. En dos segundos, todos los servicios desaparecen en ambos servidores, la facturación se reduce a nada. Verificamos rápidamente los servidores: responden, ¡pero realmente no hay nada en ellos!
Ni siquiera tenemos tiempo de iniciar el conjunto de compases, cuando escuchamos un fuerte grito "¡ MATAR, ESTUDIANTE!"; el archiadmin de todos los servidores entra en la sala de servicio, arranca la llave electrónica de la sala de turbinas del estante y se ejecuta allí.
Muy rápidamente después de eso, el monitoreo vuelve a la normalidad.
Esto es lo que sucedió: un nuevo empleado del contratista, que configuró un paquete de nuevas máquinas virtuales, les escribió direcciones IP estáticas secuenciales con bolígrafos, de xxx1 a xxx100. El "estudiante" no conocía las direcciones sagradas de los intocables, y nunca se les ocurrió a los veteranos que alguien pudiera invadirlas así.
Servicio "Antispam"
¡Guau, turnos de noche! Los amaba y los odiaba, porque era 50/50: o trabajo planificado en el equipo, en el que tomas parte activa, ayudando al ingeniero con la cabeza adormecida y manos temblorosas, o el silencio con tranquilidad. Los suscriptores están durmiendo, el equipo está funcionando, nada se rompe, el asistente está relajado.
El reloj va según el plan.
Una vez que esa calma de medianoche se ve perturbada por una llamada al teléfono de la oficina: hola, están preocupados por Sberbank, su tarjeta SIM ha dejado de funcionar con nosotros, con lo que se envían nuestras notificaciones.
Después de todo, fue hace mucho tiempo, incluso antes de la introducción de conexiones IP a la puerta de enlace SMS. Por lo tanto, para que Sberbank enviara SMS desde su famoso número 900, tomaron la tarjeta SIM proporcionada (probablemente, ni siquiera una), la pegaron en un módem GSM y así funcionaron.
Bien, acepté el problema y comencé a investigar. En primer lugar, verifico el estado de la tarjeta SIM en la facturación, está bloqueada. Qué diablos, junto a la inscripción roja "NO BLOQUEAR" y un enlace a la orden del archidemonio general. Wow eso es interesante.
Verifico el motivo del bloqueo, hago de mis cejas una casa y viajo a la siguiente oficina, donde una chica del departamento de fraudes está mirando el monitor.
"Helen", le digo, "¿por qué bloqueaste Sberbank?"
Ella está confundida: dicen que llegó una denuncia de que hay spam del número 900. Bueno, lo bloqueé, en la mañana lo habríamos descubierto.
Y usted dice: ¡se ignoran las quejas de los suscriptores!
Simka se volvió loco, por supuesto.
Una historia muy aterradora
Cuando conseguí un trabajo por primera vez, a mí y a otros recién llegados nos dieron una especie de recorrido turístico. Se mostró el equipo: servidores, conductos, inversores, extinción de incendios. Mostraron la estación base, que se encontraba en una de las salas de prueba, y explicaron que aunque los transmisores estaban encendidos a la potencia mínima, era mejor no entrar por la puerta blindada en este momento. Explicaron sobre el dispositivo de la red móvil, sobre la energía principal y de respaldo, sobre la tolerancia a fallas y sobre el hecho de que la red está diseñada para funcionar incluso después de un bombardeo atómico. No sé si fue dicho por un eslogan, o cierto, pero se depositó en mi cabeza.
Y de hecho: no importa lo que akhtung ocurra a veces localmente, la red de voz del Volga siempre ha funcionado continuamente. No soy un operador de comunicaciones, pero soy consciente de que el equipo (tanto estaciones base como terminales de cliente) está diseñado para la máxima supervivencia de la "voz". ¿Está desconectada la fuente de alimentación de la BS? Reducirá la energía, cambiará a generadores / baterías diesel, apagará la transmisión del tráfico de paquetes, pero la voz desaparecerá. ¿Cortar el cable? La base cambiará al canal de radio, que es suficiente para la voz. ¿Perdiste tu teléfono BS? Aumentará la potencia y sentirá el éter hasta que se enganche en la torre (o hasta que suelte la batería). Etc.
Pero un día una luz parpadeó en la oficina y los generadores diesel traquetearon en la calle. Todos se apresuraron a volver a verificar su hardware: no sucedió nada crítico en la parte de TI, pero se escuchó una "mierda" de desconcierto en el monitoreo de BS. Y luego: "chicos, tenemos TODAS las bases establecidas, verifiquen la conexión".
Sacamos teléfonos móviles, no hay señal.
Probar la telefonía IP: no hay salida para la comunicación móvil.
No hay red. En general. En ninguna parte.
Recordando las palabras sobre el bombardeo atómico, inconscientemente esperé unos segundos a que la onda de choque nos golpeara; por alguna razón, no pensé en otra razón para la pérdida de la red. Fue aterrador y curioso al mismo tiempo: de alguna manera entendí que no tendría tiempo para hacer nada. El resto de los chicos también se sorprendieron, nadie podía entender nada.
No hubo onda expansiva. Después de una descarga de cinco segundos, se apresuraron al teléfono de la red de la ciudad disponible para tal caso y comenzaron a llamar a las oficinas regionales. La red de la ciudad, afortunadamente, funcionó, pero en las regiones se confirmó: toda Samara está "muerta", ni ping de hardware, ni marcación.
Cinco minutos más tarde, uno de los ingenieros de energía trajo la noticia: hubo una explosión en algún lugar de una planta de energía, al menos toda Samara estaba sin energía, y posiblemente la región. Exhaló; y cuando hubo un interruptor para reservar energía, incluso inhalaron.
Otra historia aterradora (pero un poco tonta)
La cagada más grande en mi memoria ocurrió durante la siguiente línea recta con ahora cero. En ese momento, estaban introduciendo un truco con el envío de preguntas por SMS, por lo que se prepararon para un aumento en la carga en la red con anticipación: todo se volvió a verificar y se preparó, y una semana antes del día X, se prohibió cualquier trabajo, excepto los de emergencia. Se utiliza un protocolo similar en todos los casos en los que se espera un aumento de la carga, por ejemplo, en vacaciones. Y para los ingenieros de turno es como un día libre, porque cuando no se toca el equipo no le puede pasar nada, y aunque lo haga, todos los especialistas, por si acaso, se sientan en la oficina con anticipación.
En general, nos sentamos, escuchamos al líder nacional y no nos preocupamos por nada.
Desde el lado de los conmutadores, se escucha un silencioso "F *** t".
Me miro a mí mismo, realmente "f *** s": la red del campus se cayó.
En un segundo, todo muere en absoluto (entonces todavía no había ningún meme sobre Natasha y los gatos, pero hubiera sido útil). El segmento de usuarios de la red desaparece, el tecnológico desaparece. Con creciente horror, estamos tratando de verificar lo que queda en funcionamiento, y después de verificar, buscamos el gabinete detrás de una botella escondida de brandy medicinal: solo quedan llamadas de voz (como dije, ¡son tenaces!), Todo lo demás está muerto. No hay Internet, ni GPRS de suscriptor, ni óptica, que se asigna a varios subproveedores. No se envían SMS. ¡Culo! Llamamos a las regiones, tienen una red, pero no ven Samara.
En media hora, el fin del mundo se volvió casi materialmente tangible. Diez millones de personas que de repente rompieron todo y que no pueden comunicarse con el centro de llamadas, porque los terminales de voz en el centro de llamadas funcionan a través de VOIP.
¡Y esto durante el discurso del gobernante más oscuro! ¡Otra victoria del Departamento de Estado y de Obama personalmente!
Los técnicos en servicio explotaron desde un comienzo bajo y funcionaron con mucha claridad: en una hora, la red cobró vida.
Tal vuelo no es a nivel regional, ni siquiera a nivel regional, esto debe ser informado a Moscú con todos los detalles y la extradición de los responsables. Por tanto, a quienes intervinieron en la investigación se les prohibió decir la verdad so pena de despido, y para el GO redactaron un informe lleno de agua y niebla, según el cual de alguna manera resultó que "es él mismo, nadie tiene la culpa".
Lo que sucedió en realidad: uno de los jefes tenía los plazos para las implementaciones y las bonificaciones para ellas se rompieron. Y el jefe del jefe fue desgajado, y así sucesivamente; por lo tanto, presionaron a uno de los nuevos ingenieros y le ordenaron que hiciera las conexiones de red necesarias "mientras todo está en silencio". El ingeniero no se atrevió a objetar, o al menos a exigir una orden por escrito: este fue su primer error. El segundo: cometió un error al configurar de forma remota el tsiska, alcanzando resultados récord en el fakap en el menor tiempo posible.
Hasta donde yo sé, nadie fue castigado.
La fiesta nos llega
Las vacaciones, como mencioné, siempre han sido días especiales para nosotros. En esos días, la carga en la red aumenta drásticamente, el número de llamadas de felicitación y SMS se sale de escala. No sé cómo es ahora, con el desarrollo de la comunicación por Internet, pero luego, solo en Año Nuevo, los opsos lanzaron una espuma muy significativa en las llamadas de saludo.
Por lo tanto, en la víspera de Año Nuevo, los ingenieros de todas las divisiones estaban de servicio en la oficina (y fuera de la oficina había equipos listos para atravesar los ventisqueros para eliminar el accidente en la estación base en el pueblo de Malye Drishchi). Especialistas en facturación, administradores de hardware, fontaneros de software, instaladores de redes, conmutadores, trabajadores de servicio, soporte de contratistas: cada criatura tiene una criatura. Y si las condiciones lo permitían, pasaban el rato en nuestra sala de servicio, observando en nuestros dispositivos de monitoreo las ráfagas de tráfico siguiendo las zonas horarias en toda la región del Volga.
Tres o cuatro veces por noche celebramos el Año Nuevo, sin embargo, esto no fue tanto festividad como anticipación nerviosa: el equipo resistirá la sobrecarga, algún eslabón de una compleja cadena técnica se romperá ...
Sasha, que estaba a cargo de la facturación, estaba especialmente nerviosa. En principio, siempre parecía como si toda su vida la hubiera pasado con los nervios desnudos, porque tenía que rastrillar todo lo bueno que estaba pasando con la facturación, hacerse cargo de todas las jambas, lo despertaban con más frecuencia que otros por la noche; en general, no tengo idea de cómo y por qué trabajaba donde trabajaba. Tal vez le pagaron mucho o la familia estaba como rehén. Pero esa noche, en general, tuve la sensación de que si haces clic en Sasha con una uña, debido a la tensión interna acumulada en él, se convertirá en polvo. Tenemos una escoba para un caso tan desagradable, pero mientras tanto, estamos trabajando, lamiendo nuestros labios ante el coñac que espera en la fila.
Hora tras hora, todas las ráfagas de carga pasaron, todos comenzaron a volver a verificar sus sistemas. El conmutador palidece: en uno de los conmutadores regionales, todo el tráfico de facturación ha desaparecido. Y estos son los datos de todas las llamadas pasadas a través del conmutador; se escriben en un archivo, cuyos fragmentos a través de FTP (kondovo, pero de forma fiable) se descargan a BRT para su facturación.
El conmutador, imaginando la cantidad de enema de trementina que le darían por la pérdida de parte de las ganancias de Año Nuevo en toda la región, ya temblaba. Volviéndose a Sasha, se volvió hacia el brillante señor especialista en facturación con una voz llena de esperanza emocionante: “Sasha, mire por favor, ¿tal vez BRT logró desinflar la tarifa? ¡Oh, mira, por favor! "
Sasha tomó un sorbo de coñac, se lo comió con un bocadillo de caviar, masticó despacio y, poniendo los ojos en blanco de placer por no tener el porro, respondió: "Ya lo he comprobado, no hay archivos ...".
(Mi maravilloso corrector de pruebas preguntó qué pasó con la pobre centralita. Oh, su destino fue terrible: fue sentenciado a una semana de servicio en la primera línea de soporte del centro de llamadas, prohibido jurar. ¡Brrrr!)
Tira una piedra sin pecado
A partir de estas historias, uno podría tener la impresión de que ni yo personalmente ni los demás asistentes de guardia no cometimos ningún error. Nada de eso, fakapili, pero de alguna manera sin una epopeya y consecuencias interesantes. El trabajo se consideró adecuado para los estudiantes de ayer sin cerebro y experiencia, no hay nada que quitarle a un empleado así, que patear por un porro, por lo que no es un hecho nuevo que sea más inteligente. Pero los ingenieros tenían una disciplina deportiva separada para arrojar sus jambas en la "sala de servicio": fallaron, no se dieron cuenta, no fueron notificados a tiempo, así que castígales. "Dzhurka" dominó perfectamente la ciencia de esquivar, no siempre funcionó, pero todos entendieron todo. Por lo tanto, voló, pero, por regla general, sin consecuencias graves.
Analizamos el próximo "vuelo" en el turno de cambio.
Durante varios años de trabajo allí, puedo recordar tres casos en los que alguien fue despedido del departamento.
Una vez, un ingeniero decidió beber cerveza en el turno de noche, y luego el director técnico llegó a la sala de servicio. A veces podía entrar así de una manera simple para saludar (algo así como comenzó con los asistentes). Despidió a un tipo con una lata de cerveza, hizo clic en el teléfono, disparó. No bebimos más cerveza por la noche.
En otra ocasión, el oficial de servicio de la centralita se perdió un accidente terrible. No recuerdo los detalles.
Y la tercera vez, al final de mi trabajo allí. Las condiciones de trabajo decayeron mucho, hubo una rotación salvaje y un exceso de trabajo terrible. A veces, la gente trabajaba durante un día, luego se dormía durante 12 horas y volvía a estar en guardia diaria. Yo mismo trabajaba así, siempre que mi salud lo permitiera y se pagara; luego prácticamente dejaron de pagar las horas extraordinarias (como estándar prometieron una compensación con tiempo libre cuando había una oportunidad, pero todos entendieron que nadie saldría a caminar), y fueron expulsados de servicio con casi amenazas. Un ingeniero no pudo soportar un cuco, se levantó de su lugar de trabajo en medio del turno y se fue a casa para siempre, en el camino mirando a la oficina del jefe del servicio y enviándole tres cartas. Recuerdo una lista de correo, en la que este ingeniero fue tildado de fascista y traidor después del hecho, en cada línea se leía cómo las autoridades fueron quemadas por tal acto.
Con respecto a mis falsificaciones personales, un caso es recordado por su rareza. Nuevamente, vigilancia nocturna, todo está en silencio, no pasa nada. En el cambio de turno, comprobamos la monitorización: vaya, el procesamiento de los datos de los interruptores cayó por la noche, la luz roja ha estado encendida durante mucho tiempo. Miré esta señal toda la noche y no la percibí ni nada. A pesar de que fue uno de los monitoreos más obvios y visuales, todavía no entiendo por qué no lo vi.
No había excusas para seguir, el porro estaba limpio y al cien por cien, un accidente de quinta categoría y un despido muy probable. Después de doce horas de servicio nocturno hasta la hora del almuerzo, me vi obligado a escribir notas explicativas. Como nadie hubiera creído la verdad, tuve que pensar en una especie de balbuceo que, debido a la herida, me había tragado el analgésico y me había quedado dormido. El jefe del servicio me gritó en su oficina, en general, todo iba a ser despedido, pero resultó en una reprimenda con un despido. Los premios para ese momento en Mega no se veían desde hacía varios años, así que no sufrí ningún daño.
Recordando el episodio con la llegada del techdir: una noche, un campesino sureño entró en la sala de servicio y comenzó a gritar que estábamos sentados sin llave (la sala de servicio no debería estar cerrada en principio), que éramos renos aquí, y que por la mañana espera de todos nosotros. explicativo de todas nuestras jambas. Ese campesino sureño era el jefe del servicio de seguridad, y dolía. Habiendo gritado, el nachbez se arrojó a la oscuridad, y por la mañana le preguntamos a nuestro jefe: dicen, ¿qué hacer? “Que se joda, que lo envíe”, respondió, y ese fue el final del incidente.
Cómo rompí el departamento
En aquellos días, Bashorg (entonces todavía bash.org.ru, y no lo que hay ahora) era un recurso de culto. Allí aparecieron cotizaciones casi un par al mes, ¡y las tienes las TUYAS! COTIZAR !!! EN LA BASE !!! fue tan genial como, digamos, su dominio de segundo nivel en el año 2000. Ese Bashorg era de alguna manera más anime de TI, aunque era divertido para todos.
Cada mañana de trabajo del ingeniero más joven (es decir, el mío) comenzaba con la lectura de un bashorg: treinta segundos de risa antes de doce horas de sufrimiento.
Un día, un colega me preguntó de qué me estaba riendo. Le mostré qué. Envió el enlace al departamento.
El trabajo se detuvo durante un par de días: para mi sorpresa, ninguno de mis colegas sabía sobre bash hasta ese momento. Hubo risas en la sala de servicio: "¡Ah-jaja-jaja, parche KDE, jaja-jaja!" "¡Yogo-ho-ho, ahoga las palancas en mercurio, corredor!" La jornada laboral se perdió, por otro lado, la vida se extendió luego a sí mismos notablemente.
Bono para quienes lo lean
Recuerde, en la época de la barba había una anécdota tan popular: “Veo dos discos C en Norton, creo, ¿por qué necesito dos? Bueno, borré uno! " Me recuerda mucho una de mis historias favoritas, que no la cuento yo, sino a mí. Y cada vez es divertido, como el primero:
18+, pero no puedes borrar las palabras de una canción
PD
Estas historias son una recopilación procesada de algunas publicaciones de mi canal TG. A veces, un juego similar se desliza allí; No estoy insinuando nada, pero aún así dejaré una referencia .
¡Que tengan todos un buen viernes sin moda!