El tema de los bots en el sitio es muy doloroso para algunos y les da un dolor de cabeza constante, mientras que otros prefieren ignorarlo por completo. Y aquí debe comprender: si el daño de los bots no es grande, entonces invertir dinero para combatirlos no se justifica mucho desde el punto de vista comercial. La mayoría de las veces, en tales casos, se limitan a una solución autoescrita bastante simple que combate a los bots de primera generación (sobre las generaciones siguientes). Sin embargo, si los ataques al sitio dañan el negocio, la empresa comienza a pensar en cómo lidiar con ellos.
Por experiencia, puedo decir que el aire y las grandes empresas de comercio electrónico sufren con mayor frecuencia el flujo constante de bots. Un caso típico de una aerolínea, cuando puede ser atacada por bots y recibir un pago, es el conocido mantenimiento de asientos. Cómo funciona: desea comprar un boleto y elegir un vuelo, hora, lugar y que le paguen. Muy a menudo, en este lugar, la aerolínea reserva este lugar para usted (no está disponible para la compra en este momento para otros visitantes del sitio) y le da tiempo para pagar con tarjeta, desde un par de minutos hasta varias horas. Qué sucede: llega una ola de bots al sitio, que reserva todo el avión (y una vez que expira el tiempo de pago, vuelve a reservar un asiento). Por lo tanto, nadie puede comprar un boleto y, de hecho, el avión puede volar vacío. Y esto es dinero, y mucho.Para las empresas de comercio electrónico, esta suele ser la búsqueda de credenciales y la cancelación de puntos de bonificación.
¿Qué tipo de bots existen? Aquí, de hecho, todo es muy sencillo. Hay dos respuestas: buenas y malas. Los buenos son los bots de los motores de búsqueda, los bots de sus socios, algún tipo de sistema de monitoreo, etc. En general, estos son los bots que siguen las reglas:
hacerse pasar por quienes son
no intentes dañar el sitio
seguir enlaces robots.txt
Los malos son los que tienen intenciones hostiles o se utilizan para otros fines. Por lo general, intentan disfrazarse de personas o falsificar otros robots buenos conocidos. La mayoría de las veces, los robots malos están acostumbrados a:
Inicie sesión automáticamente con credenciales robadas de una violación de datos o de la web oscura.
Cree nuevas cuentas en línea para recibir bonificaciones de registro
, , .
DDoS-,
, . – ?
. , :
cURL- -. IP-. cookie JavaScript, -.
-, «» (headless) (: PhantomJS SimpleBrowser), Chrome Firefox, . , cookie JavaScript. - headless JavaScript - .
– . , . .
, , , , , , . UA IP-. , « » - , , - . - , . , , .
, , .
? :
, , ,
,
,
, , , , .
? :
( CDN, reverse proxy)
, /.
, Akamai, Distill ( Imperva ABP) RadWare. – PerimeterX.
, Akamai.
, Akamai, , . Akamai – -, (wiki). 1998., CDN . 20 . Akamai CDN, , -. CDN, , , WAF, DDoS mitigation ( L3/L4, L7), BOT, DNS, Real User Monitoring (RUM), API Gateway . , , . Akamai ? , 40 ( – 5). .
, , Akamai Bot Manager. :
Bot Manager Standard (BMS)
Bot Manager Premier (BMP)
, .
.
, General bot management, BMS, Transactional endpoint protection – BMP. , .
Customer-Categorized Bots? , , . , , , . ? . (, “Partners”), .
, .
Akamai-Categorized Bots. , , , . Akamai 1400 17 . ? , : , , , , . , «».
, – . : (transparent) (active). , , , . - . :
, , . , “Impersonators of Known Bots” – , , , Google, . :
Chrome –
-
Active – JavaScript cookie ( – SDK):
Akamai cookie . . , , JS .
BMP. , : /, , . endpoint. , POST /login, BODY user pass. , endpoint-a Akamai . BMP – . , BMS BMP , BMS, , - , BMP , . , , , . , - , .
: ? , : – , . , , . .
: ? :
( )
( 1–3 )
( 8–10 )
( 403 , - )
Tarpit ( , )
Challenge ( Google Captcha, Akamai Crypto Challenge)
Conditional action ( , 20% , – )
, Deny ( 403 ) -. 403 – , . , . . Akamai Tarpit. , Linux, , action IPTables. Tarpit, , . , , . : Akamai? -. 270 , . , . , . , . , , .
– Captcha. , . ! Google Captcha – Akamai. Crypto Challenge. : Akamai , ( 30 , ). , : crypto challenge ( ). , Akamai , , – challenge ( ).
Akamai ? , - (, , ). : . , , . , 60–70% . – .
, . , , . : , . : Akamai , . , User-Agent. Akamai – , . , 30% , , .
¿Cómo se te ocurrió la idea de escribir este artículo? Durante dos días asistimos a Highload ++ este año con nuestro stand GlobalDots, y muchas personas se acercaron a nosotros con aproximadamente las mismas preguntas: ¿Hay Akamai en Rusia? ¿Algo además de CDN? En realidad, así es como apareció este pequeño artículo.
Probablemente esto sea todo. Resultó ser un artículo bastante introductorio. Estoy acostumbrado a mostrar más que a contar, resulta más informativo. Si tiene alguna pregunta, bienvenido a saint tropez en los comentarios.