White comienza: ¿son los "buenos" bots realmente tan buenos?
Parecería que la cuestión de los bots buenos y malos es bastante simple para las empresas: bloquear algunos, dejar pasar a otros. Sin embargo, este proceso tiene sus propios matices. Esto se debe al hecho de que los bots malos se disfrazan de buenos, y al hecho de que los bots de la lista blanca configurados incorrectamente pueden estropear el tráfico y dejar un sitio fuera de servicio, y al hecho de que las empresas ni siquiera siempre necesitan bloquear un bot, pero solo necesitas saber dónde él caminó. Veamos en qué se diferencian los bots malos de los buenos.
Algunas estadísticas
GlobalDots 2019 Bad Bot Report, 39% - , . 20,4% , 17.5% - . , 2019 « » , « » . , , “”, , .
, , . , , - 22.9%, - - 17.9%.
: , , DDoS-, , , , - , - , - , , , - , .
. . , (, - -), , -.
(crawlers)
- , , , , , .. 30% -. : Googlebot, YandexBot, ematchers – , , YandexImages.
-
, , , , . : Amazon Echo, Google Home, Siri, . .
-, : , , . , . - Content ID YouTube, .
, Google Shopping. - , .
, (, , - ).
, whitelist Variti , , , preview - , - . , , ., AdSense-, , .
, , , , . .
, . . , - - . , , . .
. , , - , . .
, , , , - .. , , IP-, .
, . , Android , , . , , . , - , , , . , .
, , IP , . IP , CIDR-, .
“” IP , . , , , / IP . . , , token . . IP . , - , user agent -. .
. , , website.com/api. API, - , API IP . , API .
whitelists, IP , , – Variti, , Telegram- Variti .
, , . , , . - SMS-. , SMS- - . , . , . , SMS, .
, “”, . , 10 , 1000. robots.txt, , . , , . , - , .
- . - , IP-, , .. DDoS-. , .
, , . . . – , , . , .
GlobalDots 2019 Bad Bot Report 523 . « » (55,4%) Google Chrome. Firefox, - Android. Safari, Internet Explorer, Safari Mobile, Opera, Googlebot Bingbot .
, , , 20 , - , , Internet Explorer 5, 1999-. 0.8% Internet Explorer 7. , . , - , .
, 74% « » - advanced persistent bots (APB), , . , , IP-, -, Java- peer-to-peer , .
, , . , , .
Variti user agent, , IP , , , . , , ( Chrome, headless) , .
, , , , . .
, “ ”
“” , . , , . , , — . , , - - , .
, , , email. - , . , , .
Firefox, Chrome, Internet Explorer Safari , - , . .
robots.txt — , . , , . : , . , - - , robots.txt. - .
, , . , - - , (, - ), stealth-, , . - ?