Introducción
Miriam tenía solo 21 años cuando conoció a Nick. Era fotógrafa, se graduó recientemente de la universidad y sirvió mesas. Él era 16 años mayor que ella y tenía un negocio en finanzas. Era encantador y carismático; la llevó a citas elegantes y pagó por todo. Ella rápidamente cayó bajo su influencia.
Todo empezó con una tarjeta de crédito. Ella era la única que estaba con Miriam en ese momento. Nick aumentó su deuda en $ 5,000 a través de compras comerciales y la pagó rápidamente al día siguiente. Miriam, quien me pidió que no revelara sus nombres reales por temor a interferir en el proceso de divorcio, descubrió que el truco de Nick aumentaba su calificación crediticia. Al crecer con un padre soltero en una familia de bajos ingresos, confiaba en los conocimientos de Nick más que en ella misma. Nick la apoyó de buena gana, diciendo que ella no entendía las finanzas. Ella abrió varias tarjetas de crédito más para él a su propio nombre.
El problema comenzó tres años después. Nick le pidió a Miriam que dejara su trabajo para ayudarlo con el negocio, y ella lo hizo. Nick le dijo que fuera a la escuela de posgrado y que no se preocupara por agravar su actual deuda estudiantil. Miriam volvió a obedecer a Nick. Prometió ocuparse de todo y ella le creyó. Nick dejó de pagar las facturas de las tarjetas de crédito poco después. La cuenta de Miriam comenzó a desvanecerse.
Y, sin embargo, Miriam se quedó con Nick. Se casaron y tuvieron tres hijos. Y luego, un día, los agentes del FBI allanaron su casa y arrestaron a Nick. Un juez federal declaró a Nick culpable de casi 250.000 dólares en fraude. Miriam descubrió el monto de la deuda en decenas de miles de dólares, que Nick emitió en su nombre. “El día que fue a la cárcel, yo tenía 250 dólares en efectivo, una casa y un automóvil bajo fianza y tres hijos”, dice Miriam. “En un mes, pasé de poder contratar una niñera, de vivir en una linda casa y todo eso, a la pobreza real”.
Miriam experimentó lo que ella llamó “deuda forzada”, una forma de violencia generalmente cometida por una pareja cercana o un miembro de la familia. El abuso económico es un problema de larga data: la banca digital ha facilitado la apertura de cuentas y préstamos a nombre de la víctima, dice Carla Sánchez-Adams, abogada de asistencia legal en Texas RioGrande. En la era de los algoritmos automatizados de calificación crediticia, las consecuencias pueden ser mucho más devastadoras.
Los puntajes crediticios se han utilizado para evaluar la solvencia crediticia del consumidor durante décadas, pero ahora que el cálculo se basa en algoritmos, son mucho más importantes: no solo representan una cantidad significativamente mayor de datos, tanto en términos de volumen como de tipo, sino que también afectan cada vez más si puede comprar un coche, alquilar un apartamento o conseguir un trabajo fijo. Su impacto generalizado significa que si tiene mal crédito, es casi imposible recuperarse. Peor aún, los algoritmos son propiedad de empresas privadas que no revelan cómo estos algoritmos llegan a sus soluciones. Las víctimas pueden descender por una escalera social que a veces termina perdiendo sus hogares o regresando con su abusador.
Los algoritmos de calificación crediticia no son los únicos que afectan el bienestar económico de las personas y su acceso a los servicios básicos. Los algoritmos ahora deciden qué niños terminan en hogares de guarda, qué pacientes reciben atención médica y qué familias tienen acceso a una vivienda estable. Aquellos de nosotros con los medios podemos vivir nuestras vidas sin darnos cuenta de tal cosa. Pero para las personas de bajos ingresos, el rápido crecimiento y la introducción de sistemas automatizados de toma de decisiones han creado una red oculta de trampas interconectadas.
Afortunadamente, cada vez más abogados civiles se están organizando en torno a este tema. Habiendo tomado prestado un libro de texto sobre la lucha contra los algoritmos de evaluación de riesgos del mundo criminal, buscan estudiar estos sistemas, crear una comunidad y desarrollar estrategias de comportamiento en litigios. "Básicamente, todos los abogados civiles comienzan a trabajar con este material porque todos nuestros clientes se ven afectados de alguna manera por estos sistemas", dice Michelle Gilman, profesora de derecho clínico en la Universidad de Baltimore. - Necesitamos despertar y aprender. Si queremos ser abogados holísticos y realmente buenos, debemos estar conscientes de lo que está sucediendo ".
"¿Examinaré el algoritmo?"
Gilman ha ejercido la abogacía en Baltimore durante 20 años. Su trabajo como defensora civil y contra la pobreza siempre se ha reducido a lo mismo: ha representado a personas que han perdido el acceso a necesidades básicas como vivienda, alimentación, educación, trabajo o atención médica. A veces, este tipo de trabajo significa chocar con una agencia gubernamental. En otros casos, es la agencia de informes crediticios o el propietario. Cada vez más, la lucha por el derecho del cliente afecta a uno u otro algoritmo.
“Con nuestros clientes, esto sucede gradualmente”, dice. “Están enredados con muchos algoritmos diferentes que impiden el uso de servicios básicos. Y los clientes pueden no ser conscientes de esto porque muchos de estos sistemas son invisibles ".
Para las personas de bajos ingresos, una dificultad económica temporal puede conducir a un círculo vicioso que a veces termina en la bancarrota o la falta de vivienda.
Gilman no recuerda exactamente cuándo se dio cuenta de que algunas decisiones sobre aceptabilidad las toman los algoritmos. Pero cuando esta transición recién comenzaba, rara vez era obvia. En una ocasión, Gilman representó a una cliente anciana discapacitada que inexplicablemente se vio aislada de su cuidado en el hogar patrocinado. “No pudimos entender por qué”, recuerda. Estaba empeorando y, por lo general, si empeora, tienes más horas, no menos ".
No fue hasta que Gilman y su cliente se pararon en la sala del tribunal en medio de la audiencia que un testigo que representaba al estado informó que el gobierno acababa de implementar un nuevo algoritmo. El testigo, la enfermera, no pudo explicar nada.
"Por supuesto que no, lo compraron listo para usar [sobre el producto a granel, no por pedido]", dijo Gilman. “Es enfermera, no científica informática. No pudo responder qué factores influyen en el comportamiento del sistema. ¿Cómo se pesan? ¿Cuáles son los resultados esperados? " Así que estaba con mi abogado estudiante que estaba en mi clínica de derecho conmigo y me preguntó algo como: "¿Voy a contrainterrogar el algoritmo?"
Para Kevin De Liban, abogado del bufete de abogados Arkansas Legal Aid, el cambio fue igualmente traicionero. En 2014, su estado también introdujo un nuevo sistema para distribuir atención médica domiciliaria financiada, excluyendo a una cantidad de personas que anteriormente eran elegibles para dicha atención. En ese momento, él y sus colegas no pudieron determinar la causa raíz de este corte. Solo sabían que algo había cambiado. “Pudimos entender que hubo un cambio en los sistemas de calificación de un cuestionario en papel con 20 preguntas a un cuestionario electrónico con 283 preguntas”, admite.
No fue hasta dos años después, cuando una falla en el algoritmo nuevamente llevó a acciones legales, que De Liban finalmente llegó al meollo del asunto. Se dio cuenta de que las enfermeras les decían a los pacientes: "Bueno, la computadora lo hizo, no fui yo".
“Esto es lo que nos alertó”, dice. "Si supiera lo que sabía en 2016, probablemente estaría protegiendo mejor al cliente en 2014", agrega De Liban.
Una persona pasa por muchos sistemas todos los días.
Desde entonces, Gilman ha ganado mucha experiencia. Al representar a clientes con una variedad de problemas, observó el surgimiento y la colisión de dos redes algorítmicas. La primera red consta de algoritmos de informes crediticios similares a los atrapados por Miriam, que afectan el acceso a bienes y servicios privados como automóviles, hogares y empleos. La segunda red contiene algoritmos adoptados por agencias gubernamentales que influyen en el acceso a bienes públicos como servicios de salud, desempleo y manutención infantil.
En términos de informes crediticios, el crecimiento de los algoritmos se ha visto impulsado por la proliferación de datos que son más fáciles de recopilar y difundir que nunca. Los informes de crédito no son nuevos, pero su impacto es mucho más extenso en estos días. Las agencias de informes del consumidor, incluidas las agencias de crédito, las empresas de verificación de inquilinos, etc., recopilan esta información de una amplia variedad de fuentes: registros públicos, redes sociales, navegación web, banca, uso de aplicaciones y más. Luego, los algoritmos asignan puntajes de "dignidad" a las personas, lo que contribuye en gran medida a las verificaciones de antecedentes realizadas por prestamistas, empleadores, propietarios e incluso escuelas.
Las agencias gubernamentales, por otro lado, se ven obligadas a adoptar algoritmos cuando quieren actualizar sus sistemas. La adopción de aplicaciones web y herramientas digitales comenzó a principios de la década de 2000 y continuó con el cambio hacia sistemas automatizados más basados en datos e inteligencia artificial. Hay buenas razones para luchar por ese cambio. Durante la pandemia, muchos sistemas de prestaciones por desempleo tuvieron problemas para hacer frente al gran volumen de nuevas solicitudes, lo que provocó retrasos importantes. La actualización de estos sistemas heredados promete resultados más rápidos y confiables.
Pero el proceso de adquisición de software rara vez es transparente y, por lo tanto, no hay responsabilidad. Las agencias gubernamentales a menudo compran herramientas de toma de decisiones automatizadas directamente de proveedores privados. Como resultado, cuando los sistemas fallan, las personas afectadas y sus abogados quedan en la oscuridad. "No advierten sobre esto en ninguna parte", se queja Julia Simon-Michel, abogada del bufete de abogados Philadelphia Legal Assistance. “Esto rara vez está escrito en ningún manual o ayuda. Estamos en desventaja ".
La falta de escrutinio público también hace que los algoritmos sean más propensos a errores. Uno de los problemas más graves ocurrió en Michigan en 2013. Después de mucho esfuerzo para automatizar el sistema estatal de prestaciones por desempleo, el algoritmoetiquetado erróneamente a más de 34.000 personas como estafadores . “Esto resultó en una enorme pérdida de beneficios”, dice Simon-Michel. - Hubo quiebras, hubo, lamentablemente, suicidios. Fue un completo desastre ".
Gilman teme que las deudas y los desalojos relacionados con el coronavirus se codifiquen en puntos de crédito, lo que dificultará para siempre que las personas obtengan trabajos, apartamentos y préstamos.
Las personas de bajos ingresos son las más afectadas por la transición a los algoritmos. Estas son las personas más vulnerables a las dificultades económicas temporales que están codificadas en los informes de los consumidores, y las que lo necesitan y buscan beneficios. A lo largo de los años, Gilman ha visto cada vez más casos en los que los clientes corren el riesgo de entrar en un círculo vicioso. “Una persona pasa por muchos sistemas todos los días”, dice. - Quiero decir que le pasa a todo el mundo. Pero las consecuencias son mucho peores para los pobres y las minorías ”.
Ella cita un caso actual en su clínica legal como ejemplo. Un miembro de la familia perdió su trabajo debido a la pandemia y se vio privado de los beneficios de desempleo debido a una falla del sistema automatizado. Luego, la familia dejó de pagar el alquiler, lo que llevó al propietario a demandarlos por desalojo. Aunque el desalojo no será legal debido a una moratoria sobre el control y la prevención de enfermedades, el reclamo aún se registrará públicamente. Estos registros se pueden usar en algoritmos de selección de inquilinos, lo que puede dificultar que una familia encuentre una vivienda estable en el futuro. Su incapacidad para pagar el alquiler y los servicios públicos también puede ser un golpe para su puntaje crediticio, con consecuencias nuevamente. "Si las personas intentan usar teléfonos celulares o pedir un préstamo, comprar un automóvil o solicitar un trabajo, se producirán estos efectos en cascada", dice Gilman.
Cada situación humana se convertirá en una situación de algoritmo.
En septiembre, Gilman, que ahora se encuentra en el Instituto de Investigación de Datos y Sociedad, publicó un informe que describía todos los algoritmos que los abogados de la pobreza podrían enfrentar. Informe denominado "Algoritmos de pobreza" ( Poverty Lawgorithms ) y diseñado como una guía para los abogados en la materia. El informe se divide en áreas específicas de práctica, como derecho del consumidor, derecho de familia, derecho de la vivienda y bienes públicos. La charla explica cómo lidiar con los desafíos que plantean los algoritmos y otras tecnologías basadas en datos dentro de la legislación existente.
Por ejemplo, si a un cliente se le niega la compra de un apartamento debido a una calificación crediticia baja, el informe recomienda que un abogado verifique primero si los datos ingresados en el sistema de puntuación son precisos. Según la Ley de informes crediticios justos, las agencias de informes están obligadas a garantizar la exactitud de su información, pero no siempre es así. Impugnar cualquier reclamo erróneo puede ayudar a restaurar el crédito del cliente y, por lo tanto, el acceso a la vivienda. Sin embargo, el informe reconoce que las leyes existentes solo pueden ayudar a lograrlo. Todavía hay vacíos regulatorios que deben llenarse, dice Gilman.
Gilman espera que el informe sirva como una llamada de atención. Muchos de sus colegas aún no comprenden lo que está sucediendo y no pueden hacer las preguntas adecuadas para descubrir algoritmos. Las personas conscientes de los problemas están dispersas por todo Estados Unidos, estudiando el problema, dirigiéndose al punto del problema y luchando contra los algoritmos solo. Gilman ve una oportunidad para unirlos y crear una comunidad más amplia de personas que puedan ayudarse mutuamente. “Todos necesitamos aprender más y aprender más, no solo en términos de la ley, sino también en términos de los propios sistemas”, dice Gilman. Al final, parece que cada situación humana se convertirá en una situación de algoritmo ".
A más largo plazo, Gilman busca inspiración en el mundo de la justicia penal. Los abogados penales "trabajaron por delante de la curva", dice. Se organizaron en una comunidad y lucharon contra los algoritmos de evaluación de riesgos que definen el juicio, lo que retrasó su implementación. Gilman quiere que los abogados civiles hagan lo mismo: crear un movimiento para llevar más escrutinio público y regulación a la red oculta de algoritmos que enfrentan sus clientes. “En algunos casos, el sistema probablemente debería simplemente apagarse porque no hay forma de hacerlo justo”, dice.
En cuanto a Miriam, después de la condena de Nick, se fue para siempre. Miriam y sus hijos se mudaron al nuevo estado y se pusieron en contacto con una organización sin fines de lucro que apoya a sobrevivientes de deudas forzadas y violencia doméstica. Con la ayuda de la organización, Miriam tomó varios cursos para enseñarle cómo administrar sus finanzas. La organización ha ayudado a Miriam a cerrar muchas deudas forzosas y a aprender más sobre los algoritmos de crédito. Cuando fue a comprar un auto con la ayuda de su padre, quien se convirtió en garante, su calificación crediticia apenas alcanzó el mínimo requerido. Desde entonces, los pagos constantes de su automóvil y la deuda estudiantil han ido aumentando constantemente su puntaje crediticio.
Miriam todavía necesita estar alerta. Nick tiene su número de seguro social y aún no se han divorciado. Constantemente le preocupa que Nick abra otras cuentas y solicite nuevos préstamos a su nombre. Durante un tiempo, revisó el extracto de su tarjeta de crédito a diario en busca de fraude. Pero ahora está mirando hacia el futuro. El padre de Miriam, que tiene más de 60 años, quiere jubilarse y mudarse. Ambos están ahora enfocados en prepararse para comprar una casa. “Estoy muy emocionado por esto. Mi objetivo es llevarlos a 700 para fin de año ”, dice sobre su puntaje de crédito,“ y entonces definitivamente estaré lista para comprar una casa ”. “Nunca he vivido en mi propia casa”, agrega. "Mi papá y yo estamos trabajando juntos para ahorrar dinero en nuestra propia casa".
No olvide el código de promoción HABR , que agrega un 10% al descuento en el banner.
E
- Desarrollador frontend
- Desarrollador web profesional
- Curso de Python para desarrollo web
- Curso avanzado "Machine Learning Pro + Deep Learning"
- Curso de aprendizaje automático
- Curso "Matemáticas y aprendizaje automático para la ciencia de datos"
- Profesión Hacker ético
- Desarrollador de juegos de Unity
- Curso de JavaScript
- Profesión de desarrollador Java
- C++
- DevOps
- iOS-
- Android-