¿Puede una máquina predecir quién va a cometer un crimen —
y mandar a la policía antes de que pase algo?
En varias ciudades del mundo ya se intenta. Un programa mira el pasado, dibuja un mapa de calor y decide a qué barrio enviar patrullas hoy. Un tribunal recibe un puntaje de riesgo y decide si te da libertad. Un sistema militar sugiere un objetivo.
Detrás de cada una de esas decisiones hay una palabra que casi nadie del derecho sabe definir con precisión: algoritmo. Hoy empezamos por ahí — sin código, sin matemáticas —, para poder discutir lo demás con criterio.
La palabra viene de al-Juarismi, un matemático persa del siglo IX — el mismo del álgebra. No es nada nuevo.
La humanidad lleva mil años escribiendo recetas de pasos exactos, sin necesidad de máquinas. Lo nuevo es que ahora las tenemos — y eso nos dejó estructurar sistemas enteros: el orden en que aparecen las cosas en una pantalla, el recorrido que haces en una tienda, los videos que ves.
Usa las flechas para poner los pasos en el orden correcto. Cuando quede bien, se marca solo.
Eso es un algoritmo. Pasos exactos, en orden. Ahora cambia "café" por "datos", y "servir" por "decidir si te dan libertad condicional". La estructura es idéntica — lo que cambia es lo que está en juego.
La distinción más importante que un abogado necesita: hay algoritmos escritos por humanos, y otros creados por máquinas a partir de los que escriben los humanos.
Es el mecanismo que produce normas. Escrito por personas, finito, inspeccionable. El legislador diseña el procedimiento, pero no dicta cada sentencia que saldrá de él.
Es lo que resulta de correr esa receta sobre datos. Nadie lo cocinó a mano: emergió. Son vectores dentro de una red, no una frase que puedas leer.
Es el mismo juez para todos, pero cada expediente es distinto.
Tu feed personalizado es una sentencia, no un juez propio. Hay un criterio compartido ejecutándose sobre hechos particulares.Este sistema califica el riesgo crediticio de una persona. No puedes ver su código. Solo puedes meterle casos y mirar qué responde. Pruébalos y adivina la regla.
Todos son la misma persona. Solo cambia un dato:
La regla era el barrio. El sistema no miró el salario ni el historial — miró el código postal y castigó a quien vive en el barrio pobre. Y tú no abriste la caja: la interrogaste. Eso se llama black-box testing — y es, punto por punto, el método experimental de la ciencia: no puedes abrir la gravedad, le tiras objetos y mides cómo caen. No puedes abrir el modelo: le tiras casos y mides qué escupe.
Escribimos el código, conocemos cada línea, pero hay preguntas básicas sobre lo que va a hacer que son imposibles de responder por adelantado.
Y mientras más poderoso es el código, menos capaces somos de predecir lo que va a hacer.Pasamos de leer el genoma a escribirlo. Con la inteligencia artificial es al revés: escribimos el código que entrena los sistemas, pero los millones de números de adentro no los escribimos a mano ni los podemos leer de corrido. Creamos un sistema tan complejo que ahora, desde afuera, intentamos comprender lo que hace. Cuando no puedes abrir la caja negra, la interrogas.
Un modelo predictivo no adivina. Toma montañas de datos históricos, encuentra patrones y proyecta: "personas parecidas a esta, en el pasado, hicieron X — luego esta probablemente hará X".
Arrestos previos, pagos, clics, ubicación, edad, barrio.
La máquina agrupa: "los que se parecen a ti, antes, terminaron así".
Riesgo alto/bajo. Reincidente/no. Y sobre eso alguien decide.
El salto peligroso: tratar una probabilidad estadística como si fuera un hecho sobre una persona concreta.
Dos distritos con exactamente el mismo crimen real. Pero el modelo aprendió del pasado — y en el pasado se patrulló más el Distrito A. Dale a "siguiente ronda" y mira qué pasa.
El modelo no predijo el crimen: predijo su propio pasado. Al mandar patrullas al Distrito A, se generaron más arrestos ahí — que alimentaron el mapa — que mandaron más patrullas — que generaron más arrestos. El Distrito B, con el mismo crimen, quedó invisible. El sistema parece objetivo, pero solo confirmó el sesgo con el que empezó. Cathy O'Neil lo llama un arma de destrucción matemática: opaca, no regulada e incontestable, incluso cuando se equivoca.
Software que dibuja mapas de calor del delito y dirige el patrullaje. Reproduce el bucle que acabas de ver: sobre-vigila los barrios ya vigilados.
Puntaje de reincidencia que usan jueces para fijar fianza y libertad. Investigaciones mostraron que marcaba como "alto riesgo" a personas negras con más frecuencia.
Modelos que niegan préstamos por el código postal. Un estudiante pobre no accede a la educación que lo sacaría de la pobreza. La espiral se refuerza.
Vivimos en la edad del algoritmo. Los modelos apuntalan a los afortunados y castigan a los oprimidos.
Cathy O'Neil · Armas de destrucción matemática (2016)En la guerra, la predicción algorítmica sugiere blancos y sistemas semiautónomos deciden a quién seguir. La pregunta jurídica se vuelve literal: ¿quién responde cuando la máquina se equivoca — y el error es una vida?
Un sistema cruza datos y propone objetivos. El humano "solo aprueba". ¿Aprueba o obedece?
Bernd Marquardt: hay mitos que codifican la violencia histórica. Cuando esos datos entrenan un modelo, el pasado se vuelve destino.
Delegar la decisión de matar a un sistema que nadie revisa es el caso límite de la responsabilidad difusa.
Un puntaje de riesgo te trata como culpable de algo que aún no hiciste. Se invierte la carga.
Tienes derecho a saber qué datos tuyos alimentan la decisión y a corregirlos. El modelo opaco lo impide.
Si el modelo discrimina por barrio, raza o género — aunque nadie lo programó así — reproduce desigualdad prohibida.
No puedes contradecir lo que no puedes ver. Una caja negra que no se explica no es contradecible.
La posición defendible no es prohibir ni legitimar en bloque, sino una admisibilidad condicionada: estos sistemas solo caben en el proceso si respetan, una por una, estas garantías. Auditables, explicables, contradecibles.
El mal no necesita malicia para ocurrir. Solo necesita que nadie se haga responsable de pensar.
Hannah Arendt · Eichmann en Jerusalén (1963)Un equipo que diseña un modelo de reincidencia puede no tener ninguna intención discriminatoria. Pero si el sistema castiga sistemáticamente a los mismos de siempre, la pregunta de Arendt es exactamente la correcta:
¿Quién se hizo responsable de pensar?
Economía, comunicación, información, justicia — cada vez más partes del mundo están hechas de código. Quien sabe crear esos algoritmos no solo crea herramientas: crea las reglas del presente. Y eso es poder.