A estas alturas, millones de personas ya han visto nuestra historia sobre cómo una serie de errores entre Flock Safety y las fuerzas del orden llevó a que la policía me rastreara durante días mediante cámaras automáticas de lectura de matrículas y me emboscara en una operación coordinada de detención. Millones más han visto las imágenes de la cámara corporal del incidente que obtuvimos y publicamos. Se ha convertido en parte de una conversación aún más amplia y acalorada sobre la privacidad en Estados Unidos, y una semana después, he aprendido mucho más sobre cómo y por qué ocurrió, incluso por parte de Flock.
Lo que encontré es que la clara combinación de error humano, las limitaciones del sistema impulsado por IA de Flock y la ausencia general de salvaguardas que llevó a mi detención bajo la sospecha de robo de vehículo no fue una tormenta perfecta. Es una situación que ha ocurrido, puede ocurrir y seguirá ocurriendo a cualquiera hasta que tanto Flock como las fuerzas del orden hagan cambios a gran escala, ninguno de los dos parece saber exactamente cómo colaborar para prevenirla. Y, de hecho, acaba de ocurrir de nuevo.
Mientras tanto, nuestra historia ya ha llevado al consejo de la ciudad de Plymouth, Minnesota, donde vivo y donde ocurrió la detención, a iniciar una conversación sobre el uso de cámaras Flock en la ciudad. El Departamento de Policía de Plymouth tiene un portal de transparencia como parte de su configuración de Flock y señala que hay actualmente 18 cámaras en la ciudad y han leído más de 580,000 matrículas en los últimos 30 días, con más de 14,800 coincidencias en listas de interés, de las cuales yo fui una, y 45 búsquedas manuales por parte de usuarios.
Sería todo un asunto para Jaguar Land Rover prestar un coche con placas robadas a un periodista para revisarlo, así que sabía que eso no podía ser cierto, pero los agentes estaban convencidos. Tomó unas cuantas llamadas a JLR y a la empresa de gestión de flotas de JLR mientras nos mantenían en la escena, además de una entrevista de seguimiento con el jefe de policía de Plymouth para aprender qué pasó.
Una placa de matrícula de un fabricante parecido de Nueva Jersey — 34 03 DTM — había sido reportada como robada en California (en realidad fue perdida por Land Rover durante una sesión de fotos, que luego supe). Esa placa “robada” se ingresó en la base de datos del Centro Nacional de Informaciones sobre Delitos (NCIC) sin los dos dígitos centrales, que son más pequeños que el resto de los caracteres de la placa física. Solo 34 DTM.
El uso de NCIC por parte de Flock para marcar matrículas sospechosas y, cuando vio la mía, su sistema de IA ignoró el “10” en el centro de mi placa y alertó a la policía de una coincidencia. Y finalmente, cuando la policía recibió esa alerta y vio la foto que Flock había tomado de mi placa, donde el 10 es visible, no ingresaron la secuencia completa 34 10 DTM en su sistema para verificar. Tanto los humanos como las máquinas estaban fijados en 34 DTM. Fijación de objetivo, supongo. Vaya.
Toda la secuencia fue tan absurda que inicialmente la describí como un caso límite dentro de un caso límite que la red de cámaras IA de Flock no podía manejar, pero volvió a ocurrir.
El miércoles, el colega periodista automotriz Tim Esterdahl, editor de Pickup Truck + SUV Talk, fue detenido por dos agentes en Scotts Bluff, Nebraska, mientras conducía su Range Rover Sport de 14 años, prestada por JLR para que la revisara, con placas Nueva Jersey 34 08 DTM.
El agente principal le informó que las placas del vehículo habían sido reportadas como robadas. Habiendo visto nuestra historia, Esterdahl se la mostró a los agentes para, con suerte, demostrar que no era un gran ladrón. Dice que el oficial reaccionó con calma, sin cacheos, sin manos en armas, y después de aproximadamente una hora también fue liberado. Pero vale la pena señalar que los agentes que me detuvieron predijeron que esto ocurriría: cualquier coche con una matrícula de Nueva Jersey con la secuencia 34 ## DTM seguiría siendo marcado por Flock porque eso es a lo que estaban cazando.
Jaguar Land Rover tiene varios vehículos con una secuencia de placas 34 ## DTM circulando por todo el país como coches de préstamo para periodistas, concesionarios u otros usos corporativos. Por su parte, un portavoz me dijo que han estado intentando cambiarlas y obtener el informe policial original en California corregido. Pero no ocurrió a tiempo para Esterdahl.
Qué Dice Flock
No contacté a Flock antes de publicar la primera historia porque no era necesario para compartir mi relato en primera persona: los oficiales literalmente me mostraron la aplicación de Flock en su teléfono y explicaron cómo la usaban. Pero después de publicarla, supe de alguien con conocimiento interno que Flock estaba muy preocupado por la atención que recibía, y finalmente, tuve múltiples llamadas con el Director de Comunicaciones Joshua Thomas.
Thomas me dijo: “Solo te digo que mi intención no era intentar obtener cobertura o defender el sistema o lo que sea, era legítimamente intentar entender a alguien que ha vivido algo que tú viviste. Me encantaría escuchar tu punto de vista. Pareces muy racional sobre todo esto.”
La pregunta obvia era que las cámaras de Flock estaban buscando 34 DTM, y la placa del coche que yo conducía era 34 10 DTM. ¿Por qué se marcó eso como coincidencia?
“La forma en que funciona el ML [aprendizaje automático] es que lee correctamente lo que se suponía leer. Se le alimentaron esos caracteres que dijiste, 34 DTM, y devolvió un resultado con los caracteres, 34 DTM,” dijo Thomas. “Se le preguntó, ¿puedes encontrar esto? Y lo encontró. Simplemente no decía si hay más aquí, entonces no lo hagas. Simplemente dijo, ¿está ahí? Y la respuesta fue sí.”
Explicó que incluso si el 10 fuera de tamaño normal, Flock habría marcado igualmente como coincidencia, porque así lo han configurado según las peticiones de las autoridades. A veces las placas parciales son todo lo que tienen para empezar.
“La forma en que las fuerzas del orden les gusta usar estas herramientas es que, si alguno de los caracteres que han puesto en estas listas de interés se lee, quieren recibir esas alertas,” dijo. “Ahora, lo que intentamos entrenar a los oficiales para hacer es lo que tú dijiste, que verifiquen que 34 DTM es lo que estoy buscando, y lo que estoy viendo es 34 10 DTM.”
Claramente, eso no sucedió en mi caso. Pero es cierto que si los oficiales hubieran tomado ese paso, probablemente no me habrían detenido con tanta vehemencia, o incluso no lo habrían hecho, y todo podría haberse evitado. Pero aún así, la pregunta principal que nos queda es por qué el sistema de Flock no tiene una forma de distinguir lecturas parciales de lecturas completas y alertar a la policía en consecuencia.
“Creo que tienes razón. Creo que hay mucho de lo que dices sobre cualquier alerta automatizada que no se establezca como una alerta personalizada por una agencia en particular, pero que llega al NCIC; nuestra IA debería buscar: ¿es una coincidencia perfecta en lugar de solo, está ahí?” dijo Thomas. “Quiero decir, es una retroalimentación justa que debo llevar a nuestro equipo y ver, ¿qué podemos hacer al respecto?”
Thomas explicó algunos de los pasos que Flock está tomando a raíz de esto, incluyendo intentar que el informe policial original sea corregido y reunirse con funcionarios del FBI que curan la base de datos NCIC para establecer una forma de que datos malos o incompletos sean etiquetados de manera rápida y evidente para los agentes en el campo que simplemente ven alertas automatizadas parpadear en sus pantallas. Al mismo tiempo, Thomas siguió insistiendo en la idea de que el sistema de Flock depende de entradas de datos válidas y de humanos en el bucle para verificar doblemente los resultados.
“Un humano introdujo esto en un sistema. Y un humano no dio suficiente información al sistema,” dijo. “El sistema hizo una lectura. Y el resultado fue un problema. Pero los pasos para llegar ahí estuvieron llenos de errores de personas cometiendo errores.”
Aunque inicialmente informamos que el número de placa incorrecto o incompleto ingresado en el NCIC provenía del Departamento de Policía de Los Ángeles, la LAPD nos dijo posteriormente que en realidad fue alguien del Departamento del Sheriff de Los Ángeles quien lo hizo, y LASD no ha respondido a nuestra solicitud de comentario. Habla de lo desordenado y difícil que es asegurar que los datos siempre estén limpios al entrar a un sistema como Flock—lo que necesita son salvaguardas más fuertes dentro del mismo.
El escenario que involucró a mi esposa y a mí es solo uno de muchos similares. Thomas señaló que el sistema es 99% preciso hoy, pero realiza 20 mil millones de lecturas al mes. Esa tasa de error del 1%, en la que yo participé en junio, genera 200 millones de lecturas erróneas al mes. ¿Cuántas de ellas conducen a detenciones agresivas que ponen a civiles y agentes en una situación peligrosa? No lo sabemos.
Pero Thomas fue claro: la postura de Flock es que una alerta de una de sus cámaras “no equivale a una causa probable. Es como una alarma que se activa. No significa necesariamente que haya algo allí.” Creen haber creado una herramienta valiosa para las fuerzas del orden que puede hacer que las comunidades sean más seguras. Depende de las fuerzas del orden usarla correctamente. Esto es similar a la posición que adoptan empresas como ChatGPT o Anthropic respecto a la seguridad de la IA. Han construido con orgullo modelos de lenguaje grandes (LLMs) que afirman ser lo suficientemente poderosos para cambiar el mundo, pero depende de nosotros no usarlos para destruirlo. Simplemente construyeron la cosa.
La perspectiva de la Policía
Mi última parada—por ahora—fue una charla franca con el Jefe de Policía de Plymouth, Erik Fadden, donde reconoció que sus oficiales no lo hicieron bien, pero lograr que todo esté 100% correcto no es una expectativa realista para ningún sistema, humano o no.
“Todo se reduce a que las personas a veces cometen errores. Ese es, de hecho, el único factor humano que nunca vamos a poder eliminar por completo,” dijo. “En este caso también tenemos un formato de placas muy único y poco común.”
El Jefe Fadden señaló que hay más de 8,000 formatos de placas de matrícula diferentes en el país, y un solo oficial no puede esperarse que conozca todos. Si un oficial hubiera visto la placa del Range Rover, pasado por alto el 10 y simplemente hubiera escrito 34 DTM en su computadora en un semáforo, habría salido como robado debido al error inicial cometido en California, y el resultado podría haber sido el mismo, independientemente de la existencia de Flock.
“Desafortunadamente, con el error humano, este tipo de cosas sucede con bastante frecuencia cuando los oficiales se topan con un vehículo que reportan como robado o con personas buscadas. Y, simplemente, cuando un oficial entra en contacto con una placa robada. Por eso debemos verificación. Tenemos que consultar a la agencia que entró para asegurarnos de que, ya sabes, el vehículo está realmente buscado o las placas están robadas,” me dijo el Jefe Fadden.
Esta vez, las placas no estaban robadas. El Range Rover no fue robado. Mi esposa y yo no éramos “personas buscadas.” La misma historia se repite para Esterdahl, y quién sabe cuántas otras personas se ven atrapadas en las 200 millones de lecturas erróneas al mes que generan las cámaras de Flock y los errores de la policía. La tecnología avanza tan rápido sin salvaguardas y está amplificando errores humanos, los humanos no están captando los errores en el frente, en el medio o en la parte final de la cadena, al menos no en este caso, y podría haber llevado a que alguien saliera herido o incluso muerto.
Thomas estuvo de acuerdo y me dijo: “Esto fue algo realmente malo que te pasó. Te agradezco de verdad que tus hijos no estuvieran en el coche. Te lo agradezco.” Apostaría a que sí.
¿Tienes un tip de historia? Envíanos una línea a tips@thedrive.com
