Agencia TSS Noticias de ciencia y tecnología

Agencia TSS – En 2019, el jefe de Gobierno de la Ciudad de Buenos Aires, Horacio Rodríguez Larreta, presentó en un sistema de reconocimiento facial en un acto junto con otros mandatarios municipales de América Latina. En la presentación, se dijo que se usaría exclusivamente para buscar personas en condición de prófugas de la Justicia y que no afectaría la privacidad de las personas. El problema fue que el sistema contratado –sin evaluación previa ni consulta a especialistas– era de una empresa privada que no dejaba ver sus datos ni los criterios que usaba para identificar personas. Además, la base de datos de prófugos no se había pensado con ese fin, por lo que tenía errores que eran fáciles de identificar por una persona pero no por un algoritmo, llevando a equivocaciones que terminaban en detenciones y encarcelamiento de personas inocentes.

Desde 2022, su aplicación está suspendida por una orden judicial y ahora se levantó esa suspensión siempre y cuando se pueda auditar el sistema. Uno de los problemas principales era que no se podía saber si el sistema tenía sesgos con respecto a minorías sociales, como ha pasado en muchos de estos sistemas. Otro de los puntos que se modificó gracias a este fallo es que la empresa adjudicatoria del sistema no puede usar los datos de las cámaras de la ciudad para entrenar a sus propios sistemas de inteligencia artificial.

La causa que llevó a la suspensión del sistema fue impulsada por el Observatorio de Derecho Informático Argentino (ODIA). El presidente de la organización, Tomás Pomar, le dijo a TSS: “Cuando empezamos a recibir la información encontramos que estaba llena de inconsistencias, nadie sabía qué se había contratado (la adjudicataria fue la empresa Danaide), quién era el fabricante y había problemas técnicos, como la política de permiso de seguridad, no se entendía quién tenía acceso o a qué partes del sistema”.

El sistema tomaba la base de datos de prófugos del CONARC (Consulta Nacional de Rebeldía y Capturas), que era abierta en ese entonces, y con el listado de números del DNI buscaba los datos biométricos del RENAPER, los cargaba en los motores de búsqueda y después la cargaba en las cámaras de la ciudad para que genere alertas. Todo eso era automático, sin ningún monitoreo. Cuando empezó la causa judicial ya se contaba con el antecedente de que este sistema se había desconectado en la ciudad de San Francisco, en Estados Unidos, adonde están instaladas buena parte de las mayores empresas de tecnología del mundo. Allí se hicieron audiencias públicas y la conclusión fue que no era racional implementarlo. El mayor problema de estos sistemas es que, si no se sabe como está programado, cómo fue entrenado y bajó qué criterios, no se puede garantizar que tenga igual impacto entre diferentes grupos, como hombres, mujeres, trans, minorías raciales y demás. Y, desde el punto de vista jurídico, se está introduciendo un elemento riesgoso en la vía pública sin ningún tipo de auditoría técnica o evaluación de impacto.

“Cuando empezó el proceso surgieron más inconsistencias. Por ejemplo, se pedían muchísimos datos a la base de RENAPER y no había ningún monitoreo del tráfico, algo básico. Otro punto es que no había diferenciación de permisos: se pedían datos y no se especificaba para qué destino eran”, contó Pomar.

“El problema de base es que los gobiernos, tanto nacionales, provinciales como municipales, contratan tecnologías de uso privativo, con licencias de uso, entonces se están convirtiendo en usuarios de software y pierden sus capacidades de auditoría de lo que se está usando para la función pública. No se aprecia la dimensión política del software”, agregó el titular del observatorio.

La sentencia judicial ordenó auditar el sistema para que no hubiese un impacto desproporcionado. Hay diferentes niveles de auditoría, la más simple es una de “caja negra”, adonde se va midiendo las entradas de datos y la salida para ver si hay sesgos pero sin analizar lo que está pasando en el medio. También se puede hacer una auditoría en la capa de datos sobre impacto y privacidad. Y la auditoría de mayor profundidad es una en la que se deben separar todos los módulos del sistema y probar cada uno. En este momento de la causa se está analizando qué tipo de auditoría se haría. Hace un año, cuando se planteaban estos temas, la empresa contratada dijo que no podían dar ningún dato porque ellos no eran los propietarios, solo tenían una licencia comercial y daban licencias de uso sobre un sistema de otra empresa que no dominaban. Ahora, el Gobierno de la Ciudad pretende contratar a una nueva empresa que tiene más transparencia (ya habría contratado a Clearview, estadounidense) y que tendría un control judicial previo: serían los jueces los que hacen el pedido de carga de los perfiles y no se toma automáticamente de la base de datos. “Estamos demostrando que con un litigio bien hecho se puede establecer un diálogo entre las organizaciones técnicas, la sociedad civil y las autoridades públicas para definir políticas informáticas”, dijo Pomar.

Entre los errores que tiene la base datos de CONARC, por ejemplo, había tres menores de cinco años con sus datos cargados que supuestamente estaban siendo buscados por robo agravado por uso de arma de fuego. Evidentemente hubo algún error en la carga del número de documento de las personas buscadas pero esto no evita que sus datos sean buscados en el RENAPER, y los datos biométricos se carguen en las cámaras de la ciudad y luego disparen alertas para la policía de calle.

“Se inició una causa en los tribunales de Comodoro Py afirmando que el sistema se usó para hacer espionaje. Pero es imposible saber si se usó para eso o no porque estaba tan mal hecho que no se puede auditar. Había 14 usuarios con permiso cero, con capacidad de administración total. Las empresas más grandes no tienen más de uno o dos usuarios así por el riesgo de seguridad que plantea. Encima estos usuarios no eran nominativos, eran solo un usuario y contraseña, no tenían ni siquiera un segundo factor de autenticidad. Esto no pasa un exámen de primer año de Sistemas de la UTN”, dijo Pomar.

También se dio el caso de una persona que estuvo detenida seis días y a minutos de ser trasladada al penal de Azul, porque el sistema mezclaba las tres categorías de prófugo, rebelde y persona con pedido de captura. Por un error de carga a este hombre lo habían pasado por prófugo, es decir una persona que tenía sentencia y se había escapado de un penal. También tomó relevancia pública el caso de Leonardo Colombo Viña, un programador que fue demorado por tres horas por un alerta del sistema de reconocimiento facial y enseguida se dio cuenta de que era un error informático y registró todo y lo publicó.

Pomar planteó la preocupación principal que se presenta en la implementación de este tipo de sistemas: “La pregunta que planteamos es que si el Estado no entiende cómo funciona el software, cómo es que lo usa para tomar decisiones que afectan derechos de las personas”.