Más Allá de la Demostración del Proveedor: Preguntas Clave sobre Datos, Sesgo y Pruebas de IA del NIST para Plataformas de Inteligencia de Video

Una de las tendencias más significativas de los últimos años en el ámbito de la seguridad pública es que las agencias de seguridad recurren cada vez más a herramientas avanzadas como la IA para la seguridad pública con el fin de facilitar su trabajo. Estos sistemas ofrecen una lectura más inteligente de las transmisiones de vigilancia, pero conllevan desafíos ocultos, especialmente en torno a los datos de entrenamiento y el sesgo.

Si su agencia está evaluando proveedores de una plataforma de inteligencia de video o de analítica de video para ciudades inteligentes, no se quede en los discursos de venta ni en las demostraciones pulidas. Lo que realmente necesita saber es cómo se construyen y se prueban estas herramientas.

Sesgo sin verificar en los modelos de IA de las fuerzas del orden

Veamos la analítica de video con IA. Es una tecnología que observa en vivo las transmisiones de CCTV y detecta anomalías como un comportamiento inusual de multitudes u objetos abandonados. Un buen software de analítica de IA para CCTV puede detectar posibles amenazas más rápido que cualquier operador humano. Pero la analítica de video impulsada por IA aprende a detectar patrones a partir de conjuntos de datos masivos de grabaciones archivadas. Y aquí está el problema: si esos datos de entrenamiento se inclinan hacia un lado, por ejemplo hacia ciertos vecindarios, grupos demográficos o escenarios, el sistema hereda esas fallas. Esto genera sesgo en los modelos de IA de las fuerzas del orden, que quizás emitan demasiadas alertas en algunos vecindarios mientras pasan por alto riesgos en otros.

Preguntas esenciales para los proveedores sobre diversidad de datos y verificación de sesgo

Por eso, haga preguntas directas a los proveedores: ¿De dónde provienen sus datos de entrenamiento? ¿Abarcan distintas ubicaciones, horarios, condiciones climáticas y grupos demográficos? ¿Cómo detectan y corrigen los desequilibrios? Las respuestas vagas, como “conjuntos de datos propietarios”, deben ser motivo de preocupación. Exija documentación detallada sobre la composición de los datos y las verificaciones de sesgo realizadas durante el desarrollo. Para una IA ética para la seguridad pública, los proveedores deben demostrar que su plataforma de inteligencia de video se entrenó con datos diversos y equilibrados, no solo con grabaciones seleccionadas a mano.

Pruebas en condiciones reales para la analítica de video de ciudades inteligentes

Las pruebas aportan otra capa de escrutinio. Los marcos de pruebas de IA del NIST para seguridad pública evalúan qué tan bien funcionan los modelos en condiciones reales y variadas. Una buena puntuación significa que el sistema maneja de forma confiable los casos límite, como las grabaciones con poca luz o los rostros diversos. Sin embargo, las auditorías no garantizan una confiabilidad absoluta. A menudo usan puntos de referencia controlados que no reflejan el entorno real de su comunidad.

Así que, aunque una puntuación alta del NIST es un buen comienzo, conviene solicitar validaciones personalizadas. Pruebe la analítica de video para ciudades inteligentes con sus propias transmisiones de CCTV anonimizadas. Asegúrese de que su entorno local no provoque un aumento repentino de falsos positivos si el software de analítica de IA para CCTV interpreta erróneamente a ciudadanos comunes como posibles amenazas.

Las auditorías de sesgo van más allá de las verificaciones básicas para detectar y evaluar todas las disparidades existentes. Debe esperar estadísticas como tasas de error equivalentes entre distintos grupos de población, o predicciones justas, sin importar el origen de las personas.

Los buenos resultados indican que la analítica de video impulsada por IA maneja los espacios públicos de alto tránsito sin sesgo y funciona de manera uniforme, ya sea con las multitudes del mediodía o con las patrullas nocturnas. El sesgo sin verificar en los modelos de IA de las fuerzas del orden podría dañar la confianza pública y generar problemas graves.

Validación personalizada y auditorías posteriores a la implementación

En la práctica, una agencia municipal probó la plataforma de un proveedor después de que esta recibiera la certificación del NIST. Las pruebas parecían perfectas, hasta que los ensayos locales revelaron que el sistema tenía dificultades con el reflejo de la nieve por la noche, algo que las verificaciones estándar no detectaron. Entonces lograron que el proveedor reentrenara los datos y que añadiera verificaciones continuas al contrato.

En última instancia, la decisión es suya. Elija proveedores que sean transparentes sobre sus datos, realicen pruebas en condiciones reales y se comprometan con auditorías posteriores a la implementación.

Al combinar los puntos de referencia de las pruebas de IA del NIST con sus propios programas piloto, puede mitigar los riesgos y asegurar que la IA ética para la seguridad pública se convierta en una herramienta confiable para beneficio de toda la comunidad.

Un ejemplo de proveedor altamente ético y comprometido con la transparencia es IREX. Estamos listos para responder cualquier pregunta sobre analítica de video avanzada, datos de entrenamiento de IA y verificaciones posteriores a la implementación. Demostramos el desempeño de nuestro producto mediante pruebas en condiciones reales y proyectos piloto, para que usted mismo pueda evaluarlo.

Todos los Artículos del Blog

¿Prefiere hablarlo?

Converse con un especialista en seguridad pública de IREX sobre su entorno de cámaras, el despliegue y los requisitos de cumplimiento.

Solicitar una Demostración

Indíquenos aproximadamente cuántas cámaras opera, dónde deben permanecer los datos y las tres o cuatro cosas que más necesita detectar. Prepararemos una demostración con sus propias grabaciones.

Si el formulario no está disponible, escriba a [email protected].

Preguntas Frecuentes

¿IREX funciona con nuestras cámaras actuales?

Sí. Reutilizar sus cámaras es el modelo habitual de despliegue. IREX incorpora IA en la red que ya opera, desde un sitio hasta una ciudad o un país, sin un programa de reemplazo.

¿Conservamos la propiedad de los datos?

Sí. El cliente conserva la propiedad y el control del 100% de sus datos. IREX no posee ni accede al video, eventos, registros o planos del cliente.