Uniendo Visión y Lenguaje: los VLM como el Futuro de la Analítica de Video

Uniendo Visión y Lenguaje: los VLM como el Futuro de la Analítica de Video

Los modelos de visión y lenguaje permiten que la IA observe videos y luego cuente lo que vio. Están diseñados para actuar como intérpretes entre las entradas visuales y el lenguaje humano, y así pueden comprender…

¿Qué son los VLM?

Los modelos de visión y lenguaje permiten que la IA observe videos y luego cuente lo que vio. Están diseñados para actuar como intérpretes entre las entradas visuales y el lenguaje humano, y así pueden tanto comprender como explicar lo que observan. A diferencia de la IA tradicional, que o bien mira imágenes o bien lee texto, los VLM hacen ambas cosas a la vez.

El aprendizaje zero-shot es una técnica de aprendizaje automático en la que un modelo de IA puede reconocer y clasificar conceptos, objetos o tareas para los que nunca fue entrenado específicamente. En lugar de eso, el modelo usa su conocimiento previo y una descripción en texto para llegar a la respuesta correcta. Esto les ahorra enormes cantidades de dinero a las empresas de seguridad.

Cómo transforman los VLM la analítica de video

¿Quiere encontrar a un hombre con una mochila azul que sale de una tienda de la esquina en una dirección determinada? Basta con escribirlo. Los VLM relacionan su consulta con patrones visuales sin necesidad de marcaciones predefinidas. Los VLM observan videos de vigilancia y generan resúmenes en lenguaje sencillo, además de detectar en tiempo real riesgos para la seguridad como incendios, anomalías o accesos no autorizados.

Los beneficios:

  • Flexibilidad inmediata: ¿Descubrió algo nuevo? Solo actualice la instrucción de texto e impleméntela al instante.
  • Sin necesidad de reentrenamiento: Un único modelo detecta todo y cualquier cosa; solo hay que cambiar las instrucciones.
  • Privacidad integrada: Los rostros se difuminan automáticamente en tiempo real.
  • Búsqueda en lenguaje natural: Cualquier persona autorizada puede solicitar material de video en lenguaje sencillo, sin capacitación especial.
  • Capacidad zero-shot: Los VLM funcionan en tareas nuevas sin reentrenamiento específico para el tema.
  • Comprensión de video: Siguen las acciones a lo largo del tiempo, no solo en fotogramas individuales.
  • Salida estructurada: Generan archivos JSON para la integración con bases de datos.
  • Anotación mínima: Necesitan menos datos de entrenamiento etiquetados que la IA tradicional.

Ahora veamos los desafíos

Alucinaciones

Cuando la IA observa grabaciones de seguridad y miente con total seguridad sobre eventos u objetos que en realidad no están presentes, se denomina alucinación. En un contexto de seguridad pública, estos informes falsos conllevan riesgos graves: pueden provocar acusaciones injustas, desperdicio de recursos de investigación o que no se identifiquen amenazas reales.

Por qué la IA inventa cosas:

  • La IA predice qué palabras suelen ir juntas, pero en realidad no “ve” lo que hay en el video.
  • La IA puede memorizar patrones en lugar de comprender conceptos. Si se entrenó sobre todo con cascos de seguridad rojos, se confunde con uno amarillo.
  • Algunos modelos tienen dificultades para precisar el momento en que ocurrió un evento. Pueden decir que algo sucedió, pero no indican la marca de tiempo.

Las alucinaciones no son raras, ocurren todo el tiempo. La clave es esta: la IA debe servir estrictamente como asistente, y sus decisiones requieren supervisión humana obligatoria. Cuando las personas permanecen en el proceso, permitimos que la IA sea muy eficaz sin el peligro de que invente falsedades.

Por qué la supervisión humana es obligatoria

Los VLM nunca deben operar sin supervisión humana constante. En Europa, esto es de hecho un requisito legal conforme a la Ley de Inteligencia Artificial de la UE para los sistemas de alto riesgo usados en las fuerzas del orden y la seguridad pública. La Ley de IA de la UE establece de forma explícita: “No se adoptará ninguna medida ni decisión sobre la base de la identificación por IA, a menos que sea verificada y confirmada por separado por personas físicas”.

“Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de tal manera, incluso con herramientas adecuadas de interfaz humano-máquina, que personas físicas puedan supervisarlos eficazmente durante el período en que estén en uso”. - Ley de IA de la UE, artículo 14: Supervisión humana

Dado que los VLM alucinan con frecuencia, juzgan mal el contexto y carecen de sentido común, la supervisión humana es obligatoria para detectar falsos positivos y falsos negativos. En seguridad pública, un error cuesta mucho más que unos minutos adicionales de revisión.

Para implementar este nivel de control de manera eficaz, las personas responsables deben adoptar protocolos operativos claros:

  • Nunca confiar, siempre verificar cada resultado de un VLM
  • La verificación por dos personas es necesaria en sectores específicos
  • Aprobación con intervención humana para cualquier acción que modifique sistemas o acceda a datos sensibles
  • Las puntuaciones de confianza, si son inferiores al 80%, deben enviarse automáticamente a un revisor humano
  • Entrenamiento de la IA: “Si no está seguro, diga “no se puede confirmar””.

En resumen

Los VLM son herramientas poderosas que hacen que la analítica de video sea accesible, rápida e inteligente. Convierten horas de grabaciones en información que se puede buscar y comprender.

Pero son asistentes, no reemplazos. La configuración ideal combina los VLM con revisores humanos: la IA se encarga del escaneo masivo y las personas aportan el criterio y el contexto necesarios para las decisiones finales.

A diferencia de los modelos tradicionales, que requieren ajuste fino para cada caso, los VLM se basan en instrucciones en lenguaje natural, lo que los hace muy adaptables. En IREX.ai, esta solución es ideal para eventos irregulares o de desarrollo lento, como la detección de caídas, las inundaciones o el monitoreo del control de calidad del video, donde no es necesario el análisis en tiempo real cuadro por cuadro. Entre los beneficios clave están la rápida implementación para nuevas tareas sin necesidad de entrenar redes neuronales, la posibilidad de recopilar datos para una optimización futura y el rendimiento basado en GPU. Este módulo se integrará en un sistema central de gestión de reglas, que ofrecerá una interfaz uniforme para administrar las instrucciones. La función se encuentra actualmente en desarrollo y estará disponible en un futuro cercano.

Si se usan de manera responsable, con supervisión humana constante, los VLM pueden hacer más eficaz la seguridad pública y a la vez proteger frente a los riesgos de la automatización total. La tecnología es emocionante, pero la supervisión humana es lo que la mantiene confiable.

Todos los Artículos del Blog

¿Prefiere hablarlo?

Converse con un especialista en seguridad pública de IREX sobre su entorno de cámaras, el despliegue y los requisitos de cumplimiento.

Solicitar una Demostración

Indíquenos aproximadamente cuántas cámaras opera, dónde deben permanecer los datos y las tres o cuatro cosas que más necesita detectar. Prepararemos una demostración con sus propias grabaciones.

Si el formulario no está disponible, escriba a [email protected].

Preguntas Frecuentes

¿IREX funciona con nuestras cámaras actuales?

Sí. Reutilizar sus cámaras es el modelo habitual de despliegue. IREX incorpora IA en la red que ya opera, desde un sitio hasta una ciudad o un país, sin un programa de reemplazo.

¿Conservamos la propiedad de los datos?

Sí. El cliente conserva la propiedad y el control del 100% de sus datos. IREX no posee ni accede al video, eventos, registros o planos del cliente.