La analítica de video convencional requiere meses de recopilación de datos, etiquetado y entrenamiento para cada nuevo caso de uso. StreamVLM™ utiliza un modelo de visión y lenguaje que ya comprende imágenes y lenguaje. Así, un detector descrito en una frase empieza a funcionar de inmediato.
Las necesidades específicas
Cada ciudad necesita ver situaciones para las que ningún proveedor de analítica vende un módulo: una persona tendida en el suelo, una cerca dañada o vertidos ilegales detrás de un depósito. Por separado, ninguna justifica un programa de entrenamiento. Juntas representan gran parte de lo que preocupa realmente a un municipio. Más adelante encontrará otras ocho, cada una redactada como la escribiría un operador.
StreamVLM™ cubre esa necesidad. Un operador escribe la condición en inglés sencillo; el motor evalúa los fotogramas en vivo según la instrucción. Las coincidencias generan alertas en tiempo real como cualquier otro evento. Cada canal de cámara admite varios detectores simultáneos basados en instrucciones, cada uno con su propio umbral de confianza, intervalo entre alertas y tipo de evento.
StreamVLM™ está disponible en versión beta en determinadas instancias. Está incluido en el precio estándar de IREX: no tiene cargos separados de licencia, módulo o suscripción. El único costo adicional es un nodo GPU local para inferencia VLM cuando el despliegue lo requiere.
Ejemplo
Ejemplo traducido al español: “Alerte cuando una persona esté tendida en el suelo”. No existe un conjunto de datos de personas que se desploman en andenes con el cual entrenar; recopilarlo no sería práctico ni digno. Un modelo de visión y lenguaje no lo necesita: ya comprende la escena, por lo que la instrucción constituye la especificación.
Casos de uso
Estos ejemplos de instrucciones están traducidos al español para ilustrar los casos de uso. Cada alerta incluye una imagen que una persona debe revisar. StreamVLM™ está disponible en versión beta en determinados despliegues.
“Detecte personas con las manos levantadas o tendidas en el suelo”. La plataforma reporta la postura, no el delito. El evento envía el fotograma, la cámara y la hora a quien designe la sucursal. Una persona abre el clip y decide cómo clasificarlo.
“Detecte indicios de un robo callejero con una motocicleta de dos ocupantes”. La clase de evento dice posible de forma deliberada. El detector observa un patrón en un cajero automático; la placa, el clip y la decisión se entregan a un agente.
Ver analítica de vehículos de dos ruedas →
“Detecte inundaciones en el paso inferior antes de los desplazamientos matutinos”. El mismo motor que observa personas observa infraestructura. El agua en ambos carriles genera un evento antes de que llegue el primer viajero, a tiempo para que un equipo vial cierre el acceso.
“Detecte la realización de grafitis con aerosol en el paso inferior del metro”. Un costo que asume todo operador de transporte y para el que ningún proveedor ofrece un módulo. La alerta es un evento para que una persona actúe, y nada en el detector identifica a nadie.
“Detecte nieve y residuos en la vía si no se retiraron antes de las 8 a. m.” Una instrucción puede incluir un plazo además de una condición. El detector permanece en silencio hasta que vence el período de limpieza. Aquí, una acumulación de nieve retirada y una rama caída aún bloquean un cruce peatonal y su rampa.
“Detecte cualquier camello en la autopista”. El ganado en la calzada es un problema regional sin un detector disponible de serie. La frase constituye toda la especificación, y la alerta llega a un operador vial con la cámara y el carril.
“Detecte a una persona que hace despegar un dron”. No se trata de un objeto en el encuadre, sino de algo que sucede: un terreno abierto, un control y un cuadricóptero que acaba de despegar. Una persona lo confirma antes de cualquier paso posterior.
“Detecte cualquier uso de dispositivos móviles, incluidos teléfonos y tabletas”. En un centro penitenciario, un teléfono es un problema de seguridad, no de tránsito. Se aplica el mismo detector definido mediante instrucciones, con las mismas reglas de Case ID y auditoría que cualquier otro módulo.
En el mapa
Explore los ejemplos por ubicación y abra una coincidencia para ver la imagen completa. Las instrucciones de StreamVLM™ se presentan traducidas al español. El mapa también incluye módulos entrenados y búsquedas en grabaciones.
Ejemplos ilustrativos. Las instrucciones de StreamVLM™ se presentan traducidas al español.
Qué lo diferencia
Sin recopilación de datos, etiquetado ni modelo específico por caso de uso. Un nuevo detector es una frase y funciona desde el momento en que se guarda.
Diseñado para sustituir y unificar varios módulos anteriores, entre ellos la detección de fuego, la supervisión de calidad de video y la detección de manipulación.
El umbral de confianza, el intervalo entre alertas y el tipo de evento se configuran individualmente, para que una condición ruidosa no sature al operador.
Cada instrucción, fotograma analizado, alerta y acción de agente se registra con marca de tiempo, identidad del operador y Case ID, bajo acceso basado en roles.
Los eventos de StreamVLM llegan a los mismos tres modos que los módulos clásicos: alertas en tiempo real, investigaciones sobre el archivo y exportación de Big Data.
Un detector definido mediante instrucciones opera dentro del mismo marco ético que los módulos entrenados, incluida la regla de restricciones estrechas.
Está disponible en versión beta en determinadas instancias. El equipo de ingeniería de IREX confirma si un despliegue concreto está incluido; no se promete de antemano.
No. StreamVLM está incluido en el precio estándar de IREX, sin cargos separados de licencia, módulo o suscripción. Si el despliegue necesita un nodo GPU local para inferencia VLM, su dimensionamiento y precio se definen con el equipo de ingeniería de IREX.
Varios. Un canal de cámara ejecuta varios detectores definidos mediante instrucciones al mismo tiempo, cada uno con su propio umbral de confianza, intervalo entre alertas y tipo de evento. IREX todavía no publica un límite por cámara: la densidad depende del hardware del cliente y se mide con sus propias cámaras durante el piloto.
Está diseñado para unificar varios de ellos, incluidos la detección de fuego, la supervisión de calidad de video y la detección de manipulación. Los detectores entrenados que operan a altas frecuencias de fotogramas siguen siendo la herramienta adecuada para seguir a personas y vehículos en movimiento rápido.
Un modelo de visión y lenguaje de pesos abiertos publicado por un tercero y utilizado tal como se publica. IREX no lo ajusta ni modifica sus pesos; lo fija por versión y suma de verificación. Solo lo sirve en puntos de acceso designados dentro de su instancia, sobre el nodo GPU de esa instancia. Ningún fotograma, instrucción ni evaluación sale de ella, y ninguna instancia de ninguna región utiliza inferencia en nubes de terceros. El modelo no llama a herramientas, no conserva memoria entre fotogramas y no tiene acceso al archivo, la base de eventos, listas de búsqueda, otras cámaras ni la red. Tampoco tiene una función biométrica: evalúa escenas y condiciones y no puede identificar a una persona. IREX no publica qué modelo utiliza; su identidad, versión y suma de verificación se comunican al cliente bajo un acuerdo de confidencialidad. Nombrar el modelo crea una superficie de ataque y comunica un dato que pierde vigencia. La parte B de la Política de gobernanza de modelos de IA pública establece todas estas reglas.
Siga explorando
Traiga las condiciones que realmente preocupan a su ciudad. Si una instrucción puede describirlas, normalmente podemos mostrarle un detector para ellas durante el piloto.
