Unindo Visão e Linguagem: os VLMs como o Futuro da Análise de Vídeo

Unindo Visão e Linguagem: os VLMs como o Futuro da Análise de Vídeo

Os modelos de visão e linguagem permitem que a IA assista a vídeos e depois conte o que viu. Eles foram projetados para atuar como intérpretes entre as entradas visuais e a linguagem humana, permitindo que tanto compreendam…

Afinal, o que são os VLMs?

Os modelos de visão e linguagem permitem que a IA assista a vídeos e depois conte o que viu. Eles foram projetados para atuar como intérpretes entre as entradas visuais e a linguagem humana, permitindo que tanto compreendam quanto expliquem o que observam. Ao contrário da IA tradicional, que ou analisa imagens ou lê texto, os VLMs fazem as duas coisas ao mesmo tempo.

O aprendizado zero-shot é uma técnica de aprendizado de máquina em que um modelo de IA consegue reconhecer e categorizar conceitos, objetos ou tarefas para os quais nunca foi especificamente treinado. Em vez disso, o modelo usa seu conhecimento prévio e uma descrição em texto para chegar à resposta correta. Isso poupa às empresas de segurança enormes quantias de dinheiro.

Como os VLMs transformam a análise de vídeo

Quer encontrar um homem de mochila azul saindo de uma loja de conveniência em um determinado endereço? Basta digitar. Os VLMs relacionam sua consulta a padrões visuais sem precisar de marcações predefinidas. Os VLMs assistem a vídeos de vigilância e geram resumos em linguagem simples, além de detectar riscos à segurança, como incêndios, anomalias ou acessos não autorizados, em tempo real.

Os benefícios:

  • Flexibilidade instantânea: Descobriu algo novo? Basta atualizar a instrução de texto e implantar na hora.
  • Sem necessidade de retreinamento: Um único modelo detecta de tudo, basta mudar as instruções.
  • Privacidade integrada: Rostos desfocados automaticamente em tempo real.
  • Busca em linguagem natural: Qualquer pessoa autorizada pode solicitar materiais de vídeo em linguagem simples, sem treinamento especial.
  • Capacidade zero-shot: Os VLMs executam novas tarefas sem retreinamento específico para o assunto.
  • Compreensão de vídeo: Acompanha ações ao longo do tempo, e não apenas em quadros isolados.
  • Saída estruturada: Gera arquivos JSON para integração com bancos de dados.
  • Anotação mínima: Precisa de menos dados de treinamento rotulados do que a IA tradicional.

Agora, vejamos os desafios

Alucinações

Quando a IA assiste a imagens de segurança e afirma com convicção eventos ou objetos que na verdade não estão presentes, isso se chama alucinação. No contexto da segurança pública, esses relatos falsos acarretam riscos sérios, podendo causar acusações injustas, desperdício de recursos de investigação ou a falha em identificar ameaças reais.

Por que a IA inventa coisas:

  • A IA prevê quais palavras costumam aparecer juntas, mas não “enxerga” de fato o que há no vídeo.
  • A IA pode memorizar padrões em vez de entender conceitos. Se for treinada principalmente com capacetes de segurança vermelhos, ela se confunde com um amarelo.
  • Alguns modelos têm dificuldade em identificar o momento em que um evento ocorreu. Podem dizer que algo aconteceu, mas não informam o carimbo de data e hora.

As alucinações não são raras, acontecem o tempo todo. O essencial é: a IA deve atuar estritamente como assistente, e suas decisões exigem supervisão humana obrigatória. Quando as pessoas permanecem no processo, a IA pode ser altamente eficaz sem o perigo de produzir falsificações.

Por que a supervisão humana é obrigatória

Os VLMs nunca devem operar sem supervisão humana constante. Na Europa, isso é, na verdade, uma exigência legal prevista na Lei de Inteligência Artificial da UE para sistemas de alto risco usados em segurança pública e órgãos de segurança. A Lei de IA da UE afirma expressamente: “Nenhuma ação ou decisão será tomada com base na identificação por IA, a menos que seja verificada e confirmada separadamente por pessoas físicas”.

“Os sistemas de IA de alto risco devem ser concebidos e desenvolvidos de tal forma, inclusive com ferramentas adequadas de interface homem-máquina, que possam ser efetivamente supervisionados por pessoas físicas durante o período em que estiverem em uso”. - Lei de IA da UE, Artigo 14: Supervisão Humana

Como os VLMs frequentemente alucinam, avaliam mal o contexto e carecem de bom senso, a supervisão humana é obrigatória para detectar falsos positivos e falsos negativos. Na segurança pública, um erro custa muito mais do que alguns minutos a mais de revisão.

Para implementar esse nível de controle de forma eficaz, os responsáveis humanos devem adotar protocolos operacionais claros:

  • Nunca confiar, sempre verificar cada resultado do VLM
  • Verificação por duas pessoas é necessária em setores específicos
  • Aprovação com humano no circuito para qualquer ação que modifique sistemas ou acesse dados sensíveis
  • Pontuações de confiança abaixo de 80% devem ser enviadas automaticamente a um revisor humano
  • Treinamento da IA: “Se não tiver certeza, diga “não foi possível confirmar”.

Conclusão

Os VLMs são ferramentas poderosas que tornam a análise de vídeo acessível, rápida e inteligente. Eles transformam horas de gravação em informações pesquisáveis e compreensíveis.

Mas são assistentes, não substitutos. A configuração ideal une os VLMs a revisores humanos, permitindo que a IA gerencie a varredura em grande volume enquanto as pessoas fornecem o discernimento e o contexto necessários para as decisões finais.

Ao contrário dos modelos tradicionais, que exigem ajuste fino para cada caso, os VLMs se baseiam em instruções em linguagem natural, o que os torna altamente adaptáveis. Na IREX.ai, essa solução é ideal para eventos irregulares ou de desenvolvimento lento, como detecção de quedas, inundações ou controle de qualidade de vídeo, em que a análise quadro a quadro em tempo real é desnecessária. Entre os principais benefícios estão a implantação rápida para novas tarefas sem necessidade de treinar redes neurais, a capacidade de coletar dados para otimização futura e o desempenho baseado em GPU. Este módulo será integrado a um sistema central de gerenciamento de regras, oferecendo uma interface uniforme para gerenciar instruções. O recurso está em desenvolvimento e estará disponível em breve.

Usados com responsabilidade e sob supervisão humana constante, os VLMs podem tornar a segurança pública mais eficaz, protegendo contra os riscos da automação total. A tecnologia é empolgante, mas é a supervisão humana que a mantém confiável.

Todos os Artigos do Blog

Prefere conversar?

Converse com um especialista da IREX em segurança pública sobre sua rede de câmeras, a implantação e os requisitos de conformidade.

Agende uma Demonstração

Diga-nos aproximadamente quantas câmeras você opera, onde os dados precisam permanecer e as três ou quatro coisas que mais precisa detectar. Vamos preparar uma demonstração com suas próprias gravações.

Se o formulário não estiver disponível, envie um e-mail para [email protected].

Perguntas Frequentes

A IREX funciona com nossas câmeras atuais?

Sim. Reutilizar suas câmeras atuais é o modelo padrão de implantação. A IREX acrescenta IA às câmeras que você já opera, de um único local a uma cidade ou país inteiro, sem substituir o parque instalado.

Mantemos a propriedade dos nossos dados?

Sim. Os clientes mantêm 100% da propriedade e do controle dos dados. A IREX não possui nem acessa vídeos, eventos, registros ou plantas dos clientes.