IREX StreamVLM™ सार्वजनिक सुरक्षा के लिए prompt-परिभाषित रियल-टाइम वीडियो एनालिटिक्स लाता है
IREX 4.43 (दिसंबर 2026–जनवरी 2027) में आ रहा StreamVLM™ सादी अंग्रेज़ी के विवरण को लाइव, VLM से सत्यापित डिटेक्टर बनाता है, जो ऑन-प्रेमाइसेस हज़ारों कैमरों में चलता है।
MURRIETA, CA — IREX (IrexAI Inc.), सार्वजनिक सुरक्षा के लिए IREX Ethical AI Platform की डेवलपर, ने आज StreamVLM™ की घोषणा की, जो सार्वजनिक सुरक्षा के लिए दुनिया की पहली Vision-Language Model (VLM) एनालिटिक्स है। StreamVLM™ IREX 4.43 में आएगा, जिसकी रिलीज़ दिसंबर 2026 से जनवरी 2027 की शुरुआत के बीच निर्धारित है। StreamVLM™ सार्वजनिक सुरक्षा, परिवहन और महत्वपूर्ण अवसंरचना की टीमों को सादी अंग्रेज़ी के टेक्स्ट prompt से कस्टम रियल-टाइम वीडियो डिटेक्टर बनाने देता है। न कोई dataset जुटाना है, न कोई इमेज annotate करनी है, न कोई neural network दोबारा train करना है: नया डिटेक्टर एक वाक्य से शुरू होता है और महीनों में नहीं, मिनटों में चालू हो सकता है।
StreamVLM™ को ChatGPT या Gemini जैसे सामान्य-उद्देश्य AI सहायकों से अलग करती है हार्डवेयर दक्षता और स्केल। इसका आर्किटेक्चर और मॉडल लाइव वीडियो के लिए उद्देश्य-निर्मित हैं, इसलिए एक GPU किसी सामान्य-उद्देश्य मॉडल की तुलना में कहीं अधिक कैमरों को सेवा देता है, और IREX प्लेटफ़ॉर्म हज़ारों कैमरों में StreamVLM™ के सैकड़ों परिदृश्यों का ऑर्केस्ट्रेशन करता है। StreamVLM™ ऑन-प्रेमाइसेस भी चलता है, ग्राहक के अपने इंफ्रास्ट्रक्चर के भीतर: कोई वीडियो और कोई डेटा देश या निजी नेटवर्क से बाहर नहीं जाता।
StreamVLM™ किस समस्या को हल करता है
परंपरागत रूप से हर नए ख़तरे का मतलब एक नया मॉडल रहा है। जो एजेंसी ऐसी चीज़ पहचानना चाहती थी जो उसकी एनालिटिक्स में पहले से शामिल नहीं थी, उसे हज़ारों इमेज जुटानी पड़ती थीं, उन्हें लेबल करना पड़ता था, डिटेक्टर train करना पड़ता था और उसे अपने सर्वरों पर रोल आउट करना पड़ता था। हर अनुरोध के लिए यह चक्र महीनों लेता है।
बड़े Vision-Language Model प्रशिक्षण का चरण हटा देते हैं, क्योंकि वे जो देखते हैं उसे शब्दों में समझते हैं। वे धीमे भी हैं: GPU पर एक VLM कॉल में प्रति फ़्रेम लगभग 1 से 2 सेकंड लगते हैं, जबकि प्रोडक्शन कैमरा नेटवर्क को कई स्ट्रीम में प्रति GPU प्रति सेकंड दर्जनों फ़्रेम चाहिए। हर कैमरे के हर फ़्रेम पर VLM लगाना व्यावहारिक नहीं है।
StreamVLM™ इस टकराव को दो-चरणीय फ़नल से सुलझाता है। यह अपने आठ प्रोडक्शन-अनुमोदित डिटेक्शन सेगमेंट में 97.9–100.0% precision तक पहुँचता है।
दो-चरणीय फ़नल कैसे काम करता है
असली कैमरा नेटवर्क पर गंभीर घटनाएँ दुर्लभ होती हैं: अधिकांश फ़्रेम सामान्य गतिविधि दिखाते हैं। StreamVLM™ एक सावधान VLM सत्यापनकर्ता के आगे एक तेज़ मल्टीमॉडल फ़िल्टर रखता है, ताकि भारी GPU कंप्यूट तभी ख़र्च हो जब वाक़ई कुछ हो रहा हो।
- Stage 1: तेज़ मल्टीमॉडल Embedder (semantic margin फ़िल्टर)। प्लेटफ़ॉर्म लाइव स्ट्रीम से, या उसके भीतर के बहुभुज Region of Interest (ROI) से, कीफ़्रेम सैंपल करता है और हर फ़्रेम को साझा vision-language embedding स्पेस में प्रोजेक्ट करता है। वह फ़्रेम की तुलना कैश किए गए
POSITIVEलक्ष्य वाक्यांशों औरNEGATIVEझूठे-अलार्म वाक्यांशों से करता है और similarity margin की गणना मिलीसेकंड में करता है। सामान्य फ़्रेम और अनुमानित मिलते-जुलते दृश्य यहीं रुक जाते हैं। - Stage 2: Vision-Language Model सत्यापन (
CHECK)। StreamVLM™ VLM को तभी बुलाता है जब Stage 1 का स्कोर कॉन्फ़िगर किए गए ट्रिगर (उदाहरण के लिए 80%) को पार करे और ज़रूरी अवधि तक बना रहे। डिटेक्टर केCHECKनिर्देश के मार्गदर्शन में VLM दृश्य की जाँच करता है और संरचित JSON निर्णय (yesयाno), एक confidence स्कोर, और जो साक्ष्य उसने देखा उसका सादी अंग्रेज़ी में विवरण लौटाता है।
असर आसानी से मापा जा सकता है। 1 FPS पर सैंपल किए गए 5 मिनट के औद्योगिक आँगन के वीडियो (336 फ़्रेम जाँच) में, मज़दूरों ने चार मिनट तक धातु की अँगीठी के पास चिंगारियाँ पैदा कीं। नेगेटिव एंकर के रूप में “welding sparks at a construction site” (निर्माण स्थल पर वेल्डिंग की चिंगारियाँ) सेट करने पर, उन चिंगारियों ने 55–76% स्कोर किया, यानी 80% ट्रिगर से नीचे। 336 में से केवल 29 फ़्रेम ट्रिगर पार कर सके, और वे मिलकर सिर्फ़ 5 Stage 2 VLM कॉल में बदल गए, यानी VLM कॉल में 91% से अधिक की कमी। जब असली लपटें उठीं, तो StreamVLM™ ने आग के तीनों प्रसंगों की 95% confidence के साथ पुष्टि की।
तीन-भाग वाले Prompt: झूठे अलार्म डिज़ाइन से बाहर
Text-to-image embedding मॉडल निषेध को ठीक से नहीं संभालते। “no smoke” (धुआँ नहीं) वाला prompt भी “smoke” शब्द से मेल खाता है, और “camels on the road” (सड़क पर ऊँट) का केवल-पॉज़िटिव prompt पास से गुज़रते घोड़े पर भी ट्रिगर हो सकता है, क्योंकि दोनों जानवर embedding स्पेस में एक-दूसरे के उतने क़रीब हैं जितने ख़ाली डामर के नहीं।
इसलिए StreamVLM™ किसी एक वाक्य पर निर्भर नहीं रहता। प्रशासक सिस्टम-व्यापी VLM Detector Catalog में हर डिटेक्टर तीन भागों से बनाते हैं:
POSITIVE(1–16 लक्ष्य वाक्यांश): रोशनी की अलग-अलग स्थितियों और कैमरा कोणों में घटना के छोटे दृश्य विवरण।NEGATIVE(0–16 भ्रामक वाक्यांश): ज्ञात गैर-घटनाएँ और दृष्टि-भ्रम वाले मिलते-जुलते दृश्य, जो Stage 1 पर झूठे ट्रिगर दबाते हैं।CHECK(Stage 2 सत्यापन नियम): स्पष्ट दृश्य मानदंड जिनसे VLM घटना की पुष्टि करता है और अपने निर्णय की व्याख्या देता है।
उदाहरण 1: चिमनी और औद्योगिक धुआँ
POSITIVE:
thick black smoke rising from a chimney
dark gray smoke billowing from a rooftop chimney
a plume of smoke coming out of a house chimney
white smoke rising from a residential chimney
a smoking chimney over houses in winter
NEGATIVE:
white steam evaporating from a vent
fog over rooftops in the morning
low clouds over a residential area
a dirty camera lens with smudges
lens flare and sun glare in the sky
a dark tree silhouette against the sky
clear sky over houses with no smoke
CHECK:
Determine whether smoke is actively being emitted from a chimney or flue.
A real chimney smoke plume originates at a chimney mouth, is attached to it,
widens and fades as it rises, and drifts or changes shape across frames.
Distinguish steam, fog or low clouds, lens dirt, glare, and dark static objects.
If smoke is present, classify its color as white, dark, or unknown.उदाहरण 2: खुली आग बनाम वेल्डिंग की चिंगारियाँ
औद्योगिक साइट पर अनधिकृत जलाने या शुरुआती आग को पकड़ने के लिए, और नियमित रखरखाव पर अलार्म बजाए बिना, ऑपरेटर पॉज़िटिव आग-एंकर (“open flames burning” यानी जलती खुली लपटें, “a fire with thick smoke” यानी घने धुएँ वाली आग, “a burning car on fire” यानी जलती कार) को सूरज की चमक, वाहनों की हेडलाइट, जलते बल्ब और “welding sparks at a construction site” जैसे नेगेटिव भ्रामक वाक्यांशों के साथ जोड़ते हैं। Stage 1 चिंगारियों को ट्रिगर से नीचे रखता है; Stage 2 असली आग की पुष्टि करता है और ऐसा साक्ष्य लिखता है जिसे ऑपरेटर एक नज़र में पढ़ सके: “Visible smoke plume rising from a small fire in a metal container, with glowing embers and burning material at the base.” (धातु के कंटेनर में छोटी आग से उठता धुएँ का दिखाई देता गुबार, आधार पर दहकते अंगारे और जलती सामग्री के साथ।)
यही दूसरी नज़र शहर की सड़कों पर भी काम आती है। सार्वजनिक सड़क कैमरों पर कई दिनों के लाइव परीक्षणों में, जहाँ गिरे हुए पैदल यात्रियों, आपातकालीन वाहनों, और फ़ुटपाथ पर स्कूटर या साइकिलों पर नज़र रखी जा रही थी, पूरे शरीर की भालू पोशाक पहने सड़क प्रचारकों ने बार-बार लेटे हुए व्यक्ति के लिए Stage 1 की आकृति-समानता को ट्रिगर किया। हर बार Stage 2 VLM ने दोबारा देखा और अलार्म को ख़ारिज कर दिया।
प्रोडक्शन-अनुमोदित प्रदर्शन
हर StreamVLM™ डिटेक्टर प्रोफ़ाइल को अनुमोदन से पहले मान्य किया जाता है। रिलीज़ गेट सख़्त है: डिटेक्टर तभी जारी होता है जब वह होल्ड-आउट टेस्ट डेटा पर कम से कम 97.0% precision और कम से कम 90.0% recall हासिल करे।
आठ प्रोडक्शन-अनुमोदित डिटेक्शन सेगमेंट के मापे गए परिणाम, एक NVIDIA L40S पर अपेक्षित थ्रूपुट के साथ। L40S वह डेटा-सेंटर GPU है जिसे IREX अमेरिकी ग्राहकों के लिए अपनी Dallas सुविधा में चलाता है:
| डिटेक्शन सेगमेंट | Precision | Recall | F1 स्कोर | अपेक्षित थ्रूपुट (1× NVIDIA L40S) |
|---|---|---|---|---|
| फ़्रेम में हथियार (हथियार पहचान) | 98.9% | 95.8% | 0.973 | ~3 FPS |
| धुआं और आग (आग और धुआं पहचान) | 99.2% | 96.1% | 0.976 | ~11 FPS |
| कोई भी धुआं (आग, चिमनी, निकास) | 98.2% | 94.7% | 0.964 | ~51 FPS |
| ख़तरनाक आग का धुआं (आग बनाम भाप/निकास) | 97.9% | 92.0% | 0.949 | ~85 FPS |
| सड़क कार्य और निर्माण क्षेत्र | 97.9% | 97.9% | 0.979 | ~40 FPS |
| अनधिकृत सड़क विक्रय | 100.0% | 97.1% | 0.985 | ~77 FPS |
| कैमरा तोड़फोड़: डिफ़ोकस | 100.0% | 94.6% | 0.972 | ~15 FPS |
| वन्यजीव / सड़क पर ऊँट | 100.0% | 100.0% | 1.000 | ~5 FPS |
Precision, recall और F1 IREX वैलिडेशन बेंचमार्क के मापे गए टेस्ट-सेट परिणाम हैं। थ्रूपुट एक NVIDIA L40S के लिए इंजीनियरिंग अनुमान है, जिसे बेंचमार्क रन से GPU कोर की संख्या के अनुसार स्केल किया गया है; मानक IREX GPU नोड में दो होते हैं। वास्तविक सटीकता कैमरा की स्थिति, रोशनी और Region of Interest कॉन्फ़िगरेशन पर निर्भर करती है।
हर कार्य के लिए सही फ़्रेम रेट
हर एप्लिकेशन को वीडियो का हर सेकंड देखने की ज़रूरत नहीं होती। StreamVLM™ हर कैमरे को उसी अंतराल पर जाँचता है जो कार्य की माँग है, और यही अंतराल तय करता है कि एक GPU कितने कैमरे कवर कर सकता है:
- समय-संवेदी सुरक्षा: आग और धुआं पहचान के लिए IREX तेज़ प्रतिक्रिया हेतु हर 10 से 30 सेकंड में एक फ़्रेम जाँचने की सलाह देता है।
- धीरे बदलने वाली स्थितियाँ: कैमरा लेंस की निगरानी या सड़क-सफ़ाई नियंत्रण के लिए StreamVLM™ हर 10 से 60 मिनट में एक फ़्रेम की समीक्षा कर सकता है।
चूँकि थ्रूपुट कैमरों में साझा होता है, लंबा अंतराल कवरेज को कई गुना बढ़ा देता है। हर 30 सेकंड में एक फ़्रेम पर ~85 FPS से चलने वाला डिटेक्टर सैद्धांतिक रूप से एक L40S पर 2,000 से अधिक कैमरा चैनल कवर कर सकता है, और मिनटों में मापे गए अंतराल पर वही GPU कहीं आगे तक पहुँचता है। यही StreamVLM™ को किसी शहर या राज्य के हज़ारों कैमरों तक स्केल करने देता है। हर डिप्लॉयमेंट की अंतिम साइज़िंग IREX इंजीनियरिंग करती है।
संचालन नियंत्रण और नैतिक AI गवर्नेंस के लिए निर्मित
StreamVLM™ मौजूदा IREX कमांड-सेंटर वर्कफ़्लो में जुड़ जाता है:
- एकल-फ़्रेम डिटेक्टर परीक्षण: डिटेक्टर के लाइव होने से पहले, प्रशासक prompt को लाइव कैमरा स्नैपशॉट या अपलोड की गई JPEG या PNG इमेज पर परखते हैं और सटीक similarity स्कोर, VLM का निर्णय और उसकी व्याख्या देखते हैं।
- प्रति कैमरा कई डिटेक्टर: एक कैमरा चैनल पर कई StreamVLM™ डिटेक्टर चल सकते हैं, हर एक का अपना बहुभुज ROI होता है। जब डिटेक्टर एक ही ROI साझा करते हैं, तो Stage 1 फ़्रेम embedding एक बार गणना करता है और हर सक्रिय नियम के लिए उसे दोबारा इस्तेमाल करता है। प्रति कैमरा सीमा ग्राहक के हार्डवेयर पर निर्भर करती है और पायलट के दौरान पुष्ट की जाती है।
- डिज़ाइन से Fail-open: यदि लोड बढ़ने के दौरान VLM सत्यापन सेवा कुछ समय के लिए अनुपलब्ध हो, तो StreamVLM™ फिर भी Stage 1 अलर्ट उठाता है और उसे “अतिरिक्त जाँच नहीं की गई” चिह्नित करता है, ताकि कोई तत्काल सुरक्षा घटना चुपचाप छूट न जाए।
- Transparency by Design और जवाबदेही: हर StreamVLM™ अलर्ट के साथ पूरा फ़्रेम, ROI क्रॉप, similarity प्रतिशत और VLM का सादे टेक्स्ट में साक्ष्य होता है। इवेंट खोजने के लिए Case ID चाहिए, और हर कॉन्फ़िगरेशन बदलाव और हर खोज समर्पित Role-Based Access Control (RBAC) अनुमतियों के तहत अमिट Audit Logbook में दर्ज होती है।
उपलब्धता और रोडमैप
StreamVLM™ रियल-टाइम अलर्टिंग IREX 4.43 में आएगी, जिसकी रिलीज़ दिसंबर 2026 से जनवरी 2027 की शुरुआत के बीच निर्धारित है। यह ग्राहक की IREX डिप्लॉयमेंट के भीतर एक GPU नोड पर चलता है, जिसका आकार IREX इंजीनियरिंग तय करती है, जबकि प्लेटफ़ॉर्म का शेष हिस्सा मानक सर्वरों पर चलता रहता है। संग्रहीत वीडियो आर्काइव में डिस्क्रिप्टर-आधारित पूर्वव्यापी प्राकृतिक-भाषा खोज 2027 के IREX प्रोडक्ट रोडमैप में है।
IREX के बारे में
IREX सार्वजनिक सुरक्षा, स्मार्ट सिटी और ट्रैफ़िक प्रबंधन के लिए एक Ethical AI Platform है, जिसके 8 देशों में दुनिया भर में 250,000+ कैमरे तैनात हैं और एक ही इंस्टेंस में 100,000+ कैमरे प्रमाणित हैं। Transparency by Design के सिद्धांत पर बना, IREX मौजूदा कैमरा नेटवर्क को बुद्धिमान, ऑडिट-योग्य टूल में बदलता है, जबकि ग्राहक अपने डेटा पर पूर्ण संप्रभुता बनाए रखते हैं।