सार्वजनिक सुरक्षा और कानून प्रवर्तन में विज़न-लैंग्वेज मॉडल का उदय

IREX Events सर्च, जिसमें सरल भाषा की क्वेरी Find persons lying down दी गई है और परिणाम में ज़मीन पर लेटे लोगों के कैमरा स्नैपशॉट की ग्रिड दिखती है, हर स्नैपशॉट लाल फ़्रेम में घिरा है

वीडियो एनालिटिक्स पारंपरिक रूप से सीमित, कार्य-विशिष्ट मॉडलों पर निर्भर रहा है: लोग, वाहन, नंबर प्लेट, धुआँ, घुसपैठ और बड़े पैमाने पर सामने आने वाली इसी तरह की अन्य स्थितियाँ। ये मॉडल लेबल किए गए डेटा पर प्रशिक्षित होते हैं और बार-बार एक जैसी पहचान के लिए ऑप्टिमाइज़ किए जाते हैं, जिसमें काफ़ी समय और मेहनत लगती है।

विज़न-लैंग्वेज मॉडल, या VLM, एक प्रकार का मल्टीमोडल AI है जो दृश्य जानकारी को प्राकृतिक भाषा से जोड़ता है। यह किसी इमेज या वीडियो फ़्रेम को देखकर किसी लिखित प्रश्न या निर्देश का उत्तर दे सकता है। वीडियो एनालिटिक्स में इसका अर्थ है कि ऑपरेटर संभवतः किसी स्थिति का वर्णन कर सके: “जब निगरानी वाली लेन में मलबा रुकावट डाले, तब अलर्ट करें”, और सिस्टम चुने गए कैमरों पर उसे खोजे, बिना कोई समर्पित डेटासेट या मॉडल बनाए।

प्रशिक्षित डिटेक्टरों से विवरणों तक

पारंपरिक वीडियो एनालिटिक्स बार-बार दोहराए जाने वाले, बड़ी मात्रा वाले कार्यों में उत्कृष्ट है। किसी व्यक्ति, वाहन, एक्सेस-कंट्रोल के संदर्भ में चेहरे, या नंबर प्लेट की पहचान के लिए सटीकता, गति और एकसमान प्रदर्शन आवश्यक है। ये सिस्टम आमतौर पर लेबल किए गए बड़े डेटासेट पर प्रशिक्षित होते हैं और एक ही काम के लिए ऑप्टिमाइज़ किए जाते हैं।

VLM एक मल्टीमोडल मॉडल है जो विज़ुअल इनपुट को भाषा से जोड़ता है। केवल “व्यक्ति” या “वाहन” जैसा क्लास लेबल लौटाने के बजाय, यह सामान्य दृश्य और भाषाई ज्ञान का उपयोग करके आकलन करता है कि कोई दृश्य किसी विवरण से मेल खाता है या नहीं। मॉडल ऐसे कार्य को भी संभाल सकता है जिसके लिए उसे विशेष रूप से प्रशिक्षित नहीं किया गया था, और इसमें उसका मार्गदर्शन किसी नए डेटासेट के बजाय टेक्स्ट प्रॉम्प्ट करता है।

यह उन स्थितियों के लिए उपयोगी है जिन्हें बताना आसान है, लेकिन किसी निश्चित नियम के रूप में एनकोड करना कठिन है। किसी वेयरहाउस को अवरुद्ध फ़ायर एग्ज़िट पहचानने की ज़रूरत हो सकती है। किसी ट्रांज़िट प्राधिकरण के लिए सड़क पर पड़ा मलबा चिंता का विषय हो सकता है। कोई शहर अवैध कचरा डंपिंग, ग्रैफ़िटी या बाढ़ की पहचान करना चाह सकता है। हालाँकि ये कार्य कानून प्रवर्तन में VLM के उपयोग के लिए महत्वपूर्ण हैं, फिर भी हो सकता है कि ये किसी साइट-विशिष्ट मॉडल को विकसित करने और बनाए रखने का पर्याप्त औचित्य न दें।

उच्च गति वाली ट्रैकिंग और एकसमान रूप से परिभाषित वस्तुओं के लिए पारंपरिक डिटेक्टर अब भी बेहतर विकल्प हैं। वीडियो एनालिटिक्स में VLM कम बारंबारता वाली, संदर्भ पर निर्भर स्थितियों के लिए अधिक उपयुक्त हैं, जहाँ परिचालन मूल्य कई फ़्रेमों में किसी वस्तु को ट्रैक करने के बजाय किसी विवरण से मिलान करने में निहित होता है।

वीडियो डेटा के लिए VLM का उपयोग: प्रॉम्प्ट-परिभाषित डिटेक्शन, दृश्य की समझ, जाँच और खोज, ऑपरेशनल अलर्ट और कैमरा स्थिति के लिए पाँच कार्ड

सार्वजनिक सुरक्षा और कानून प्रवर्तन में वीडियो डेटा के लिए VLM का उपयोग

व्यवहार में, VLM वीडियो वर्कफ़्लो के कई हिस्सों में सहायता कर सकते हैं:

  • प्रॉम्प्ट-परिभाषित डिटेक्शन: किसी लिखित स्थिति को चुने गए कैमरों के लिए डिटेक्टर में बदलना।
  • दृश्य की समझ: संबंधों और संदर्भ को पहचानना, जैसे प्रतिबंधित क्षेत्र के पास कोई व्यक्ति या ऐसी जगह रुका वाहन जहाँ उसे नहीं होना चाहिए।
  • जाँच और खोज: केवल लाइव वीडियो के बजाय रिकॉर्ड की गई फ़ुटेज पर भी वर्णनात्मक क्वेरी लागू करना।
  • ऑपरेशनल अलर्ट: वर्णित स्थिति दिखाई देने पर इवेंट बनाना और फिर उसे मौजूदा अलर्ट-और-समीक्षा प्रक्रियाओं में भेजना।
  • कैमरा स्थिति: अवरुद्ध, ख़राब गुणवत्ता वाले या गलत संरेखण वाले कैमरा व्यू की पहचान करना।

महत्वपूर्ण बात यह है कि VLM केवल वस्तुओं पर लेबल नहीं लगाता। वह आकलन करता है कि दृश्य प्रॉम्प्ट के अर्थ से मेल खाता है या नहीं। यही उसे उन स्थितियों के लिए उपयोगी बनाता है जिनका वर्णन करना लोगों के लिए आसान है, लेकिन जिन्हें किसी निश्चित नियम से परिभाषित करना कठिन है।

दायरा और सीमाएँ

सार्वजनिक सुरक्षा और कानून प्रवर्तन के लिए VLM हर एनालिटिक्स मॉडल का विकल्प नहीं हैं। वे संदर्भ की गलत व्याख्या कर सकते हैं, तेज़ी से घटने वाली घटनाओं को चूक सकते हैं, या पूरे विश्वास के साथ ऐसा उत्तर दे सकते हैं जो गलत हो - इस समस्या को आमतौर पर हैलुसिनेशन कहा जाता है। सार्वजनिक सुरक्षा में, एक फ़ॉल्स अलर्ट ऑपरेटर का ध्यान व्यर्थ करता है। एक छूटी हुई घटना के परिणाम और भी गंभीर हो सकते हैं।

VLM का प्रदर्शन कैमरे की स्थिति, रोशनी, दृश्य में रुकावट, प्रॉम्प्ट के शब्दों, कॉन्फ़िडेंस थ्रेशोल्ड और अलर्ट कूलडाउन पर निर्भर करता है। किसी डिटेक्टर का परीक्षण ऐसे सामान्य दृश्यों पर किया जाना चाहिए जो लक्षित स्थितियों से मिलते-जुलते हो सकते हैं, और उसे प्रतिनिधि फ़ुटेज पर सत्यापित किया जाना चाहिए।

इसीलिए डिप्लॉयमेंट का डिज़ाइन उतना ही मायने रखता है जितनी मॉडल की क्षमता। एक ज़िम्मेदार सिस्टम के लिए कॉन्फ़िडेंस थ्रेशोल्ड, अलर्ट कूलडाउन, कैमरों का दायरा तय करना, ऑडिट लॉग और मानवीय समीक्षा आवश्यक हैं। VLM को संकेत देना चाहिए, निर्णय नहीं लेना चाहिए। ऑपरेटरों को अब भी यह सत्यापित करने के लिए कि क्या हुआ, और आगे क्या करना है यह तय करने के लिए, संदर्भ, अधिकार और ज़िम्मेदारी की ज़रूरत होती है।

एक निजता संबंधी सीमा भी बनाए रखनी होती है। किसी दृश्य या स्थिति का वर्णन करने वाला प्रॉम्प्ट व्यक्तियों की पहचान करने या उन्हें ट्रैक करने का ज़रिया नहीं बनना चाहिए। किसी सार्वजनिक सुरक्षा प्लेटफ़ॉर्म में, VLM वीडियो एनालिटिक्स को पहचान संबंधी फ़ंक्शन से अलग रखा जाना चाहिए और उस पर वही एक्सेस कंट्रोल और ऑडिट आवश्यकताएँ लागू होनी चाहिए जो अन्य एनालिटिक्स पर लागू होती हैं।

एक ऑपरेटर IREX के Additional filters पैनल में Garbage एनालिटिक्स मॉड्यूल चुनता है

IREX की भूमिका

IREX यह दृष्टिकोण StreamVLM™ के ज़रिए लागू करता है, जो एक ऐसा फ़ीचर है जो सरल भाषा के प्रॉम्प्ट को काम करने वाले वीडियो डिटेक्टर में बदल देता है। ऑपरेटर “ज़मीन पर गिरा व्यक्ति”, “अवैध कचरा डंपिंग” या “प्रतिबंधित क्षेत्र में वाहन” जैसी स्थितियाँ बना सकते हैं, उन्हें कैमरों को असाइन कर सकते हैं और IREX के मौजूदा अलर्टिंग, सर्च और जाँच वर्कफ़्लो के ज़रिए इवेंट प्राप्त कर सकते हैं।

कई वेंडर मल्टीमोडल मॉडलों को परख रहे हैं, लेकिन अंतर इस बात में है कि ऑपरेशनल वर्कफ़्लो में VLM की जगह कहाँ है और कौन-से सुरक्षा उपाय मौजूद हैं। IREX में, StreamVLM इवेंट प्रशिक्षित एनालिटिक्स जैसे ही गवर्नेंस फ़्रेमवर्क का उपयोग करते हैं: भूमिका-आधारित एक्सेस, प्रॉम्प्ट और इवेंट लॉगिंग, ग्राहक इंस्टेंस के भीतर लोकल इन्फरेंस, और किसी भी प्रतिक्रिया से पहले मानवीय समीक्षा।

IREX StreamVLM™ प्रॉम्प्ट-परिभाषित डिटेक्टरों के ज़रिए सार्वजनिक सुरक्षा वीडियो प्लेटफ़ॉर्म का विस्तार करता है: किसी साइट-विशिष्ट स्थिति का वर्णन करें, उसे चुने गए कैमरों पर डिप्लॉय करें और उसे ऑडिट योग्य रियल-टाइम इवेंट में बदलें।

सभी ब्लॉग पोस्ट

बात करना पसंद करेंगे?

अपने कैमरा वातावरण, डिप्लॉयमेंट और अनुपालन आवश्यकताओं के बारे में किसी IREX सार्वजनिक-सुरक्षा विशेषज्ञ से बात करें।

डेमो बुक करें

हमें बताएं कि आप लगभग कितने कैमरे संचालित करते हैं, डेटा कहाँ रहना चाहिए, और वे तीन-चार चीज़ें कौन सी हैं जिन्हें आपको सबसे अधिक पहचानना है। हम आपकी अपनी रिकॉर्डिंग पर डेमो तैयार करेंगे।

यदि फ़ॉर्म उपलब्ध न हो, तो ईमेल करें [email protected].

सामान्य प्रश्न

क्या IREX हमारे मौजूदा कैमरों के साथ काम करता है?

हाँ। आपके मौजूदा कैमरों का पुनः उपयोग ही मानक तैनाती मॉडल है। IREX उन कैमरों में AI जोड़ता है जिन्हें आप पहले से चला रहे हैं, एक ही site से लेकर पूरे शहर या देश तक, बिना किसी rip-and-replace कार्यक्रम के।

क्या हमारे डेटा का स्वामित्व हमारे पास रहता है?

हाँ। ग्राहक अपने डेटा का 100% स्वामित्व और नियंत्रण बनाए रखते हैं; IREX न तो ग्राहक के वीडियो, events, logs, या floor plans का मालिक है, न ही उन्हें एक्सेस करता है।