सार्वजनिक सुरक्षा के लिए IREX एआई मॉड्यूल सर्वश्रेष्ठ कंप्यूटेशनल प्रदर्शन क्यों देते हैं?
सेमीकंडक्टर की आपूर्ति में जारी वैश्विक कमी कई उद्योगों को प्रभावित कर रही है, विशेष रूप से एआई अनुप्रयोगों को। मौजूदा कंप्यूटेशनल संसाधनों का कुशल उपयोग पहले कभी इतना महत्वपूर्ण नहीं रहा।
IREX ने CPU और GPU दोनों प्लेटफ़ॉर्म पर सबसे कुशल एआई एल्गोरिदम बनाने के लिए लंबा सफ़र तय किया है। हमारा अनुकूलन कई परतों पर होता है:
- न्यूरल नेटवर्क आर्किटेक्चर का अनुकूलन: हमारे वैज्ञानिक नेटवर्क की जटिलता और सटीकता के बीच इष्टतम संतुलन तक पहुंचने के लिए लगातार काम करते हैं।
- क्वांटाइज़ेशन: 32-बिट फ़्लोटिंग-पॉइंट (उच्च-परिशुद्धता) से 8-बिट (निम्न-परिशुद्धता) गणित पर जाने से सटीकता में केवल 0.3% की मामूली कमी के साथ 3X से 4X के बीच का पर्याप्त प्रदर्शन लाभ मिलता है। समय की मुख्य बचत मेमोरी बैंडविड्थ उपयोग में 4X की कमी से आती है, जो अधिकांश उच्च-लोड एआई अनुप्रयोगों के लिए बाधा है।
- बेहतर इन्फ़रेंस इंजन: IREX ने CPU के लिए एक मालिकाना इन्फ़रेंस तकनीक विकसित की है, जो GPU कार्ड के बिना मानक सर्वरों पर कुशल इन्फ़रेंस संभव बनाती है। यह फ़्रेमवर्क OpenVINO की तुलना में 1.5X-2X तेज़ी लाता है। इसके अलावा, अगली पीढ़ी के वेक्टर न्यूरल नेटवर्क इंस्ट्रक्शन (VNNI) पर, IREX इन्फ़रेंस इंजन AVX-512 की तुलना में 50% तक का अतिरिक्त प्रदर्शन लाभ देता है। (अलग-अलग एआई एल्गोरिदम के लिए) औसत VNNI लाभ 23% है।
Facebook ने भी इसी स्तर का प्रदर्शन लाभ हासिल किया है। ऐसी कम-परिशुद्धता तकनीकों के उपयोग ने Facebook को डेटा सेंटर क्षमता बचाने में मदद की, जबकि उसने ऐसे मॉडल तैनात किए जिनकी जटिलता 5X तक थी और जो अन्यथा पारंपरिक सामान्य-उद्देश्य वाले CPU पर तैनात नहीं हो पाते।
खतरे की पहचान, चेहरा पहचान और वाहन एनालिटिक्स के लिए अधिकांश IREX एआई मॉड्यूल प्रत्येक वीडियो स्ट्रीम के लिए एक ही थ्रेड में रियल-टाइम में चलते हैं। इसका मतलब है कि आधुनिक मल्टी-कोर CPU संबंधित संख्या में कैमरों को सेवा दे सकते हैं। GPU या कैमरा अपग्रेड की आवश्यकता नहीं है।