¿Por Qué los Módulos de IA de IREX Ofrecen el Mejor Rendimiento Computacional para la Seguridad Pública?
La actual escasez mundial en el suministro de semiconductores está afectando a muchos sectores, en particular a las aplicaciones de IA. El uso eficiente de los recursos computacionales existentes nunca había sido tan importante.
IREX ha recorrido un largo camino para construir los algoritmos de IA más eficientes tanto en plataformas de CPU como de GPU. Nuestra optimización se realiza en múltiples capas:
- Optimización de la arquitectura de redes neuronales: nuestros científicos trabajan continuamente para alcanzar el equilibrio óptimo entre la complejidad de la red y la precisión.
- Cuantización: pasar de cálculos de punto flotante de 32 bits (alta precisión) a cálculos de 8 bits (baja precisión) genera una mejora sustancial del rendimiento de entre 3X y 4X, con una reducción mínima de la precisión del 0.3%. El principal ahorro de tiempo proviene de la reducción de 4X en el uso del ancho de banda de memoria, el cuello de botella de la mayoría de las aplicaciones de IA de alta carga.
- Motor de inferencia superior: IREX ha desarrollado una tecnología de inferencia propia para CPU que permite una inferencia eficiente en servidores estándar sin tarjetas GPU. El marco ofrece una aceleración de 1.5X-2X en comparación con OpenVINO. Además, con las instrucciones de red neuronal vectorial de última generación (VNNI), el motor de inferencia de IREX ofrece una mejora de rendimiento adicional de hasta un 50% en comparación con AVX-512. La mejora promedio con VNNI (para diferentes algoritmos de IA) es del 23%.
Facebook ha logrado un nivel similar de mejora del rendimiento. La aplicación de estas tecnologías de precisión reducida ayudó a Facebook a ahorrar capacidad de centros de datos al implementar modelos de hasta 5X de complejidad que, de otro modo, no se podrían implementar en las CPU de uso general tradicionales.
La mayoría de los módulos de IA de IREX para la detección de amenazas, el reconocimiento facial y la analítica de vehículos se ejecutan en tiempo real, en un solo hilo por cada transmisión de video. Esto significa que las CPU multinúcleo modernas pueden atender el número correspondiente de cámaras. No se requiere actualizar las GPU ni las cámaras.