Por Que os Módulos de IA da IREX Oferecem o Melhor Desempenho Computacional para a Segurança Pública?
A atual escassez global no fornecimento de semicondutores está afetando muitos setores, em particular as aplicações de IA. O uso eficiente dos recursos computacionais existentes nunca foi tão importante.
A IREX percorreu um longo caminho para construir os algoritmos de IA mais eficientes tanto em plataformas de CPU quanto de GPU. Nossa otimização ocorre em várias camadas:
- Otimização da arquitetura de redes neurais: nossos cientistas trabalham continuamente para alcançar o equilíbrio ideal entre a complexidade e a precisão da rede.
- Quantização: a mudança de cálculos de ponto flutuante de 32 bits (alta precisão) para 8 bits (baixa precisão) proporciona um ganho substancial de desempenho entre 3X e 4X, com uma pequena redução de precisão de 0,3%. A principal economia de tempo vem da redução de 4X na utilização da largura de banda da memória, o gargalo da maioria das aplicações de IA de alta carga.
- **Mecanismo de inferência superior: **a IREX desenvolveu uma tecnologia proprietária de inferência para CPUs, que permite a inferência eficiente em servidores padrão sem placas de GPU. A estrutura proporciona uma aceleração de 1,5X a 2X em comparação com o OpenVINO. Além disso, nas instruções de próxima geração Vector Neural Network Instructions (VNNI), o mecanismo de inferência da IREX proporciona um ganho adicional de desempenho de até 50% em comparação com o AVX-512. O ganho médio com VNNI (para diferentes algoritmos de IA) é de 23%.
O Facebook alcançou um nível semelhante de ganho de desempenho. A prática dessas tecnologias de precisão reduzida ajudou o Facebook a economizar capacidade de data center ao implantar modelos com até 5X mais complexidade, que de outra forma não poderiam ser implantados em CPUs tradicionais de uso geral.
A maioria dos módulos de IA da IREX para detecção de ameaças, reconhecimento facial e análise de veículos é executada em tempo real, em uma única thread para cada fluxo de vídeo. Isso significa que as CPUs modernas de vários núcleos podem atender ao número correspondente de câmeras. Não é necessária nenhuma atualização de GPU nem de câmera.