Kajian ini menilai pemecut AI dari Nvidia, Hailo, dan Axelera AI merentasi tujuh model pengesanan objek, termasuk SSD Mobilenet dan pelbagai versi Yolo, untuk mensimulasikan sistem pengawasan dengan 14 aliran video 1080p bersamaan. Matlamatnya adalah untuk menilai throughput masa nyata, kecekapan tenaga, kerumitan penempatan dan ketepatan pengesanan pemecut teratas ini, yang semuanya bercakap dengan cadangan nilai TCO keseluruhan produk.

Mengukur prestasi pemecut AI dalam aplikasi penglihatan mesin

Semua pemecut yang diuji memberikan keuntungan yang signifikan ke atas kesimpulan CPU sahaja-sehingga sehingga 30x lebih cepat-membuktikan bagaimana pemecut perkakasan yang dedikasi penting telah menjadi kesimpulan AI. Antara peranti yang diuji, pecutan PCIe dan M.2 dari Axelera menunjukkan secara konsisten lebih kuat di setiap model, terutamanya dengan beban kerja Yolov5M dan YOLOV8L yang lebih berat. Terutama, kad Axelera PCIe mengekalkan tahap prestasi di mana beberapa pemecut lain meruncing, dan secara konsisten merokok persaingan di semua pelaksanaan model yang diuji.

Yang mengatakan, GPU RTX A4000 yang lebih tinggi NVIDIA mengekalkan prestasi kompetitif dalam ujian tertentu, terutamanya dengan model yang lebih kecil seperti YOLOV5S. Modul M.2 Hailo menawarkan alternatif yang padat, berkuasa rendah, walaupun ia melangkah ke dalam melalui throughput mentah.

Secara keseluruhannya, laporan ini menggambarkan bahawa prestasi kesimpulan boleh berbeza -beza bergantung kepada model AI dan pasangan perkakasan -satu pengambilan penting bagi penyepadu dan pemaju yang mereka bentuk sistem untuk beban kerja pengesanan imej tertentu. Ia juga menunjukkan bagaimana Axelera's Metis Accelerators berada dalam kes penggunaan aplikasi kesimpulan AI yang sangat biasa ini, berbanding pesaing utama seperti NVIDIA.

Kecekapan Kuasa Inferencing adalah yang paling penting dan memimpin Axelera

Penggunaan kuasa adalah faktor yang sama penting, terutamanya dalam penyebaran kelebihan AI, di mana kekangan termal dan mekanikal dan kos operasi boleh mengehadkan fleksibiliti reka bentuk. Menggunakan metrik tenaga per-bingkai, penyelidikan kami mendapati bahawa semua pemecut menyampaikan kecekapan yang lebih baik ke atas CPU, dengan beberapa menggunakan di bawah satu joule per bingkai kesimpulan.

Di sini, Penyelesaian Axelera keluar pesaing dalam semua ujian, menawarkan penggunaan tenaga terendah setiap bingkai dalam semua model AI yang diuji. GPU Nvidia menutup jurang agak dalam model penyimpangan Yolo, sementara Hailo mengekalkan kecekapan yang dihormati, terutamanya untuk faktor bentuk padatnya.

Laporan ini menyoroti bahawa keuntungan prestasi AI tidak selalu perlu datang dengan kos kecekapan kuasa, bergantung kepada seni bina, model dan pengoptimuman beban kerja yang digunakan.

Pengalaman pemaju penting dan Axelera adalah alat

Di luar prestasi dan kecekapan, laporan kami juga melihat proses persediaan pemaju-elemen yang sering tidak dihargai dengan jumlah kos penggunaan. Di sini, kerumitan platform menyimpang dengan lebih tajam.

SDK Axelera memberikan pengalaman yang agak lancar dengan sokongan luar kotak untuk kesimpulan multi-aliran dan persediaan manual minimum. Penyelesaian NVIDIA memerlukan lebih banyak konfigurasi tangan kerana batasan keserasian model dengan DeepStream, manakala SDK Hailo adalah berasaskan Docker, tetapi diperlukan pra-pemprosesan dan kompilasi khusus model.

The Takeaway: Geseran pembangunan boleh berbeza -beza di antara platform dan harus memberi kesan kepada garis masa penempatan, terutama bagi pasukan dengan kepakaran sistem AI atau tertanam yang terhad. Di sini penyelesaian Axelera sekali lagi menunjukkan kesederhanaan dalam pengalaman keluar dan persediaannya bahawa penyelesaian lain yang kami uji tidak dapat dipadankan.

Ketepatan model dan kebolehgunaan dunia nyata

Kajian kami juga menganalisis ketepatan pengesanan objek menggunakan rakaman video dunia sebenar. Walaupun semua platform menghasilkan hasil yang boleh digunakan, perbezaan dalam keyakinan pengesanan dan pengiktirafan objek muncul. Accelerator Axelera menunjukkan kecenderungan untuk mengesan lebih banyak objek dan menarik lebih banyak kotak sempadan merentasi adegan ujian, mungkin hasil daripada penalaan model dan pemprosesan pasca pemprosesan yang kelihatan lebih halus.

Namun, laporan kami mencatatkan bahawa semua platform yang diuji dapat dioptimumkan lagi dengan model terlatih dan pelarasan ambang. Oleh itu, ketepatan out-of-the-box mungkin paling penting untuk pembangunan bukti-konsep, sedangkan lain, penyebaran yang lebih kompleks mungkin bergantung pada penghalusan model dan penalaan model khusus domain.

Implikasi Pasaran: Pengkhususan vs Generalisasi

Laporan Pengesahan Penyelidikan dan Prestasi AI kami menggariskan segmentasi yang semakin meningkat dalam perkakasan Inference AI. Pada satu hujung, GPU tujuan umum seperti dari NVIDIA menawarkan fleksibiliti yang tinggi dan sokongan ekosistem perisian yang mendalam, yang bernilai dalam persekitaran heterogen. Di sisi lain, enjin kesimpulan yang berdedikasi seperti yang berasal dari Axelera memberikan kecekapan dan kelebihan prestasi yang menarik untuk kes -kes penggunaan yang lebih fokus.

Apabila penerimaan AI Edge berkembang, terutamanya dalam aplikasi yang berpusatkan penglihatan, permintaan untuk kesimpulan tenaga, kesimpulan masa nyata mempercepatkan. Pasaran seperti logistik, analisis runcit, pengangkutan, robotik dan keselamatan memandu yang memerlukan, dengan faktor bentuk, kecekapan kuasa, dan kemudahan integrasi memainkan peranan yang lebih besar daripada pengiraan mentah sahaja.

Walaupun pusingan ujian ini (anda dapat mencari kertas penyelidikan penuh kami di sini) disukai Axelera di beberapa bidang-termasuk prestasi, kecekapan, dan kesederhanaan persediaan-ini bukan satu-ukuran yang sesuai. Pemilihan platform akan sangat bergantung pada kes penggunaan, keperluan model, kekangan penempatan, dan sumber pemaju yang tersedia.

Apa data yang dijelaskan ialah kesimpulan AI EDGE tidak lagi menjadi pecutan GPU pasaran eksklusif. Pemecut khusus domain membuktikan mereka boleh bersaing, dan dalam beberapa kes memimpin, dalam metrik yang paling penting untuk penyebaran dunia sebenar.

Atas ialah kandungan terperinci Axelera AI Accelerators Smoke Compets dalam Kajian Penyelidikan Visi Mesin. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!