国产av日韩一区二区三区精品,成人性爱视频在线观看,国产,欧美,日韩,一区,www.成色av久久成人,2222eeee成人天堂

Jadual Kandungan
Model
Penemuan utama
Rumah Peranti teknologi AI Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU

Apr 01, 2024 pm 07:46 PM
data Model

JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk.

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU

Dan ujian itu tidak dilakukan pada TPU dengan prestasi JAX yang terbaik.

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU

Walaupun Pytorch masih lebih popular daripada Tensorflow di kalangan pembangun sekarang.

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU

Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX.

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU

Model

Baru-baru ini, pasukan Keras menjalankan penanda aras untuk tiga bahagian belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras 2 dengan TensorFlow.

Pertama, mereka memilih satu set visi komputer arus perdana dan model pemprosesan bahasa semula jadi untuk tugasan kecerdasan buatan generatif dan bukan generatif:

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU

Untuk versi Keras model, ia menggunakan KerasLPCV Build dan menggunakan KerasLPCV. terhadap pelaksanaan yang sedia ada. Untuk versi PyTorch asli, kami memilih pilihan paling popular di Internet:

- BERT, Gemma, Mistral dari HuggingFace Transformers

- StableDiffusion dari

Diffuser HuggingFace

- SegmenAnything from Meta

Mereka memanggil set model ini "Native PyTorch" untuk membezakannya daripada versi Keras 3 yang menggunakan bahagian belakang PyTorch.

Mereka menggunakan data sintetik untuk semua penanda aras dan menggunakan ketepatan bfloat16 dalam semua latihan dan inferens LLM, sambil menggunakan LoRA (penalaan halus) dalam semua latihan LLM.

Menurut cadangan pasukan PyTorch, mereka menggunakan torch.compile(model, mode="reduce-overhead") dalam pelaksanaan PyTorch asli (kecuali latihan Gemma dan Mistral kerana ketidakserasian).

Untuk mengukur prestasi luar biasa, mereka menggunakan API peringkat tinggi (seperti Jurulatih HuggingFace(), gelung latihan PyTorch standard dan model.fit() Keras) dengan konfigurasi sesedikit mungkin.

Konfigurasi Perkakasan

Semua ujian penanda aras telah dijalankan menggunakan Enjin Pengiraan Awan Google, dikonfigurasikan sebagai: GPU NVIDIA A100 dengan memori video 40GB, 12 CPU maya dan memori hos 85GB.

Keputusan Penanda Aras

Jadual 2 menunjukkan keputusan penanda aras dalam langkah/ms. Setiap langkah melibatkan latihan atau ramalan pada satu kelompok data.

Hasilnya ialah purata 100 langkah, tetapi langkah pertama dikecualikan kerana langkah pertama termasuk penciptaan dan penyusunan model, yang memerlukan masa tambahan.

Untuk memastikan perbandingan yang adil, saiz kelompok yang sama digunakan untuk model dan tugasan yang sama (sama ada latihan atau inferens).

Walau bagaimanapun, untuk model dan tugasan yang berbeza, disebabkan oleh skala dan seni bina yang berbeza, saiz kelompok data boleh dilaraskan mengikut keperluan untuk mengelakkan limpahan memori kerana terlalu besar, atau penggunaan GPU disebabkan kumpulan yang terlalu kecil tidak mencukupi.

Saiz kelompok yang terlalu kecil juga boleh menjadikan PyTorch kelihatan lebih perlahan kerana ia meningkatkan overhead Python.

Untuk model bahasa besar (Gemma dan Mistral), saiz kelompok yang sama juga digunakan semasa ujian kerana ia adalah jenis model yang sama dengan bilangan parameter yang sama (7B).

Memandangkan keperluan pengguna untuk penjanaan teks satu kelompok, kami juga menjalankan ujian penanda aras pada penjanaan teks dengan saiz kelompok 1.

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU

Penemuan utama

Penemuan 1

Tiada bahagian belakang "optimum". .

Memilih bahagian belakang yang paling pantas selalunya bergantung pada seni bina model.

Perkara ini menyerlahkan kepentingan memilih rangka kerja yang berbeza dalam mengejar prestasi optimum. Keras 3 memudahkan anda menukar hujung belakang untuk mencari yang paling sesuai untuk model anda.

Found 2

Keras 3 secara amnya mengatasi prestasi standard PyTorch.

Berbanding dengan PyTorch asli, Keras 3 mempunyai peningkatan yang ketara dalam daya pemprosesan (langkah/ms).

Khususnya, dalam 5 daripada 10 tugasan ujian, kelajuan meningkat lebih daripada 50%. Antaranya, yang tertinggi mencapai 290%. .

Keras 3 menyediakan persembahan "out of the box" terbaik dalam kelasnya.

Iaitu, semua model Keras yang mengambil bahagian dalam ujian tidak dioptimumkan dalam apa jua cara. Sebaliknya, apabila menggunakan pelaksanaan PyTorch asli, pengguna biasanya perlu melakukan lebih banyak pengoptimuman prestasi sendiri. Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU

Selain data yang dikongsi di atas, semasa ujian juga telah diperhatikan bahawa prestasi fungsi inferens StableDiffusion bagi Penyebar HuggingFace meningkat lebih daripada 100% apabila menaik taraf daripada versi 0.25.0 kepada 0.3.0.

Begitu juga, dalam HuggingFace Transformers, menaik taraf Gemma daripada versi 4.38.1 kepada 4.38.2 turut meningkatkan prestasi dengan ketara.

Peningkatan prestasi ini menyerlahkan fokus dan usaha HuggingFace dalam pengoptimuman prestasi.

Untuk sesetengah model dengan kurang pengoptimuman manual, seperti SegmentAnything, pelaksanaan yang disediakan oleh pengarang kajian digunakan. Dalam kes ini, jurang prestasi berbanding Keras adalah lebih besar daripada kebanyakan model lain.

Ini menunjukkan bahawa Keras mampu memberikan prestasi luar biasa yang sangat baik, dan pengguna boleh menikmati kelajuan larian model yang pantas tanpa perlu mendalami semua teknik pengoptimuman.

Dijumpai 4

Keras 3 secara konsisten mengatasi Keras 2.

Sebagai contoh, kelajuan inferens SegmentAnything telah meningkat sebanyak 380% yang menakjubkan, kelajuan pemprosesan latihan StableDiffusion telah meningkat lebih daripada 150%, dan kelajuan pemprosesan latihan BERT juga telah meningkat lebih daripada 100%.

Ini terutamanya kerana Keras 2 secara langsung menggunakan lebih banyak operasi gabungan TensorFlow dalam beberapa kes, yang mungkin bukan pilihan terbaik untuk kompilasi XLA.

Perlu diingat bahawa walaupun hanya menaik taraf kepada Keras 3 dan terus menggunakan bahagian belakang TensorFlow telah menghasilkan peningkatan prestasi yang ketara.

Kesimpulan

Prestasi rangka kerja sangat bergantung pada model khusus yang digunakan.

Keras 3 boleh membantu memilih rangka kerja terpantas untuk tugas itu, dan pilihan ini hampir sentiasa mengatasi prestasi Keras 2 dan PyTorch.

Lebih penting lagi, model Keras 3 memberikan prestasi luar biasa yang sangat baik tanpa pengoptimuman asas yang kompleks.

Atas ialah kandungan terperinci Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Tutorial PHP
1502
276
Apr 09, 2024 am 11:52 AM

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo May 07, 2024 pm 04:13 PM

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

Kelajuan Internet Data Selular Perlahan pada iPhone: Pembetulan Kelajuan Internet Data Selular Perlahan pada iPhone: Pembetulan May 03, 2024 pm 09:01 PM

Menghadapi ketinggalan, sambungan data mudah alih perlahan pada iPhone? Biasanya, kekuatan internet selular pada telefon anda bergantung pada beberapa faktor seperti rantau, jenis rangkaian selular, jenis perayauan, dsb. Terdapat beberapa perkara yang boleh anda lakukan untuk mendapatkan sambungan Internet selular yang lebih pantas dan boleh dipercayai. Betulkan 1 – Paksa Mulakan Semula iPhone Kadangkala, paksa memulakan semula peranti anda hanya menetapkan semula banyak perkara, termasuk sambungan selular. Langkah 1 – Hanya tekan kekunci naikkan kelantangan sekali dan lepaskan. Seterusnya, tekan kekunci Turun Kelantangan dan lepaskannya semula. Langkah 2 - Bahagian seterusnya proses adalah untuk menahan butang di sebelah kanan. Biarkan iPhone selesai dimulakan semula. Dayakan data selular dan semak kelajuan rangkaian. Semak semula Betulkan 2 – Tukar mod data Walaupun 5G menawarkan kelajuan rangkaian yang lebih baik, ia berfungsi lebih baik apabila isyarat lemah

Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! May 06, 2024 pm 04:13 PM

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh

KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka Jun 01, 2024 pm 10:03 PM

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Prestasi larian tempatan perkhidmatan Embedding melebihi OpenAI Text-Embedding-Ada-002, yang sangat mudah! Prestasi larian tempatan perkhidmatan Embedding melebihi OpenAI Text-Embedding-Ada-002, yang sangat mudah! Apr 15, 2024 am 09:01 AM

Ollama ialah alat super praktikal yang membolehkan anda menjalankan model sumber terbuka dengan mudah seperti Llama2, Mistral dan Gemma secara tempatan. Dalam artikel ini, saya akan memperkenalkan cara menggunakan Ollama untuk mengvektorkan teks. Jika anda belum memasang Ollama secara tempatan, anda boleh membaca artikel ini. Dalam artikel ini kita akan menggunakan model nomic-embed-text[2]. Ia ialah pengekod teks yang mengatasi prestasi OpenAI text-embedding-ada-002 dan text-embedding-3-small pada konteks pendek dan tugas konteks panjang. Mulakan perkhidmatan nomic-embed-text apabila anda telah berjaya memasang o

FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye Apr 26, 2024 am 11:37 AM

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi

See all articles