国产av日韩一区二区三区精品,成人性爱视频在线观看,国产,欧美,日韩,一区,www.成色av久久成人,2222eeee成人天堂

Rumah Peranti teknologi AI Pemilik atas telah mula bermain-main dengan sumber terbuka Tencent 'AniPortrait' untuk membenarkan foto menyanyi dan bercakap.

Pemilik atas telah mula bermain-main dengan sumber terbuka Tencent 'AniPortrait' untuk membenarkan foto menyanyi dan bercakap.

Apr 07, 2024 am 09:01 AM
Tencent industri

Model AniPortrait adalah sumber terbuka dan boleh dimainkan secara bebas.


"Alat produktiviti baharu untuk Zon Hantu Xiaopozhan

Baru-baru ini, projek baharu yang dikeluarkan oleh Tencent Open Source telah menerima penilaian sebegitu. Projek ini ialah AniPortrait, yang menjana potret animasi berkualiti tinggi berdasarkan audio dan imej rujukan.

Tanpa berlengah lagi, mari kita lihat demo yang mungkin diberi amaran oleh surat peguam: Pemilik atas telah mula bermain-main dengan sumber terbuka Tencent AniPortrait untuk membenarkan foto menyanyi dan bercakap.
Imej anime juga boleh bercakap dengan mudah: Pemilik atas telah mula bermain-main dengan sumber terbuka Tencent AniPortrait untuk membenarkan foto menyanyi dan bercakap. baru sahaja dibuat dalam talian

beberapa hari, dan ia telah pun Ia telah menerima pujian yang meluas: bilangan Bintang GitHub telah melebihi 2,800. Pemilik atas telah mula bermain-main dengan sumber terbuka Tencent AniPortrait untuk membenarkan foto menyanyi dan bercakap.

Mari kita lihat inovasi AniPortrait. Pemilik atas telah mula bermain-main dengan sumber terbuka Tencent AniPortrait untuk membenarkan foto menyanyi dan bercakap.

  • Tajuk kertas: AniPortrait: Sintesis Dipacu Audio bagi Animasi Potret Fotorealistik
  • Alamat kertas: https://arxiv.org/pdf/2403.17
  • .pdf
    :Co. /arxiv.org/pdf/2403.17694.pdf /github.com/Zejun-Yang/AniPortrait

AniPortrait

modul Audio yang dipromosikan
Lmk dan Lmk2Video.
Audio2Lmk digunakan untuk mengekstrak jujukan Mercu Tanda, yang boleh menangkap ekspresi muka dan pergerakan bibir yang kompleks daripada input audio. Lmk2Video menggunakan jujukan Mercu Tanda ini untuk menjana video potret berkualiti tinggi yang stabil sementara dan konsisten.

Rajah 1 memberikan gambaran keseluruhan rangka kerja AniPortrait. Pemilik atas telah mula bermain-main dengan sumber terbuka Tencent AniPortrait untuk membenarkan foto menyanyi dan bercakap.

????
Audio2Lmk

Untuk urutan klip pertuturan, matlamat di sini ialah untuk meramalkan urutan mata 3D yang sepadan dan turutan gerak isyarat.

Pasukan menggunakan wav2vec terlatih untuk mengekstrak ciri audio. Model ini membuat generalisasi dengan baik dan boleh mengecam sebutan dan intonasi dengan tepat dalam audio - penting untuk menghasilkan animasi muka yang realistik. Dengan mengeksploitasi ciri pertuturan teguh yang diperolehi, ia boleh ditukar dengan cekap menjadi jerat muka 3D menggunakan seni bina ringkas yang terdiri daripada dua lapisan fc. Pasukan memerhatikan bahawa reka bentuk yang ringkas dan mudah ini bukan sahaja memastikan ketepatan tetapi juga meningkatkan kecekapan proses inferens.

Dalam tugas menukar audio kepada gerak isyarat, rangkaian tulang belakang yang digunakan oleh pasukan masih wav2vec yang sama. Walau bagaimanapun, berat rangkaian ini berbeza daripada rangkaian modul audio-ke-mesh. Ini kerana gerak isyarat lebih berkait rapat dengan irama dan pic dalam audio, manakala tugas audio-ke-grid memfokuskan pada fokus yang berbeza (sebutan dan intonasi). Untuk mengambil kira kesan keadaan sebelumnya, pasukan menggunakan penyahkod transformer untuk menyahkod urutan pose. Dalam proses ini, modul menggunakan mekanisme perhatian silang untuk menyepadukan ciri audio ke dalam penyahkod. Untuk dua modul di atas, fungsi kehilangan yang digunakan untuk latihan ialah kehilangan L1 yang mudah.

Selepas mendapatkan jujukan mesh dan pose, gunakan unjuran perspektif untuk menukarnya menjadi jujukan tanda tanda muka 2D. Mercu Tanda ini ialah isyarat input untuk peringkat seterusnya. . Proses animasi ini menjajarkan gerakan dengan jujukan Mercu Tanda sambil mengekalkan rupa yang konsisten dengan imej rujukan. Idea yang diterima pakai oleh pasukan adalah untuk mewakili animasi potret sebagai urutan bingkai potret.

Reka bentuk struktur rangkaian Lmk2Video ini diilhamkan oleh AnimateAnyone. Rangkaian tulang belakang ialah SD1.5, yang menyepadukan modul gerakan temporal yang secara berkesan menukar input hingar berbilang bingkai ke dalam urutan bingkai video.

Selain itu, mereka juga menggunakan ReferenceNet, yang juga menggunakan struktur SD1.5 Fungsinya adalah untuk mengekstrak maklumat penampilan imej rujukan dan mengintegrasikannya ke dalam rangkaian tulang belakang. Reka bentuk strategik ini memastikan Face ID kekal konsisten sepanjang video keluaran.

Tidak seperti AnimateAnyone, ini meningkatkan kerumitan reka bentuk PoseGuider. Versi asal baru sahaja menyepadukan beberapa lapisan konvolusi, dan kemudian ciri Mercu Tanda digabungkan dengan ciri terpendam lapisan input rangkaian tulang belakang. Pasukan Tencent mendapati bahawa reka bentuk asas ini tidak dapat menangkap pergerakan bibir yang kompleks. Oleh itu, mereka menggunakan strategi berbilang skala ControlNet: menyepadukan ciri Mercu Tanda skala yang sepadan ke dalam modul rangkaian tulang belakang yang berbeza. Walaupun terdapat peningkatan ini, bilangan parameter dalam model akhir masih agak rendah.

Pasukan juga memperkenalkan satu lagi peningkatan: menggunakan Tanda Tanda imej rujukan sebagai input tambahan. Modul silang perhatian PoseGuider memudahkan interaksi antara tanda tempat rujukan dan tanda tempat sasaran dalam setiap bingkai. Proses ini menyediakan rangkaian dengan petunjuk tambahan yang membolehkannya memahami hubungan antara tanda tempat muka dan penampilan, yang boleh membantu animasi potret menjana pergerakan yang lebih tepat.

Eksperimen

Butiran pelaksanaan
Rangkaian tulang belakang yang digunakan dalam peringkat Audio2Lmk adalah wa Alat yang digunakan untuk mengekstrak jerat 3D dan pose 6D ialah MediaPipe. Data latihan Audio2Mesh datang daripada set data dalaman Tencent, yang mengandungi hampir sejam data pertuturan berkualiti tinggi daripada satu pembesar suara.

Untuk memastikan kestabilan jaringan 3D yang diekstrak oleh MediaPipe, kedudukan kepala pelaku adalah stabil dan menghadap kamera semasa rakaman. Latihan Audio2Pose menggunakan HDTF. Semua operasi latihan dilakukan pada A100 tunggal, menggunakan pengoptimum Adam, dan kadar pembelajaran ditetapkan kepada 1e-5.

Proses Lmk2Video menggunakan kaedah latihan dua langkah.

Fasa langkah awal memfokuskan pada latihan rangkaian tulang belakang ReferenceNet dan komponen 2D PoseGuider, tanpa mengira modul gerakan. Dalam langkah seterusnya, semua komponen lain akan dibekukan untuk memberi tumpuan kepada latihan modul gerakan. Untuk melatih model, dua set data video muka berkualiti tinggi berskala besar digunakan di sini: VFHQ dan CelebV-HQ. Semua data dihantar melalui MediaPipe untuk mengekstrak tanda tempat muka 2D. Untuk meningkatkan kepekaan rangkaian terhadap pergerakan bibir, pendekatan pasukan adalah untuk menganotasi bibir atas dan bawah dengan warna yang berbeza apabila memaparkan imej pose berdasarkan Mercu Tanda 2D.

Semua imej telah diubah saiznya kepada 512x512.Model ini dilatih menggunakan 4 GPU A100, dengan setiap langkah mengambil masa 2 hari. Pengoptimum ialah AdamW dan kadar pembelajaran ditetapkan pada 1e-5.

Hasil eksperimen

Seperti yang ditunjukkan dalam Rajah 2, animasi yang diperolehi melalui kaedah baharu adalah cemerlang dalam kualiti dan realisme.

Pemilik atas telah mula bermain-main dengan sumber terbuka Tencent AniPortrait untuk membenarkan foto menyanyi dan bercakap.

Selain itu, pengguna boleh mengedit perwakilan 3D di tengah untuk mengubah suai output akhir. Sebagai contoh, pengguna boleh mengekstrak Mercu Tanda daripada sumber dan mengubah suai maklumat ID mereka untuk mencapai pembiakan muka, seperti yang ditunjukkan dalam video berikut: Pemilik atas telah mula bermain-main dengan sumber terbuka Tencent AniPortrait untuk membenarkan foto menyanyi dan bercakap.Sila rujuk kertas asal untuk mendapatkan butiran lanjut.

Atas ialah kandungan terperinci Pemilik atas telah mula bermain-main dengan sumber terbuka Tencent 'AniPortrait' untuk membenarkan foto menyanyi dan bercakap.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Robot DeepMind bermain pingpong, dan pukulan depan dan pukulan kilasnya tergelincir ke udara, mengalahkan manusia pemula sepenuhnya Robot DeepMind bermain pingpong, dan pukulan depan dan pukulan kilasnya tergelincir ke udara, mengalahkan manusia pemula sepenuhnya Aug 09, 2024 pm 04:01 PM

Tetapi mungkin dia tidak dapat mengalahkan lelaki tua di taman itu? Sukan Olimpik Paris sedang rancak berlangsung, dan pingpong telah menarik perhatian ramai. Pada masa yang sama, robot juga telah membuat penemuan baru dalam bermain pingpong. Sebentar tadi, DeepMind mencadangkan ejen robot pembelajaran pertama yang boleh mencapai tahap pemain amatur manusia dalam pingpong yang kompetitif. Alamat kertas: https://arxiv.org/pdf/2408.03906 Sejauh manakah robot DeepMind bermain pingpong? Mungkin setanding dengan pemain amatur manusia: kedua-dua pukulan depan dan pukulan kilas: pihak lawan menggunakan pelbagai gaya permainan, dan robot juga boleh bertahan: servis menerima dengan putaran yang berbeza: Walau bagaimanapun, keamatan permainan nampaknya tidak begitu sengit seperti lelaki tua di taman itu. Untuk robot, pingpong

Cakar mekanikal pertama! Yuanluobao muncul di Persidangan Robot Dunia 2024 dan mengeluarkan robot catur pertama yang boleh memasuki rumah Cakar mekanikal pertama! Yuanluobao muncul di Persidangan Robot Dunia 2024 dan mengeluarkan robot catur pertama yang boleh memasuki rumah Aug 21, 2024 pm 07:33 PM

Pada 21 Ogos, Persidangan Robot Dunia 2024 telah diadakan dengan megah di Beijing. Jenama robot rumah SenseTime "Yuanluobot SenseRobot" telah memperkenalkan seluruh keluarga produknya, dan baru-baru ini mengeluarkan robot permainan catur AI Yuanluobot - Edisi Profesional Catur (selepas ini dirujuk sebagai "Yuanluobot SenseRobot"), menjadi robot catur A pertama di dunia untuk rumah. Sebagai produk robot permainan catur ketiga Yuanluobo, robot Guoxiang baharu telah melalui sejumlah besar peningkatan teknikal khas dan inovasi dalam AI dan jentera kejuruteraan Buat pertama kalinya, ia telah menyedari keupayaan untuk mengambil buah catur tiga dimensi melalui cakar mekanikal pada robot rumah, dan melaksanakan Fungsi mesin manusia seperti bermain catur, semua orang bermain catur, semakan notasi, dsb.

Claude pun dah jadi malas! Netizen: Belajar untuk memberi percutian kepada diri sendiri Claude pun dah jadi malas! Netizen: Belajar untuk memberi percutian kepada diri sendiri Sep 02, 2024 pm 01:56 PM

Permulaan sekolah akan bermula, dan bukan hanya pelajar yang akan memulakan semester baharu yang harus menjaga diri mereka sendiri, tetapi juga model AI yang besar. Beberapa ketika dahulu, Reddit dipenuhi oleh netizen yang mengadu Claude semakin malas. "Tahapnya telah banyak menurun, ia sering berhenti seketika, malah output menjadi sangat singkat. Pada minggu pertama keluaran, ia boleh menterjemah dokumen penuh 4 halaman sekaligus, tetapi kini ia tidak dapat mengeluarkan separuh halaman pun. !" https:// www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ dalam siaran bertajuk "Totally disappointed with Claude", penuh dengan

Pengambilan kampus Tencent 2025 bermula: Masa tamat pengajian diperluaskan daripada satu tahun kepada dua tahun Pengambilan kampus Tencent 2025 bermula: Masa tamat pengajian diperluaskan daripada satu tahun kepada dua tahun Aug 07, 2024 pm 08:17 PM

Menurut berita dari laman web ini pada 7 Ogos, pengambilan kampus 2025 Tencent telah dilancarkan secara rasmi semalam berikutan pengambilan pelatih pada tahun 2024 dan projek khas pengambilan model besar AI "Pelan Qingyun", ia sekali lagi mengeluarkan isyarat "pengembangan pendaftaran". bukan sahaja skala pengambilan lebih besar daripada dua tahun sebelumnya Terdapat pertumbuhan yang besar, dan julat masa tamat pengajian untuk orang juga telah diperluaskan lagi. Menurut laporan, pengambilan kampus Tencent pada 2025 akan membuka lebih daripada 70 jawatan dalam lima kategori utama: teknologi, produk, pasaran, reka bentuk dan fungsi. Akan terdapat banyak perubahan dalam pengambilan kampus Tencent tahun ini Julat masa tamat pengajian untuk pengambilan kampus akan diperluaskan daripada satu tahun kepada dua tahun. Pelajar yang lulus dari Januari 2024 hingga Disember 2025 (Sijil Pengijazahan akan diguna pakai di Tanah Besar China, Sijil Ijazah akan diguna pakai di Hong Kong, Macao, Taiwan dan wilayah luar negara) boleh memohon melalui laman web pengambilan rasmi Tencent dan “Tencent

Pasukan Li Feifei mencadangkan ReKep untuk memberi robot kecerdasan spatial dan mengintegrasikan GPT-4o Pasukan Li Feifei mencadangkan ReKep untuk memberi robot kecerdasan spatial dan mengintegrasikan GPT-4o Sep 03, 2024 pm 05:18 PM

Penyepaduan mendalam penglihatan dan pembelajaran robot. Apabila dua tangan robot bekerja bersama-sama dengan lancar untuk melipat pakaian, menuang teh dan mengemas kasut, ditambah pula dengan 1X robot humanoid NEO yang telah menjadi tajuk berita baru-baru ini, anda mungkin mempunyai perasaan: kita seolah-olah memasuki zaman robot. Malah, pergerakan sutera ini adalah hasil teknologi robotik canggih + reka bentuk bingkai yang indah + model besar berbilang modal. Kami tahu bahawa robot yang berguna sering memerlukan interaksi yang kompleks dan indah dengan alam sekitar, dan persekitaran boleh diwakili sebagai kekangan dalam domain spatial dan temporal. Sebagai contoh, jika anda ingin robot menuang teh, robot terlebih dahulu perlu menggenggam pemegang teko dan memastikannya tegak tanpa menumpahkan teh, kemudian gerakkannya dengan lancar sehingga mulut periuk sejajar dengan mulut cawan. , dan kemudian condongkan teko pada sudut tertentu. ini

Persidangan Kecerdasan Buatan Teragih DAI 2024 Call for Papers: Hari Agen, Richard Sutton, bapa pembelajaran pengukuhan, akan hadir! Yan Shuicheng, Sergey Levine dan saintis DeepMind akan memberikan ucaptama Persidangan Kecerdasan Buatan Teragih DAI 2024 Call for Papers: Hari Agen, Richard Sutton, bapa pembelajaran pengukuhan, akan hadir! Yan Shuicheng, Sergey Levine dan saintis DeepMind akan memberikan ucaptama Aug 22, 2024 pm 08:02 PM

Pengenalan Persidangan Dengan perkembangan pesat sains dan teknologi, kecerdasan buatan telah menjadi kuasa penting dalam menggalakkan kemajuan sosial. Dalam era ini, kami bertuah untuk menyaksikan dan mengambil bahagian dalam inovasi dan aplikasi Kecerdasan Buatan Teragih (DAI). Kecerdasan buatan yang diedarkan adalah cabang penting dalam bidang kecerdasan buatan, yang telah menarik lebih banyak perhatian dalam beberapa tahun kebelakangan ini. Agen berdasarkan model bahasa besar (LLM) tiba-tiba muncul Dengan menggabungkan pemahaman bahasa yang kuat dan keupayaan penjanaan model besar, mereka telah menunjukkan potensi besar dalam interaksi bahasa semula jadi, penaakulan pengetahuan, perancangan tugas, dsb. AIAgent mengambil alih model bahasa besar dan telah menjadi topik hangat dalam kalangan AI semasa. Au

Hongmeng Smart Travel S9 dan persidangan pelancaran produk baharu senario penuh, beberapa produk baharu blockbuster dikeluarkan bersama-sama Hongmeng Smart Travel S9 dan persidangan pelancaran produk baharu senario penuh, beberapa produk baharu blockbuster dikeluarkan bersama-sama Aug 08, 2024 am 07:02 AM

Petang ini, Hongmeng Zhixing secara rasmi mengalu-alukan jenama baharu dan kereta baharu. Pada 6 Ogos, Huawei mengadakan persidangan pelancaran produk baharu Hongmeng Smart Xingxing S9 dan senario penuh Huawei, membawakan sedan perdana pintar panoramik Xiangjie S9, M7Pro dan Huawei novaFlip baharu, MatePad Pro 12.2 inci, MatePad Air baharu, Huawei Bisheng With banyak produk pintar semua senario baharu termasuk pencetak laser siri X1, FreeBuds6i, WATCHFIT3 dan skrin pintar S5Pro, daripada perjalanan pintar, pejabat pintar kepada pakaian pintar, Huawei terus membina ekosistem pintar senario penuh untuk membawa pengguna pengalaman pintar Internet Segala-galanya. Hongmeng Zhixing: Pemerkasaan mendalam untuk menggalakkan peningkatan industri kereta pintar Huawei berganding bahu dengan rakan industri automotif China untuk menyediakan

Pada Persidangan Robot Sedunia, robot domestik yang membawa 'harapan penjagaan warga tua masa depan' ini telah dikepung Pada Persidangan Robot Sedunia, robot domestik yang membawa 'harapan penjagaan warga tua masa depan' ini telah dikepung Aug 22, 2024 pm 10:35 PM

Pada Persidangan Robot Dunia yang diadakan di Beijing, paparan robot humanoid telah menjadi tumpuan mutlak di gerai Stardust Intelligent, pembantu robot AI S1 mempersembahkan tiga persembahan utama dulcimer, seni mempertahankan diri dan kaligrafi dalam. satu kawasan pameran, berkebolehan kedua-dua sastera dan seni mempertahankan diri, menarik sejumlah besar khalayak profesional dan media. Permainan elegan pada rentetan elastik membolehkan S1 menunjukkan operasi halus dan kawalan mutlak dengan kelajuan, kekuatan dan ketepatan. CCTV News menjalankan laporan khas mengenai pembelajaran tiruan dan kawalan pintar di sebalik "Kaligrafi Pengasas Syarikat Lai Jie menjelaskan bahawa di sebalik pergerakan sutera, bahagian perkakasan mengejar kawalan daya terbaik dan penunjuk badan yang paling menyerupai manusia (kelajuan, beban). dll.), tetapi di sisi AI, data pergerakan sebenar orang dikumpulkan, membolehkan robot menjadi lebih kuat apabila ia menghadapi situasi yang kuat dan belajar untuk berkembang dengan cepat. Dan tangkas

See all articles