說到這兩年風(fēng)靡全球的國(guó)產(chǎn)遊戲，原神肯定是當(dāng)仁不讓。

根據(jù)5月公佈的本年度Q1季手遊收入調(diào)查報(bào)告，在抽卡手遊裡《原神》以5.67億美金的絕對(duì)優(yōu)勢(shì)穩(wěn)穩(wěn)拿下第一，這也宣告《原神》在上線短短18個(gè)月後單在手機(jī)平臺(tái)總收入就突破30億美金（約RM130億）。

如今，開放須彌前最後的2.8海島版本姍姍來遲，在漫長(zhǎng)的長(zhǎng)草期後終於又有新的劇情和區(qū)域可以肝了。

不過不知道有多少“肝帝”，現(xiàn)在海島已經(jīng)滿探索，又開始長(zhǎng)草了。

寶箱總共182個(gè)1個(gè)摩拉箱（不計(jì)入）

長(zhǎng)草期根本沒在怕的，原神區(qū)從來不缺整活兒。

這不，在長(zhǎng)草期間，就有玩家用XVLM wenet STARK做了一個(gè)語音控制玩原神的專案。

例如，當(dāng)說出“用戰(zhàn)術(shù)3攻擊中間的火史萊姆”時(shí)，鍾離先是一個(gè)套盾，凌華一個(gè)霰步後緊接著一個(gè)“失禮了”，團(tuán)滅了4只火史萊姆。

同樣，在說出「攻擊中間的大丘丘人」後，迪奧娜長(zhǎng)E套盾，凌華緊接著一個(gè)E然後3A一重漂亮地收拾掉了兩隻大丘人。

可以在左下方看到，整個(gè)過程都沒有用手進(jìn)行任何操作。

文摘菌直呼內(nèi)行，以後打本連手也能省了，並表示媽媽再也不用擔(dān)心玩原神玩出腱鞘炎了！

目前專案已經(jīng)在GitHub上開源：

GitHub連結(jié)：

https://github.com/7eu7d7/genshin_voice_play

好好的原神，硬是被玩成了神奇寶貝

這樣的整活項(xiàng)目自然也是吸引到了不少原神長(zhǎng)草玩家的目光。

例如有玩家就建議到，可以設(shè)計(jì)得更中二一點(diǎn)，直接用角色名加技能名，畢竟「戰(zhàn)術(shù)3」這樣的指令觀眾也無法第一時(shí)間知道，而「鍾離，使用地心」就很容易代入遊戲體驗(yàn)。

更有網(wǎng)友表示，既然都能對(duì)怪指令，那是不是也可以對(duì)人物語音，比如「龜龜，使用霜滅」。

龜龜每日疑惑.jpg

不過，這麼這些指令怎麼看上去有股似曾相識(shí)的味道？

對(duì)此up主「薛丁格の彩虹貓」表示，喊技能的話語速可能會(huì)跟不上，攻擊速度會(huì)變慢，這才自己預(yù)設(shè)了一套。

不過像是一些經(jīng)典隊(duì)伍，例如「萬達(dá)國(guó)際」「雷九萬班」的輸出手法倒也算是相對(duì)固定，預(yù)設(shè)攻擊順序和模式似乎也行得通。

當(dāng)然除了玩梗之外，網(wǎng)友們也在集思廣益，提出了不少優(yōu)化意見。

例如直接用“1Q”讓1號(hào)位角色放大招，重?fù)粲谩爸亍北硎?，閃避則用“閃”，這樣的話下達(dá)指令也能更簡(jiǎn)單迅速一些，或許還能用來打深淵。

也有內(nèi)行人玩家表示，這個(gè)AI似乎有點(diǎn)“不大理解環(huán)境”，“下一步可以考慮加上SLAM”，“實(shí)現(xiàn)360度的全方位目標(biāo)檢測(cè)」。

up主表示，下一步要做“全自動(dòng)刷本，傳送，打怪，領(lǐng)獎(jiǎng)勵(lì)一條龍”，那似乎也還可以加一個(gè)自動(dòng)強(qiáng)化聖遺物功能，歪了就把AI格式化了。

原神區(qū)硬核整活up主也出過「提瓦特釣魚指南」

正如文摘菌所說，原神區(qū)從不缺整活兒，而這位up主「薛丁格の彩虹貓」應(yīng)該是其中最「硬核」的了。

從“AI自動(dòng)擺放迷宮”，到“AI自動(dòng)演奏”，原神出的每個(gè)小遊戲可以說是應(yīng)AI盡AI了。

其中文摘菌也發(fā)現(xiàn)了「AI自動(dòng)釣魚」計(jì)畫（好傢伙原來也是你），只需要啟動(dòng)程序，提瓦特的魚全都能變成囊中之物。

原神自動(dòng)釣魚AI由兩部分模型組成：YOLOX和DQN：

YOLOX 用於魚的定位和類型的識(shí)別以及魚竿落點(diǎn)的定位；

#DQN 用於自適應(yīng)控制釣魚過程的點(diǎn)擊，讓力度落在最佳區(qū)域內(nèi)。

此外，計(jì)畫也用到了遷移學(xué)習(xí)、半監(jiān)督學(xué)習(xí)來進(jìn)行訓(xùn)練。模型也包含了一些使用opencv等傳統(tǒng)數(shù)位影像處理方法實(shí)現(xiàn)的不可學(xué)習(xí)部分。

專案網(wǎng)址：

https://github.com/7eu7d7/genshin_auto_fish

等3.0更新後還需要釣魚取得的“鹹魚弓”，就拜託你了！

那些把原神變成神奇寶貝的「神器」

作為一個(gè)嚴(yán)肅的人，文摘菌覺得也有必要給大家科普一下這次原神語音項(xiàng)目用到的幾個(gè)「神器」。

X-VLM是一種基於視覺語言模型（VLM）的多粒度模型，由圖像編碼器、文字編碼器和跨模態(tài)編碼器組成，跨模態(tài)編碼器在視覺特徵和語言特徵之間進(jìn)行跨模態(tài)注意，以學(xué)習(xí)視覺語言對(duì)齊。

學(xué)習(xí)多粒度對(duì)齊的關(guān)鍵是優(yōu)化X-VLM：1)透過結(jié)合邊框回歸損失和IoU損失，在給定關(guān)聯(lián)文字的圖像中定位視覺概念；2)同時(shí)，透過對(duì)比損失、匹配損失和掩碼語言建模損失，將文字與視覺概念進(jìn)行多粒度對(duì)齊。

在微調(diào)和推理中，X-VLM可以利用學(xué)習(xí)到的多粒度對(duì)齊來執(zhí)行下游的V L任務(wù)，而無需在輸入圖像中添加邊框註釋。

論文連結(jié)：

https://arxiv.org/abs/2111.08276

WeNet是一個(gè)面向生產(chǎn)的端到端語音辨識(shí)工具包，在單一模型中，它引入了統(tǒng)一的兩次two-pass (U2) 框架和內(nèi)建運(yùn)行時(shí)來處理串流和非串流解碼模式。

就在今年7月初的時(shí)候，WeNet推出2.0版本，並在4個(gè)方面進(jìn)行了更新：

U2 ：具有雙向注意力解碼器的統(tǒng)一雙通道框架，包括從右到左注意力解碼器的未來上下文訊息，以提高共享編碼器的表示能力和重新評(píng)分階段的性能；

引入了基於n-gram的語言模型和基於WFST的解碼器，促進(jìn)了富文本資料在生產(chǎn)場(chǎng)景中的使用；

設(shè)計(jì)了統(tǒng)一的上下文偏移框架，該框架利用用戶特定的上下文為生產(chǎn)提供快速適應(yīng)能力，並在「有LM」和「無LM」兩大場(chǎng)景中提高ASR準(zhǔn)確性；

設(shè)計(jì)了一個(gè)統(tǒng)一的IO來支援大規(guī)模資料進(jìn)行有效的模型訓(xùn)練。

從結(jié)果來看，WeNet 2.0在各種語料庫(kù)上比原來的WeNet實(shí)現(xiàn)了高達(dá)10%的相對(duì)辨識(shí)效能提升。

論文連結(jié)：https://arxiv.org/pdf/2203.15455.pdf

STARK是一種用於視覺追蹤的時(shí)空變換網(wǎng)路。基於由卷積主幹、編解碼器轉(zhuǎn)換器和bounding box預(yù)測(cè)頭組成的baseline的基礎(chǔ)上，STARK做了3點(diǎn)改進(jìn)：

動(dòng)態(tài)更新模板：以中間幀作為動(dòng)態(tài)模板加入輸入中。動(dòng)態(tài)範(fàn)本可捕捉外觀變化，提供額外時(shí)域資訊；

score head：判斷目前是否更新動(dòng)態(tài)範(fàn)本；

訓(xùn)練策略改進(jìn)：將訓(xùn)練分為兩個(gè)階段1）除了score head外，用baseline的損失函數(shù)訓(xùn)練。確保所有搜尋影像包含目標(biāo)並讓模板擁有定位能力；2）以交叉熵只優(yōu)化score head，此時(shí)凍結(jié)其他參數(shù)，以此讓模型擁有定位和分類能力。

論文連結(jié)：

https://openaccess.thecvf.com/content/ICCV2021/papers/Yan_Learning_Spatio-Temporal_Transformer_for_Visual_Tracking_ICCV_2021_paper.pdf

以上是光動(dòng)嘴就能玩出原神！用AI切換角色，還能攻擊敵人，網(wǎng)友：'綾華，使用神裡流·霜滅”的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！