你有沒有試過這樣的場景：當(dāng)你“開黑”正酣，指揮著隊友有條不紊朝“敵人”后方挺進(jìn)，突然語音掉線，因?yàn)槁?lián)系不到隊友而陷入孤立無援之境，進(jìn)而痛失好局，不得不咽下失利的苦果……

隨著移動端游戲產(chǎn)品的爆發(fā)，讓游戲內(nèi)的語音交流成為天南海北的玩家社交的剛需，也成為定義“高品質(zhì)游戲”的重要因素之一，游戲內(nèi)語音交互已經(jīng)成為近年來眾多游戲廠商的關(guān)注重點(diǎn)。

近日，騰訊游戲發(fā)布了最新游戲語音技術(shù)方案，騰訊游戲光子S工作室《和平精英》團(tuán)隊攜手騰訊AI Lab、騰訊游戲CROS GVoice(騰訊游戲語音)團(tuán)隊，基于深度學(xué)習(xí)在語音編解碼器上的不斷突破，將AI Codec應(yīng)用于《和平精英》游戲中，在行業(yè)內(nèi)率先實(shí)現(xiàn)AI Codec 更低碼率更高質(zhì)量的語音編碼，由此成為首個將AI Codec技術(shù)全面應(yīng)用于游戲語音領(lǐng)域的產(chǎn)品。

《和平精英》下載地址分享：{點(diǎn)擊下載}

弱網(wǎng)環(huán)境下的語音交流成“開黑”痛點(diǎn)

此前艾媒咨詢對移動游戲社交相關(guān)數(shù)據(jù)的統(tǒng)計表明，近 40% 的玩家因?yàn)樯缃灰蛩剡x擇一款游戲;15.6% 的玩家因?yàn)橐豢钣螒蛏缃恍圆疃x擇離開。因此，提高游戲的社交屬性已成為各大游戲廠商的重要工作。

作為減少玩家“孤軍奮戰(zhàn)”感受的有效手段，游戲語音自誕生起就深受玩家喜愛，并且在手游時代，玩家們對移動手機(jī)端的游戲語音傳輸?shù)馁|(zhì)量、延遲時間和使用環(huán)境，提出了越來越高的要求。

事實(shí)上，實(shí)時語音通信技術(shù)在行業(yè)內(nèi)早已不是一個新話題，但游戲內(nèi)實(shí)時語音交流不僅僅是簡單地實(shí)現(xiàn)實(shí)時通話即可。一個“好”的語音，最重要的是聽感質(zhì)量符合人的聽覺要求，在這個前提下，傳輸碼率越低，用戶耗費(fèi)的流量就越少;占用算力越少，CPU的能耗就越少。

發(fā)展至今，游戲語音傳輸技術(shù)在兩個方面尋找突破。

首先是在弱網(wǎng)惡劣環(huán)境下，如何確保語音交流流暢是游戲語音技術(shù)面臨的一個重要課題。同樣的聽感質(zhì)量，如果語音信息的碼率越低，其傳輸?shù)倪B貫性就越有保障，換言之，低碼率更適用于弱網(wǎng)環(huán)境。

其次，算力的損耗也是游戲語音要考慮的因素。由于重度游戲?qū)PU算力要求較高，因此，如何讓語音功能盡可能的減少對CPU的占用，在保障用戶的交流體驗(yàn)的同時，不對游戲操作和計算資源進(jìn)行過多的擠壓，成為其中的重點(diǎn)。

人工智能為游戲語音加上“BUFF”

當(dāng)語音開黑、游戲社交成為剛需，眾多國內(nèi)外的科技企業(yè)也開始涉足這一領(lǐng)域。

在確保語音質(zhì)量的前提下，傳統(tǒng)的音頻解碼技術(shù)Codec致力于使用較少的網(wǎng)絡(luò)帶寬資源、較低的傳輸碼率去傳遞更保真的語音信息。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，完全基于神經(jīng)網(wǎng)絡(luò)的語音編碼器逐漸替代了傳統(tǒng)的基于信號處理的方法，成為了業(yè)內(nèi)前沿的解決方案。在此基礎(chǔ)上，基于人工智能技術(shù)進(jìn)化的AI Codec也越來越受到業(yè)界的關(guān)注。

為了給游戲內(nèi)語音交互加上人工智能的“BUFF”，游戲界也進(jìn)行了諸多嘗試。例如，業(yè)界常用的Opus聲音編碼格式在低碼率語音信息傳輸方面表現(xiàn)不如人意。2019年，行業(yè)涌現(xiàn)了一些超低碼率 AI Codec，能夠以極低碼率對語音進(jìn)行壓縮，但是還原出的語音質(zhì)量不太理想。

Google同樣將目光瞄準(zhǔn)了這一領(lǐng)域。2021年初，Google發(fā)布了基于自回歸網(wǎng)絡(luò)的AI Codec Lyra。Lyra能夠在以低碼率傳輸?shù)耐瑫r保證聲音效果，但不能提供高質(zhì)量的實(shí)時通信，算法存在延遲的情況。 半年后，Google再次發(fā)布了新的AI Codec模型SoundStream，相比于Lyra，SoundStream在語音傳輸質(zhì)量方面有所提升，但由于模型復(fù)雜度較高，無法在大多數(shù)的手機(jī)上平穩(wěn)運(yùn)行。

首個游戲移動端AI Codec語音技術(shù)落地《和平精英》

與此同時，針對游戲內(nèi)語音交互，國內(nèi)廠商也在積極探索更好的解決方案。

作為國內(nèi)頭部戰(zhàn)術(shù)競技手游，《和平精英》一直致力于提升游戲品質(zhì)優(yōu)化玩家游戲體驗(yàn)。 其中游戲語音因?yàn)閼?yīng)用場景眾多，使用率極高，語音品質(zhì)的優(yōu)劣對游戲核心體驗(yàn)有著至關(guān)重要的影響，一直都是《和平精英》團(tuán)隊最關(guān)注的功能。

2021年底，《和平精英》團(tuán)隊攜手騰訊AI Lab、CROS游戲語音GVoice團(tuán)隊一起正式立項(xiàng)GVoice AI Codec研發(fā)項(xiàng)目，基于騰訊音頻與語音處理Oteam在語音編解碼方向的技術(shù)積累，新項(xiàng)目著力實(shí)現(xiàn)高質(zhì)量、低碼率和低功耗的游戲內(nèi)實(shí)時語音環(huán)境。通過針對游戲場景進(jìn)行深度優(yōu)化，GVoice AI Codec在游戲場景下的語音處理算法比傳統(tǒng)即時通訊軟件有更加優(yōu)異的音質(zhì)表現(xiàn)，并且在弱網(wǎng)環(huán)境下，以低碼率保證了音質(zhì)表現(xiàn)不受損害，確保在移動端得以應(yīng)用。

騰訊游戲語音GVoice是Tencent Games CROS為游戲打造的語音解決方案。資料顯示，目前GVoice服務(wù)已經(jīng)覆蓋全球超過200個國家和地區(qū)，日活躍用戶超3億，相關(guān)解決方案被應(yīng)用于《和平精英》《英雄聯(lián)盟手游》《天涯明月刀手游》等數(shù)千款游戲。GVoice AI Codec技術(shù)也將逐步拓展至其他游戲，提升語音交流流暢度，改善弱網(wǎng)環(huán)境下的用戶體驗(yàn)。

據(jù)了解，GVoice AI Codec 通過自研編解碼模型算法，傳輸帶寬實(shí)現(xiàn)了壓縮，并以 5-12kbps 的AI Codec替換了原來24kbps的Opus，用戶在主觀聽覺上的體驗(yàn)沒有明顯差別。這意味著，GVoice AI Codec在保證音效質(zhì)量的同時，傳輸碼率更低，流量也更少。

在算力消耗方面，GVoice AI Codec需要將這一運(yùn)算復(fù)雜度與資源占用極高的編解碼方式，通過模型壓縮、量化、并行運(yùn)算、移動端指令集適配等工程化措施，不斷降低運(yùn)算與資源開銷，達(dá)到移動端落地要求。數(shù)據(jù)顯示，GVoice AI Codec在手機(jī)OnePlus 3雙工通話下測試，相比Opus格式 CPU占用率資源增長約為2.3%;在iPhone 6s下測試，采用GVoice AI Codec后CPU占用率增長約1.3%。這表明，GVoice AI Codec用極低的CPU使用率增幅，換來了手機(jī)端更低流量的高質(zhì)量實(shí)時通話。

(左圖為原始語音，右圖為GVoice AI Codec 編解碼后語音，從波形上看右圖語音保真度高，主觀聽感接近原始語音)

GVoice AI Codec技術(shù)在《和平精英》中應(yīng)用后，語音服務(wù)質(zhì)量整體得到了進(jìn)一步的提升。首先，通過對語音流量的優(yōu)化，GVoice AI Codec能夠極大的提升玩家在交通出行、戶外活動等弱網(wǎng)環(huán)境下的語音流暢性，避免在激烈戰(zhàn)斗時出現(xiàn)卡麥、斷麥的情況。其次，GVoice AI Codec由于使用AI模型算法，相比傳統(tǒng)的語音算法在人聲傳輸方面會有所提升，在《和平精英》中玩家間的語音溝通效果會更加清晰，無論是戰(zhàn)術(shù)配合還是多人閑聊都有更佳的社交體驗(yàn)。項(xiàng)目組通過在不同嘈雜環(huán)境、多種游戲情景下進(jìn)行了多輪語音測試，結(jié)果顯示均獲得了更良好的玩家反饋。

從游戲發(fā)展的角度而言，GVoice AI Codec在《和平精英》上的成功落地，為更多游戲語音技術(shù)的研發(fā)成果落地打下了基礎(chǔ)，使得相關(guān)技術(shù)拓展至更多游戲成為可能。

無社交，不游戲?？梢灶A(yù)見的是，隨著云游戲、VR/AR等更多游戲品類的萌發(fā)，GVoice AI Codec 技術(shù)也將在更多品類的游戲體驗(yàn)方面起到越來越大的作用，成為新的行業(yè)標(biāo)準(zhǔn)。