中新網(wǎng)北京7月8日電 (記者 孫自法)記者8日從中國科學(xué)院自動化研究所(中科院自動化所)獲悉，該所科研團(tuán)隊成功構(gòu)建全球首個圖文音(視覺-文本-語音)三模態(tài)預(yù)訓(xùn)練模型，將解鎖更多智能之美，讓人工智能(AI)更接近人類想象力。
目前，已有的多模態(tài)預(yù)訓(xùn)練模型通常僅考慮“圖像和文本”或者“視頻和文本”兩個模態(tài)，忽視了周圍環(huán)境中普遍存在的語音信息，并且模型極少兼具理解與生成能力，難以在生成任務(wù)與理解類任務(wù)中同時取得良好表現(xiàn)。
針對這些問題，中科院自動化所科研團(tuán)研究隊提出圖文音三模態(tài)預(yù)訓(xùn)練模型，將文本、語音、圖像、視頻等多模態(tài)內(nèi)容聯(lián)合起來進(jìn)行學(xué)習(xí)。該模型由單模態(tài)編碼器、跨模態(tài)編碼器和跨模態(tài)解碼器構(gòu)成，采用分別基于詞條級別、模態(tài)級別以及樣本級別的多層次、多任務(wù)三級預(yù)訓(xùn)練自監(jiān)督學(xué)習(xí)方式，更關(guān)注圖文音三模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)特性以及跨模態(tài)轉(zhuǎn)換問題，對更廣泛、更多樣的下游任務(wù)提供模型基礎(chǔ)支撐。
科研團(tuán)隊指出，圖文音三模態(tài)預(yù)訓(xùn)練模型不僅可實現(xiàn)圖像識別、語音識別等跨模態(tài)理解任務(wù)，也能完成從文本生成圖像、從圖像生成文本、語音生成圖像等跨模態(tài)生成任務(wù)。同時，引入語音模態(tài)后的多模態(tài)預(yù)訓(xùn)練模型，可突破性直接實現(xiàn)三模態(tài)的統(tǒng)一表示，特別是首次實現(xiàn)“以圖生音”和“以音生圖”。
此外，該模型靈活的自監(jiān)督學(xué)習(xí)框架可同時支持三種或任兩種模態(tài)弱關(guān)聯(lián)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，能有效降低多模態(tài)數(shù)據(jù)收集與清洗成本，從而取得預(yù)訓(xùn)練模型突破性進(jìn)展。
中科院自動化所表示，圖文音三模態(tài)預(yù)訓(xùn)練模型的提出和構(gòu)建，將改變當(dāng)前單一模型對應(yīng)單一任務(wù)的人工智研發(fā)范式，大幅提升文本、語音、圖像和視頻等領(lǐng)域的基礎(chǔ)任務(wù)性能，并在多模態(tài)內(nèi)容的理解、搜索、推薦和問答；語音識別和合成；人機交互和無人駕駛等商業(yè)應(yīng)用中具有潛力巨大的市場價值。
未來，“大數(shù)據(jù)+大模型+多模態(tài)”的多任務(wù)統(tǒng)一學(xué)習(xí)，將引領(lǐng)人工智能技術(shù)發(fā)展的潮流。(完)
中國-博士人才網(wǎng)發(fā)布
聲明提示：凡本網(wǎng)注明“來源：XXX”的文/圖等稿件，本網(wǎng)轉(zhuǎn)載出于傳遞更多信息及方便產(chǎn)業(yè)探討之目的，并不意味著本站贊同其觀點或證實其內(nèi)容的真實性，文章內(nèi)容僅供參考。
