中國(guó)科學(xué)院自動(dòng)化研究所(中科院自動(dòng)化所)成功研發(fā)的跨模態(tài)通用人工智能(AI)平臺(tái)“紫東太初”9日正式對(duì)外發(fā)布，其以多模態(tài)大模型為核心，基于全棧國(guó)產(chǎn)化基礎(chǔ)軟硬件平臺(tái)，可支撐全場(chǎng)景AI應(yīng)用。
中科院自動(dòng)化所所長(zhǎng)、中國(guó)科學(xué)院大學(xué)人工智能學(xué)院院長(zhǎng)徐波研究員當(dāng)天在2021世界人工智能大會(huì)上就人工智能的最新進(jìn)展做學(xué)術(shù)報(bào)告，發(fā)布“紫東太初”并展示該所最新打造的虛擬人“小初”，對(duì)通用多模態(tài)大模型的人機(jī)對(duì)話進(jìn)行演示。
徐波介紹說(shuō)，依托面向超大規(guī)模的高效分布式訓(xùn)練框架，中科院自動(dòng)化所構(gòu)建出具有業(yè)界領(lǐng)先性能的中文預(yù)訓(xùn)練模型、語(yǔ)音預(yù)訓(xùn)練模型、視覺(jué)預(yù)訓(xùn)練模型，并開(kāi)拓性地通過(guò)跨模態(tài)語(yǔ)義關(guān)聯(lián)實(shí)現(xiàn)圖文音(視覺(jué)-文本-語(yǔ)音)三模態(tài)統(tǒng)一表示，構(gòu)建三模態(tài)預(yù)訓(xùn)練大模型，賦予跨模態(tài)通用人工智能平臺(tái)多種核心能力。
“紫東太初”兼具跨模態(tài)理解和生成能力，與單模態(tài)和圖文兩模態(tài)相比，其采用一個(gè)大模型就可以靈活支撐圖文音全場(chǎng)景AI應(yīng)用，具有在無(wú)監(jiān)督情況下多任務(wù)聯(lián)合學(xué)習(xí)、快速遷移到不同領(lǐng)域數(shù)據(jù)的強(qiáng)大能力。其引入語(yǔ)音模態(tài)后的多模態(tài)預(yù)訓(xùn)練模型，可實(shí)現(xiàn)共性圖文音語(yǔ)義空間表征和利用，并突破性直接實(shí)現(xiàn)三模態(tài)的統(tǒng)一表示。
徐波指出，“紫東太初”跨模態(tài)通用人工智能平臺(tái)包括三大關(guān)鍵技術(shù)和六大核心能力。三大關(guān)鍵技術(shù)分別是：多模態(tài)理解與生成多任務(wù)統(tǒng)一建模、面向國(guó)產(chǎn)化軟硬件的高效訓(xùn)練與部署、多模態(tài)預(yù)訓(xùn)練模型架構(gòu)設(shè)計(jì)與優(yōu)化；六大核心能力則體現(xiàn)為：多模態(tài)統(tǒng)一表示與語(yǔ)義關(guān)聯(lián)、跨模態(tài)內(nèi)容轉(zhuǎn)化與生成、預(yù)訓(xùn)練模型網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)、標(biāo)注受限自監(jiān)督模型學(xué)習(xí)、模型適配與分布式訓(xùn)練、模型輕量化與推理加速。
他表示，“大數(shù)據(jù)+大模型+多模態(tài)”將改變當(dāng)前單一模型對(duì)應(yīng)單一任務(wù)的人工智能研發(fā)范式，多模態(tài)大模型將成為不同領(lǐng)域的共性平臺(tái)技術(shù)，是邁向通用人工智能路徑的探索，具有廣闊應(yīng)用前景。
同時(shí)，中科院自動(dòng)化所全棧國(guó)產(chǎn)化通用人工智能平臺(tái)的成功實(shí)踐，將使人工智能研發(fā)的規(guī)則發(fā)生重大變革，對(duì)中國(guó)實(shí)現(xiàn)人工智能領(lǐng)域科技創(chuàng)新、占領(lǐng)核心技術(shù)高地具有重要意義。
基于“紫東太初”打造的虛擬人“小初”，形象展示出不同模態(tài)間的互相轉(zhuǎn)換和生成實(shí)例，涵蓋視頻描述、智能問(wèn)答、圖像檢索、吟詩(shī)作賦、中文續(xù)寫、雙語(yǔ)翻譯、語(yǔ)音識(shí)別等多個(gè)功能。徐波認(rèn)為，這表明，通過(guò)圖文音三模態(tài)的關(guān)聯(lián)與協(xié)同，可以有效提升機(jī)器的理解和生成能力，讓AI接近人類想象力。