前不久，在中文語(yǔ)言理解權(quán)威評(píng)測(cè)基準(zhǔn)CLUE中，阿里巴巴的AI模型在新聞文本上超越了人類識(shí)別精確度。現(xiàn)在“讀圖會(huì)意”上，阿里巴巴達(dá)摩院在VQA上也超越了人類，這是榜單設(shè)立6年來(lái)的首次。

8月12日，國(guó)際權(quán)威機(jī)器視覺問(wèn)答榜單VQA Leaderboard出現(xiàn)關(guān)鍵突破：阿里巴巴達(dá)摩院以81.26%的準(zhǔn)確率創(chuàng)造了新紀(jì)錄，讓AI在“讀圖會(huì)意”上首次超越人類基準(zhǔn)。

繼2015年、2018年AI分別在視覺識(shí)別及文本理解領(lǐng)域超越人類分?jǐn)?shù)后，人工智能在多模態(tài)技術(shù)領(lǐng)域也迎來(lái)一大進(jìn)展。

“詩(shī)是無(wú)形畫，畫是有形詩(shī)?！彼未?shī)人張舜民曾描繪語(yǔ)言與視覺的相通之處?！白x圖會(huì)意”，即通過(guò)視覺理解信息，是人類的一項(xiàng)基礎(chǔ)能力，但對(duì)AI來(lái)說(shuō)卻是要求極高的認(rèn)知任務(wù)。

解決該挑戰(zhàn)，對(duì)研發(fā)通用人工智能有重要意義。近10年來(lái)，AI在下棋、視覺、文本理解等單模態(tài)技能上突飛猛進(jìn)，但在涉及視覺-文本跨模態(tài)理解的高階認(rèn)知任務(wù)上，AI過(guò)去始終未達(dá)到人類水平。

為攻克這一難題而設(shè)立的挑戰(zhàn)賽VQA Challenge，自2015年起先后于全球計(jì)算機(jī)視覺頂會(huì)ICCV及CVPR舉辦，吸引了包括微軟、Facebook、斯坦福大學(xué)、阿里巴巴、百度等眾多頂尖機(jī)構(gòu)踴躍參與，并形成了國(guó)際上規(guī)模最大、認(rèn)可度最高的VQA（Visual Question Answering）數(shù)據(jù)集，其包含超20萬(wàn)張真實(shí)照片、110萬(wàn)道考題。

VQA是AI領(lǐng)域難度最高的挑戰(zhàn)之一。在測(cè)試中，AI需根據(jù)給定圖片及自然語(yǔ)言問(wèn)題生成正確的自然語(yǔ)言回答。

這意味著單個(gè)AI模型需融合復(fù)雜的計(jì)算機(jī)視覺及自然語(yǔ)言技術(shù)：首先對(duì)所有圖像信息進(jìn)行掃描，再結(jié)合對(duì)文本問(wèn)題的理解，利用多模態(tài)技術(shù)學(xué)習(xí)圖文的關(guān)聯(lián)性、精準(zhǔn)定位相關(guān)圖像信息，最后根據(jù)常識(shí)及推理回答問(wèn)題。

今年6月，阿里達(dá)摩院在VQA 2021 Challenge的55支提交隊(duì)伍中奪冠，成績(jī)領(lǐng)先第二名約1個(gè)百分點(diǎn)、去年冠軍3.4個(gè)百分點(diǎn)。兩個(gè)月后，達(dá)摩院再次以81.26%的準(zhǔn)確率創(chuàng)造VQA Leaderboard全球紀(jì)錄，首次超越人類基準(zhǔn)線80.83%。

VQA的核心難點(diǎn)在于對(duì)多模態(tài)信息進(jìn)行聯(lián)合推理認(rèn)知，即在統(tǒng)一模型里做不同模態(tài)的語(yǔ)義映射和對(duì)齊。

據(jù)了解，達(dá)摩院NLP及視覺團(tuán)隊(duì)對(duì)AI視覺-文本推理體系進(jìn)行了系統(tǒng)性的設(shè)計(jì)，融合了大量算法創(chuàng)新，包括多樣性的視覺特征表示、多模態(tài)預(yù)訓(xùn)練模型、自適應(yīng)的跨模態(tài)語(yǔ)義融合和對(duì)齊技術(shù)、知識(shí)驅(qū)動(dòng)的多技能AI集成等，讓AI“讀圖會(huì)意”水平上了一個(gè)新臺(tái)階。

VQA技術(shù)擁有廣闊的應(yīng)用場(chǎng)景，可用于圖文閱讀、跨模態(tài)搜索、盲人視覺問(wèn)答、醫(yī)療問(wèn)診、智能駕駛等領(lǐng)域，或?qū)⒆兏锶藱C(jī)交互方式。

報(bào)道顯示，這不是阿里達(dá)摩院第一次在AI關(guān)鍵領(lǐng)域超越人類基準(zhǔn)。2018年，達(dá)摩院曾在斯坦福SQuAD挑戰(zhàn)賽中歷史性地讓機(jī)器閱讀理解首次超越人類，引發(fā)海外媒體關(guān)注。

今年以來(lái)，達(dá)摩院在AI底層技術(shù)領(lǐng)域動(dòng)作頻頻，先后發(fā)布了中國(guó)科技公司中首個(gè)超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型M6及首個(gè)超大規(guī)模中文語(yǔ)言模型PLUG,并開源了歷經(jīng)3年打造的深度語(yǔ)言模型體系A(chǔ)liceMind（https://github.com/alibaba/AliceMind），其曾登頂 GLUE等六大國(guó)際權(quán)威NLP榜單。

VQA考題列舉，根據(jù)有禮服裝飾的小熊玩具照片及問(wèn)題“這些玩具用來(lái)做什么的？”達(dá)摩院AliceMind成功推理出一個(gè)可能的答案“婚禮”