應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點新聞
企業(yè)注冊個人注冊登錄

為什么AI感知與人類感知無法直接比較?

2020-08-28 08:53 科技行者

導(dǎo)讀:人與機(jī)器之間的比較性研究,往往受到人類自發(fā)解釋思維這一強(qiáng)烈偏見的影響。

人類級別的表現(xiàn)、人類級別的精度……在開發(fā)AI系統(tǒng)的企業(yè)中,我們經(jīng)常會聽到這類表述,其指向范圍則涵蓋人臉識別、物體檢測,乃至問題解答等各個方面。隨著機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的不斷進(jìn)步,近年來越來越多卓越的產(chǎn)品也開始將AI算法作為自身的實現(xiàn)基礎(chǔ)。

但是,這種比較往往只考慮到在有限數(shù)據(jù)集上對深度學(xué)習(xí)算法進(jìn)行的測試結(jié)果。一旦貿(mào)然將關(guān)鍵性任務(wù)交付給AI模型,這種草率的考核標(biāo)準(zhǔn)往往會導(dǎo)致AI系統(tǒng)的錯誤期望,甚至可能產(chǎn)生危險的后果。

最近一項來自德國各組織及高校的研究,強(qiáng)調(diào)了對深度技術(shù)在視覺數(shù)據(jù)處理領(lǐng)域進(jìn)行性能評估時所面臨的實際挑戰(zhàn)。研究人員們在這篇題為《人與機(jī)器的感知比較:眾所周知的難題》的論文中,著重指出了當(dāng)前深度神經(jīng)網(wǎng)絡(luò)與人類視覺系統(tǒng)的識別能力比較方法存在的幾個重要問題。

在這項研究中,科學(xué)家們進(jìn)行了一系列實驗,包括深入挖掘深度學(xué)習(xí)結(jié)果的深層內(nèi)容,并將其與人類視覺系統(tǒng)的功能做出比較。他們的發(fā)現(xiàn)提醒我們,即使AI看似擁有與人類相近甚至已經(jīng)超越人類的視覺識別能力,我們?nèi)匀恍枰灾?jǐn)慎的態(tài)度看待這方面結(jié)果。

人類與計算機(jī)視覺的復(fù)雜性

對于人類感知能力的基本原理,特別是重現(xiàn)這種感知效果的無休止探索當(dāng)中,以深度學(xué)習(xí)為基礎(chǔ)的計算機(jī)視覺技術(shù)帶來了最令人稱道的表現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)(CNN)是計算機(jī)視覺深度學(xué)習(xí)算法中所常用的架構(gòu),能夠完成種種傳統(tǒng)軟件根本無法實現(xiàn)的高難度任務(wù)。

然而,將神經(jīng)網(wǎng)絡(luò)與人類感知進(jìn)行比較,仍是一項巨大的挑戰(zhàn)。一方面是因為我們對人類的視覺系統(tǒng)乃至整個人類大腦還不夠了解,另一方面則是因為深度學(xué)習(xí)系統(tǒng)本身的復(fù)雜運(yùn)作機(jī)制同樣令人難以捉摸。事實上,深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜度之高,往往令創(chuàng)造者也對其感到困惑。

近年來,大量研究試圖評估神經(jīng)網(wǎng)絡(luò)的內(nèi)部工作原理,及其在處理現(xiàn)實情況中表現(xiàn)出的健壯性。德國研究人員們在論文中寫道,“盡管進(jìn)行了大量研究,但對人類感知與機(jī)器感知能力進(jìn)行比較,仍然極度困難?!?/p>

在此次研究中,科學(xué)家們主要關(guān)注三個核心領(lǐng)域,借此評估人類與深度神經(jīng)網(wǎng)絡(luò)究竟如何處理視覺數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)如何感知輪廓?

第一項測試為輪廓檢測。在此項實驗中,人類與AI參與者需要說出所面對的圖像中是否包含閉合輪廓。其目標(biāo)在于了解深度學(xué)習(xí)算法是否掌握了閉合與開放形狀的概念,以及其能夠在各類條件下都順利檢測出符合概念定義的目標(biāo)。

▲你能判斷出,以上哪幅圖像中包含閉合圖形嗎?

研究人員們寫道,“對于人類來說,圖中所示為一個閉合輪廓,其周邊則分布著大量開放輪廓。相比之下,DNN則可能很難檢測到閉合輪廓,因為神經(jīng)網(wǎng)絡(luò)可能會把閉合輪廓與其他圖形視為統(tǒng)一的整體?!?/p>

在實驗當(dāng)中,科學(xué)家們使用了ResNet-50,即由微軟公司AI研究人員們開發(fā)的一套流行卷積神經(jīng)網(wǎng)絡(luò)。他們使用遷移學(xué)習(xí)技術(shù),使用14000個閉合與開放輪廓圖像對該AI模型進(jìn)行了微調(diào)。

接下來,他們又通過其他類似的訓(xùn)練數(shù)據(jù)(使用不同指向的圖形)進(jìn)行AI測試。初步發(fā)現(xiàn)表明,經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)似乎掌握了閉合輪廓的基本概念。即使訓(xùn)練數(shù)據(jù)集中僅包含直線圖形,模型也能夠在處理曲線圖形時帶來良好表現(xiàn)。

科學(xué)家們寫道,“這些結(jié)果表明,我們的模型確實掌握了開放輪廓與閉合輪廓的概念,而且其判斷過程與人類非常相似?!?/p>

▲即使訓(xùn)練數(shù)據(jù)集中僅包含直線圖形,模型也能夠在處理曲線圖形時帶來良好表現(xiàn)。

但進(jìn)一步調(diào)查顯示,某些不會影響到人類判斷的因素卻有可能降低AI模型的判斷準(zhǔn)確率。例如,調(diào)整線條的顏色與寬度會導(dǎo)致深度學(xué)習(xí)模型的準(zhǔn)確率驟然下降。而當(dāng)形狀的尺寸超過特定大小時,模型似乎也難以正確對形狀作出判斷。

▲當(dāng)圖形中包含不同的顏色與粗細(xì)線條,且總體尺寸遠(yuǎn)大于訓(xùn)練集圖像時,ResNet-50神經(jīng)網(wǎng)絡(luò)將很難做出準(zhǔn)確判斷。

此外,神經(jīng)網(wǎng)絡(luò)對于對抗性干擾也顯得非常敏感。所謂對抗性干擾,屬于一類精心設(shè)計的變化。人眼雖然無法察覺這些變化,但卻會給機(jī)器學(xué)習(xí)系統(tǒng)的行為帶來巨大影響。

▲右側(cè)圖像已經(jīng)進(jìn)行過對抗性干擾處理。

在人眼看來,兩張圖像沒有任何區(qū)別;但對于神經(jīng)網(wǎng)絡(luò),二者卻已經(jīng)截然不同。

為了進(jìn)一步研究AI的決策過程,科學(xué)家們使用了特征袋(Bag-of-Feature)網(wǎng)絡(luò),這項技術(shù)旨在對深度學(xué)習(xí)模型決策中所使用的數(shù)據(jù)位進(jìn)行定位。分析結(jié)果證明,“神經(jīng)網(wǎng)絡(luò)在進(jìn)行分類標(biāo)記時,確實會使用某些局部特征,例如具有端點與短邊,作為強(qiáng)依據(jù)?!?/p>

機(jī)器學(xué)習(xí)能夠?qū)D像做出推理嗎?

第二項實驗旨在測試深度學(xué)習(xí)算法在抽象視覺推理中的表現(xiàn)。用于實驗的數(shù)據(jù)基于合成視覺推理測試(SVRT),AI需要在其中回答一系列關(guān)于圖像中不同形狀間關(guān)系的問題。測試問題分為找不同(例如,圖像中的兩個形狀是否相同?)以及空間判斷(例如,較小的形狀是否位于較大形狀的中心?)等。人類觀察者能夠輕松解決這些問題。

▲SVRT挑戰(zhàn),要求AI模型解決找不同與空間判斷類型的任務(wù)。

在實驗當(dāng)中,研究人員們使用RESNet-50測試了其在不同大小的訓(xùn)練數(shù)據(jù)集中的表現(xiàn)。結(jié)果表明,通過28000個樣本進(jìn)行微調(diào)訓(xùn)練之后的模型,在找不同與空間判斷任務(wù)上均表現(xiàn)良好。(之前的實驗,使用的是一套小型神經(jīng)網(wǎng)絡(luò)并配合100萬張樣本圖像)隨著研究人員減少訓(xùn)練示例的數(shù)量,AI的性能也開始下滑,而且在找不同任務(wù)中的下滑速度更快。

研究人員們寫道,“相較于空間判斷類任務(wù),找不同任務(wù)對于訓(xùn)練樣本的需求量更大。當(dāng)然,這并不能作為前饋神經(jīng)網(wǎng)絡(luò)與人類視覺系統(tǒng)之間存在系統(tǒng)性差異的證據(jù)?!?/p>

研究人員們指出,人類視覺系統(tǒng)天然就在接受大量抽象視覺推理任務(wù)的訓(xùn)練。因此,直接比較對于只能在低數(shù)據(jù)樣本量下進(jìn)行學(xué)習(xí)的深度學(xué)習(xí)模型并不公平。所以,不能貿(mào)然給出人類與AI內(nèi)部信息處理方式之間存在差異的結(jié)論。

研究人員們寫道,“如果真的從零開始進(jìn)行訓(xùn)練,人類視覺系統(tǒng)在這兩項識別任務(wù)中,沒準(zhǔn)會與表現(xiàn)出ResNet-50類似的情況。”

衡量深度學(xué)習(xí)的間隙判別

間隙送別可以算是視覺系統(tǒng)當(dāng)中最有趣的測試之一。以下圖為例,大家能不能猜出完整的圖像呈現(xiàn)的是什么?

毫無疑問,這是一只貓。從左上方的局部圖來看,大家應(yīng)該能夠輕松預(yù)測出圖像的內(nèi)容。換言之,我們?nèi)祟愋枰吹揭欢〝?shù)量的整體形狀與圖案,才能識別出圖像中的物體。而局部放大得越夸張,失去的特征也就越多,導(dǎo)致我們越難以區(qū)分圖像中的內(nèi)容。

▲根據(jù)圖中所包含的特征,小貓圖像中不同部分的局部放大圖,會對人類的感知產(chǎn)生不同的影響。

深度學(xué)習(xí)系統(tǒng)的判斷也以特征為基礎(chǔ),但具體方式卻更加巧妙。神經(jīng)網(wǎng)絡(luò)有時候能夠發(fā)現(xiàn)肉眼無法察覺的微小特征,而且即使把局部放得很大,這些特征仍然能夠得到正確檢測。

在最終實驗當(dāng)中,研究人員們試圖通過逐漸放大圖像,直到AI模型的精度開始顯著下降,借此衡量深度神經(jīng)網(wǎng)絡(luò)的間隙判別。

這項實驗表明,人類的圖像間隙判別與深度神經(jīng)網(wǎng)絡(luò)之間存在很大差異。但研究人員們在其論文中指出,以往關(guān)于神經(jīng)網(wǎng)絡(luò)間隙判別的大多數(shù)測試,主要基于人類選擇的局部圖。這些局部的選擇,往往有利于人類視覺系統(tǒng)。

在使用“機(jī)器選擇”的局部圖對深度學(xué)習(xí)模型進(jìn)行測試時,研究人員們發(fā)現(xiàn)人類與AI的間隙判別表現(xiàn)基本一致。

▲間隙判別測試能夠評估局部圖對于AI判斷準(zhǔn)確率的具體影響。

研究人員們寫道,“這些結(jié)果顯示,只有在完全相同的基礎(chǔ)之上進(jìn)行人機(jī)比較測試,才能避免人為設(shè)計給結(jié)果造成的偏差。人與機(jī)器之間的所有條件、命令與程序都應(yīng)盡可能接近,借此保證觀察到的所有差異都源自決策策略——而非測試程序中的差異。”

縮小AI與人類智能之間的鴻溝

隨著AI系統(tǒng)復(fù)雜程度的不斷提升,我們也需要開發(fā)出越來越復(fù)雜的方法以進(jìn)行AI測試。這一領(lǐng)域之前的研究表明,大部分用于衡量計算機(jī)視覺系統(tǒng)準(zhǔn)確率的流行基準(zhǔn)測試中存在一定誤導(dǎo)性。德國研究人員們的工作,旨在更好地衡量人工智能表現(xiàn),并準(zhǔn)確量化AI與人類智能之間的真實差異。他們得出的結(jié)論,也將為未來的AI研究提供方向。

研究人員們總結(jié)道,“人與機(jī)器之間的比較性研究,往往受到人類自發(fā)解釋思維這一強(qiáng)烈偏見的影響。只有選擇適當(dāng)?shù)姆治龉ぞ卟⑦M(jìn)行廣泛的交叉核查(例如網(wǎng)絡(luò)架構(gòu)的變化、實驗程序的統(tǒng)一、概括性測試、對抗性示例以及受約束的網(wǎng)絡(luò)測試等),我們才能對結(jié)果做出合理解釋,并正視這種自發(fā)性偏見的存在??偠灾?,在對人類與機(jī)器的感知能力進(jìn)行比較時,必須注意不要向其中人為強(qiáng)加任何系統(tǒng)性的偏見?!?/p>