圖夫茨大學(xué)最新研究發(fā)現(xiàn),大型語(yǔ)言模型在識(shí)別對(duì)話中的合適插話時(shí)機(jī)方面存在明顯缺陷,這一發(fā)現(xiàn)揭示了人工智能在對(duì)話能力上的局限性。
在自然語(yǔ)言處理經(jīng)驗(yàn)方法會(huì)議(EMNLP 2024)上,該大學(xué)的研究團(tuán)隊(duì)將詳細(xì)介紹他們的研究成果。該研究已提前在arXiv預(yù)印本服務(wù)器上發(fā)布,引起了學(xué)術(shù)界的廣泛關(guān)注。
研究指出,人類在交談時(shí)通常會(huì)根據(jù)多種輸入線索來(lái)判斷何時(shí)是合適的插話時(shí)機(jī),這被語(yǔ)言學(xué)家稱為“話輪轉(zhuǎn)換點(diǎn)”(TRP)。然而,AI在識(shí)別這些關(guān)鍵時(shí)點(diǎn)上表現(xiàn)得并不理想。
傳統(tǒng)觀點(diǎn)認(rèn)為,對(duì)話中的副語(yǔ)言信息,如語(yǔ)調(diào)和停頓,是識(shí)別TRP的關(guān)鍵。但圖夫茨大學(xué)的JP de Ruiter教授表示,實(shí)際上,語(yǔ)言內(nèi)容本身才是決定輪流發(fā)言時(shí)機(jī)的最重要因素。
研究人員嘗試通過(guò)微調(diào)和對(duì)話內(nèi)容額外訓(xùn)練來(lái)提升AI的對(duì)話能力,但結(jié)果發(fā)現(xiàn)仍存在難以克服的限制。他們警告說(shuō),基于統(tǒng)計(jì)相關(guān)性的AI可能無(wú)法真正理解對(duì)話的深層語(yǔ)境和意圖。
為了克服這些限制,研究團(tuán)隊(duì)建議對(duì)大型語(yǔ)言模型進(jìn)行更大規(guī)模的自然口語(yǔ)語(yǔ)料庫(kù)預(yù)訓(xùn)練。然而,目前收集足夠數(shù)量的對(duì)話錄音和轉(zhuǎn)錄數(shù)據(jù)仍是一個(gè)巨大挑戰(zhàn)。