語言模型的可信度評估研究

伊利諾伊大學香檳分校與多所高校和研究機構聯合發布了一個大型語言模型(LLMs)綜合可信度評估平台,並在最新論文《DecodingTrust:全面評估GPT模型的可信度》中進行了介紹。

研究團隊對GPT模型進行了全面的可信度評估,發現了一些之前未曾公布的漏洞。例如,GPT模型容易產生有毒和有偏見的輸出,並可能泄露訓練數據和對話歷史中的隱私信息。雖然在標準測試中GPT-4通常比GPT-3.5更可靠,但在面對惡意設計的提示時,GPT-4反而更容易受到攻擊,可能是因爲它更嚴格地遵循了誤導性指令。

研究從8個可信度角度對GPT模型進行了全面評估,包括對文本對抗攻擊的魯棒性、對不同任務說明和系統提示的適應性等。評估採用了多種場景、任務、指標和數據集。

結果顯示,GPT模型在某些方面表現出色,如不會被反事實示例誤導。但也存在一些問題,如容易受到誤導性系統提示的影響而產生有偏見的內容,特別是GPT-4更容易受影響。模型的偏見程度還與具體話題有關,對某些敏感話題的偏見較小。

在隱私保護方面,研究發現GPT模型可能會泄露訓練數據中的敏感信息,如電子郵件地址。GPT-4在保護個人身分信息方面比GPT-3.5更穩健,但在某些情況下仍可能泄露隱私。

這項研究爲評估語言模型的可信度提供了全面的基準,有助於發現潛在漏洞並推動更可靠模型的開發。研究團隊希望這項工作能促進學界在此基礎上繼續深入研究,共同努力創造更強大、更可信的語言模型。