OPML:樂觀機器學習爲區塊鏈系統帶來新機遇

OPML(樂觀機器學習)是一種新興技術,可在區塊鏈系統上實現AI模型的推理和訓練。與ZKML相比,OPML具有成本低、效率高的優勢。即使在普通PC上,無需GPU也能運行大型語言模型如7B-LLaMA(約26GB)。

OPML採用驗證遊戲機制,類似於Truebit和樂觀匯總系統,以確保ML服務的去中心化和可驗證性:

1. 請求者發起ML服務任務
2. 服務器完成任務並將結果提交到鏈上
3. 驗證者檢查結果,若發現錯誤則啓動驗證遊戲
4. 智能合約進行最終仲裁

單階段驗證遊戲

單階段精確定位協議的工作原理與計算委托(RDoC)類似。OPML中:

• 構建了用於鏈下執行和鏈上仲裁的虛擬機(VM)
• 實現了專門的輕量級DNN庫,提高AI模型推理效率
• 使用交叉編譯技術將AI模型推理代碼編譯爲VM指令
• VM鏡像用默克爾樹管理,僅將根哈希上傳鏈上

測試表明,在PC上可在2秒內完成基本AI模型推理,整個挑戰過程可在2分鍾內完成。

多階段驗證遊戲

爲克服單階段協議的局限性,提出了多階段協議擴展:

• 僅最後階段在VM中計算,其他階段可在本機環境執行
• 利用CPU、GPU、TPU甚至並行處理,顯著提高性能
• 採用默克爾樹確保階段轉換的完整性和安全性

以LLaMA模型爲例的兩階段OPML方法:

1. 第二階段:在計算圖上進行驗證博弈,可使用多線程CPU或GPU
2. 第一階段:將單個節點計算轉換爲VM指令

性能改進

多階段驗證框架相比單階段OPML:

• 計算速度提升α倍(α爲GPU或並行計算加速比)
• Merkle樹大小從O(mn)減小到O(m+n)

一致性與確定性

爲確保ML結果一致性,OPML採用:

1. 定點算法(量化技術):使用固定精度代替浮點數
2. 基於軟件的浮點庫:確保跨平台一致性

這些方法有效解決了浮點變量和平台差異帶來的挑戰,增強了OPML計算的可靠性。

OPML雖仍在開發中,但已展現出巨大潛力。它不僅支持模型推理,還適用於訓練過程,爲區塊鏈系統上的機器學習任務提供了全面解決方案。