OpenAI o1

OpenAI o1

開發者	OpenAI
首次發布	2024年12月5日​（2024-12-05）
前任	GPT-4o
類型	多模態 大型語言模型 基於轉換器的生成式預訓練模型 基礎模型
許可協議	專有軟件
網站	openai.com/o1/

OpenAI o1是一個基於轉換器的生成式預訓練模型。 2024年9月12日，OpenAI發布了o1的預覽版，完整版本於2024年12月5日發布。 o1在回答問題之前會進行「思考」，使得它在處理複雜的任務、科學和編程方面比GPT-4o更優秀。

歷史

背景

據泄露的信息顯示，o1以前在OpenAI內部被稱為「Q*」，後來更名為「草莓」。 代號「Q*」於2023年11月首次披露，大約是在薩姆·阿爾特曼被罷免並隨後復職的時期。據稱這個實驗模型在數學基準測試方面表現出更加理想的結果。

2024年7月，路透社報道稱OpenAI正在開發名為「草莓」的生成式預訓練模型。

發布

o1-preview和o1-mini於2024年9月12日面向ChatGPT Plus用戶和ChatGPT for Teams用戶發布。 GitHub在發布當天開始測試將o1-preview集成到Copilot服務中。 2024年12月5日，o1完整版發布。 同一天，ChatGPT Pro訂閱服務發布，該訂閱服務包括訪問o1的專業版，該版本使用更多算力來提供更好的答案。

OpenAI指出，o1是一系列「推理」模型中的第一個。o1-preview的API比GPT-4o貴好幾倍。 OpenAI計劃向免費用戶提供o1-mini版模型，但在發布時尚未公布具體時間。

功能

OpenAI稱o1使用了一種新的優化算法和專門的數據集進行了訓練，同時還將強化學習融入到其訓練中。 OpenAI形容o1為GPT-4o的增強版。

OpenAI-o1在回答問題前會花更多時間思考，這使得它在處理複雜思維任務時更加有效，特別是在科學和數學方面。 與之前的模型相比，o1被訓練為可以在輸出最終答案之前生成較長的「思路鏈」。據米拉·穆拉蒂稱，這種先思考後回答的能力代表了一種新的、額外的範例，通過在生成答案前使用更多的算力來改善模型輸出，而模型擴展（model scaling paradigm）則通過增加模型大小、訓練數據和訓練算力來改進輸出。 OpenAI的測試結果表明，準確率與回答前思考所花費的計算量之間存在相關性。

o1-preview在物理、化學和生物相關的基準測試中的表現達到了博士水平。在美國數學邀請賽中，它解決了83%（12.5/15）的問題，而GPT-4o僅解決了13%（1.8/15）。它還在Codeforces編程競賽中優於89%的參賽者。 o1-mini比o1-preview更快且便宜80%，它特別適合編程和理工科相關的任務，但沒有o1-preview「廣博」。

OpenAI指出，o1的推理能力使其能更好地遵守上下文窗口中提供的安全規則。 OpenAI報告稱，在一次測試中o1-preview的一個實例利用錯誤配置成功完成了一項本無法完成的任務。 OpenAI還授予英國和美國的人工智能安全研究所早期訪問（early access）權限，以進行研究、評估和測試。根據OpenAI的評估，o1-preview和o1-mini在CBRN（生物、化學、放射和核武器）中屬於「中等風險」。人工智能安全中心的主任丹·亨德里克斯（Dan Hendrycks）稱：「模型在回答與生物武器相關的問題時的表現在大多數時候已經超過了博士科學家」，他表示，「這些令人擔憂的能力還將繼續增強」。

局限性

o1通常需要比OpenAI的其他GPT模型更多的計算時間和電力，因為它會在做出最終回答前生成長思路鏈。

OpenAI表示，o1生成錯誤回答（fake alignment）的可能性小於0.38%。

OpenAI禁止用戶試圖透露o1的思路鏈，該思路鏈被設計為是隱藏的，並且未經訓練以遵守公司政策。用戶的輸入是受到監控的，有意或無意違反此規定的用戶可能會失去對o1的訪問權限。 OpenAI以人工智能安全性和競爭為由實施了這一限制，而使用大型語言模型（LLM）的開發人員則認為這會導致透明度的喪失。

2024年10月，蘋果公司的研究人員提交了一份預印本報告，稱o1之類的大型語言模型可能會重複模型自身訓練數據中的推理步驟。 通過改變數學問題中使用的數字和名稱，或者只是再次運行相同的問題，大型語言模型的表現會比其最佳基準的結果差。添加邏輯上的無關信息會導致性能大幅下降，其中o1-preview下降了17.5%，o1-mini下降了29.1%。而已測試的最差的模型則下降了65.7%。