OpenAI CEO Altman:大語言模型不是“越大越好”
來源:華爾街見聞 ? 2023-04-15 09:11:32
毫無疑問,ChatGPT依賴的是迄今為止最復雜的大語言模型(LLM),但在OpenAI掌門人看來,LLM并非越大越好。
(資料圖片)
當地時間4月13日,OpenAI聯合創始人兼首席執行官Sam Altman在麻省理工學院的“想象力在行動”活動上接受了媒體的采訪。
他認為我們正為了大小而逐漸接近LLM的極限。Altman說:
我認為,我們已經走到了這個時代的盡頭,我們將以其他方式把這些巨型模型做得更好。
Altman認為,大小并非衡量一個模型質量的正確方式,他還把LLM與芯片的發展速度進行了比較。
我認為人們過于關注參數數量,也許參數數量肯定會增加。但是,這讓我想起了上世紀90年代和2000年代的千兆赫芯片競賽,當時每家公司都追求大參數。
正如他指出的那樣,如今有些手機上運行著功能更強大的芯片,但用戶大多數時候并不知道它們的速度有多快,只知道它們能很好地完成工作。
Altman認為,未來模型參數應該向更小的方向發展,或者以多個小模型協作的方式工作。
我認為,重要的是,我們將重點放在迅速提高(模型)能力上。
如果可以的話,參數數量應該隨著時間的推移而減少,或者我們應該讓多個模型一起工作,每個模型都更小,我們就會這樣做。
我們希望向世界提供的是最強大、最實用、最安全的模型。當然,我們并不是要忽略參數數量。
Altman還說:
風險提示及免責條款 市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。我們已經為此努力了很長時間,但我們的信心正逐漸增強,相信它真的會奏效。
我們建立這家公司已經七年了。這些事情需要很長、很長的時間??偟膩碚f,我想說的是為什么別人沒有成功的時候它卻成功了: 這只是因為我們已經在研究每一個細節很長一段時間了。而大多數人不愿意這么做。
關鍵詞: