琪琪无码午夜伦埋影院,欧美人与动**a欧美精品,久久精品国产99国产精品

玉林实硕医疗科技有限公司

過去十年來，人工智能領域經歷了從小模型到以Transformer為代表的大模型的百花齊放。直到ChatGPT橫空出世，才終于將簡潔、易用的“通用人工智能”帶入了大眾視野。英偉達CEO黃仁勛曾多次表示，他相信ChatGPT的誕生，意味著人工智能的iPhone時刻。這款革命性產品的背后，是OpenAI十年磨一劍的GPT系列大模型。

【資料圖】

AI算法模型作為產業的核心環節，其本身的技術路線，將直接決定AI產業鏈最終形態，以及各產業環節的分工協作方式、價值分配結構等。

那么，GPT系列大模型會成為AI算法模型的終極答案嗎？

通過對AI發展技術路線的梳理，中信證券分析師陳俊云、許英博等指出，GPT模型在交互邏輯、內容生成和理解上具備獨特優勢，AI算法模型最終會普遍朝GPT方向靠攏。

AI技術路徑四階段

從人工智能這個概念在1950年被提出開始，已經經歷了從規則學習到機器學習再到神經網絡的關鍵轉變。分析師強調，本輪人工智能的技術突破都是基于在神經網絡技術上的不斷進步。過去10年里，AI模型經歷了從小模型到以Transformer為代表的大模型的轉變。

而細分近十年來模型發展的進步，分析師觀察到了從以CNN、DNN為代表的傳統神經網絡小模型到以Transformer為代表的神經網絡大模型轉變的趨勢。

具體來看，全球AI行業最近10年的發展歷史，可以總結為4個階段：

1）2017年前：
以深度學習為核心的小模型占據主流：這類模型以LSTM及CNN模型作為典型的特征抽取器，根據特定領域標注數據訓練，在一些任務上可以達到接近人類的水準。但是硬件算力不夠導致針對其他領域重新訓練成本過高，讓其通用型任務的完成情況較差。
2）2017年到2020年：
以谷歌Bert為代表的雙向預訓練+FineTuning（微調）的Transformer模型橫空出世成為了人工智能的主流方向。
谷歌研究團隊發表的《Attention is all you need》論文（作者：Ashish Vaswani，Noam Shazeer，Niki Parmar等）開創了Transformer模型，重新統一了自然語言模型 (NLP) 的研究范式。
這類模型以預訓練的方式學習語言學特征，大幅簡化了過去NLP繁瑣的研究種類。Transformer作為特征提取器效果好于CNN、LSTM模型等，在信息容納能力、并行計算等方面明顯占優，讓AI首次能在語言任務的部分場景中追平人類。
3）2020年到2022年：
產業界與學術界繼續沿著Transformer的道路前景，但開始嘗試不同于Bert的其他Transformer架構，通過預訓練無監督學習的方法不斷增加模型體積成為了這一時段的主流。
以1750億參數的GPT-3為代表，各大互聯網巨頭不斷嘗試增加模型體積以獲得更好的效果。
GPT-3為代表的自回歸+Prompting的方法開始展現產品化能力的優越性，與Fine-tuning方法的Bert模型成為兩條道路。
相比于Bert，GPT-3的自回歸+Prompting在產品化能力展現出了兩個優點：
Fine-tuning對于小公司更難部署，從產品化的角度上更加困難；Prompting的方法更符合我們對以人類的方式使用AI的愿望，并實現了人、模型之間的自然交互。
谷歌等巨頭在這一階段也意識到了Prompting方法的重要性，逐漸開始轉向。
國內AI研究在這一段時間內出現了明顯落后，仍然沿著Bert模型的方向繼續前進，對GPT-3的研究很少；同時受制于中文優質語料的缺乏，模型大小也較難提升。
4）2022年至今：
ChatGPT的成功證明了GPT模型的Prompting道路的正確性，同時也強調了數據質量的重要性。
ChatGPT最重要的成功是在產品化上更進一步：ChatGPT在模型精度上并沒有飛躍性的突破，但從Few Shot prompt（需要輸入少量范例示范）轉換到Instruct（用人類語言描述想做什么）更加貼合用戶的習慣。