6月最新中文通用大模型測評出爐:360智腦多項能力國內持續領跑
來源:紅周刊 ? 2023-06-20 10:39:42
【資料圖】
(原標題:6月最新中文通用大模型測評出爐:360智腦多項能力國內持續領跑)
6月19日,中文通用大模型基準(SuperCLUE)最新發布“6月榜單”,三六零集團(601360.SH,以下簡稱360)自研認知型通用大模型“360智腦”多項能力蟬聯國產大模型第一,部分能力評分已超越GPT-3.5甚至超越GPT-4。
SuperCLUE是針對中文可用的通用大模型測評基準,代表時下中文大模型的發展效果情況。SuperCLUE從基礎能力、中文特性、學術與專業能力三個層面對國內外通用大模型產品進行測試,“360智腦”在以上三方面均位列國內第一,世界第三。
上月出爐的SuperCLUE榜單中,360智腦已取得“國產大模型第一”的成績。為避免“刷題”,確保結果公正客觀,SuperCLUE在6月新一輪測評中采用了全新獨立的評測數據集,同時數量級擴大近10倍到3714道題。測試結果顯示,360智腦與GPT-3.5的總分差距從上月的8分縮小至本月的5分以內,同時在上下文對話、語義理解、計算等能力上,評分已追平甚至超越GPT。
據了解,過去3個月內,360智腦已完成從1.0版本到4.0版本的迭代,刷新了國產大模型的“中國速度”?!?60智腦4.0”已具備跨模態生成能力,并依托該能力全國首發大模型定制“AI數字人”和“文生視頻”功能。
關鍵詞: