6月20日消息，據(jù)內(nèi)部人士透露，百度文心大模型3.5版本已內(nèi)測(cè)可用。早在5月末中關(guān)村論壇上，百度創(chuàng)始人、董事長兼CEO李彥宏透露，百度大模型產(chǎn)品“文心一言”的“母本”將迎來3.5版本。
時(shí)隔不到一個(gè)月，最新版本文心大模型達(dá)到了怎樣的實(shí)力？在公開測(cè)試集上進(jìn)行的基礎(chǔ)模型少樣本（Few-Shot）評(píng)測(cè)顯示，文心大模型3.5（ERNIE 3.5）在多個(gè)測(cè)試集的得分已超過ChatGPT。
三大評(píng)測(cè)基準(zhǔn)綜合評(píng)估 上萬道考題“統(tǒng)考”主流大模型
為驗(yàn)證主流大模型的各項(xiàng)綜合能力，評(píng)測(cè)在AGIEval、C-Eval和MMLU三個(gè)權(quán)威評(píng)測(cè)基準(zhǔn)上進(jìn)行綜合評(píng)估。
AGIEval評(píng)測(cè)基準(zhǔn)是微軟研究院發(fā)布的、專門用于評(píng)估模型在“以人為本”的標(biāo)準(zhǔn)化考試中表現(xiàn)水平的測(cè)試集。該基準(zhǔn)選取20種面向普通人類考生的官方、公開、高標(biāo)準(zhǔn)的資格考試，包括普通大學(xué)入學(xué)考試（如中國的高考和美國的SAT考試）、司法考試、數(shù)學(xué)競(jìng)賽、律師資格考試、國家公務(wù)員考試以及美國的GRE、GMAT等。
C-Eval評(píng)測(cè)基準(zhǔn)是由上海交通大學(xué)、清華大學(xué)以及愛丁堡大學(xué)聯(lián)合創(chuàng)制和發(fā)布的中文基礎(chǔ)模型評(píng)測(cè)集。它包含13948個(gè)多項(xiàng)選擇題、涵蓋52個(gè)不同的學(xué)科，設(shè)置了四個(gè)難度級(jí)別，是面向中文語言模型的綜合考試評(píng)測(cè)集。
MMLU是伯克利大學(xué)、哥倫比亞大學(xué)、伊利諾伊大學(xué)厄巴納-香檳分校和芝加哥大學(xué)聯(lián)合發(fā)布的一種大規(guī)模多任務(wù)語言理解的基準(zhǔn)測(cè)試，用于衡量模型的英文跨學(xué)科專業(yè)能力。該測(cè)試包含57個(gè)科目，涵蓋STEM、人文、社會(huì)科學(xué)等。
除了文心大模型3.5，評(píng)測(cè)的模型還有ChatGPT、GPT-4、ChatGLM、LLaMa系列大模型。評(píng)測(cè)可以看出大模型在能力上的優(yōu)劣，同時(shí)對(duì)模型的迭代發(fā)展也有著很強(qiáng)的指導(dǎo)作用。
評(píng)測(cè)結(jié)果：文心大模型3.5中文能力超GPT-4，綜合能力超ChatGPT
在AGIEval、C-Eval等中英文權(quán)威測(cè)試集和MMLU英文權(quán)威測(cè)試集中，國產(chǎn)文心大模型3.5取得了超過ChatGPT和LLaMa、ChatGLM等其他大模型的分?jǐn)?shù)表現(xiàn)，在中文評(píng)測(cè)項(xiàng)中超越了GPT-4。
在中文AGIEval評(píng)測(cè)中，文心大模型3.5得分64.37，遠(yuǎn)超ChatGLM-6B、LLaMa-7B、LLaMa-13B、LLaMa-65B，同時(shí)還超過了 ChatGPT的40.27分和 GPT-4的56.96分，位居第一。AGIEval評(píng)測(cè)英文部分中，GPT-4得分65.55居于首位，文心大模型3.5得分錄得 50.59分，僅次于GPT-4。緊隨其后的是ChatGPT錄得48.75分。
在中文C-Eval評(píng)測(cè)中，文心大模型3.5測(cè)出71.93的最高得分，不僅高于ChatGPT的51.70分，還略高于GPT-4的68.57分，領(lǐng)先于LLaMa-65B、LLaMa-7B、ChatGLM-6B的得分。
在英文MMLU測(cè)試中，GPT-4和ChatGPT的表現(xiàn)較好，分別以82.47分和68.85分領(lǐng)先于其他大模型。文心大模型3.5得分65.10緊隨其后，優(yōu)于LLaMa-65B、LLaMa-13B、LLaMa-7B、ChatGLM-6B等模型分?jǐn)?shù)。
從上述評(píng)測(cè)得分來看，文心大模型3.5版中文能力突出，甚至有超出 GPT-4 的表現(xiàn)；綜合能力稍遜于GPT-4，但已經(jīng)在評(píng)測(cè)中超過了 ChatGPT，遠(yuǎn)遠(yuǎn)領(lǐng)先于其他開源大模型。
國產(chǎn)大模型中文能力優(yōu)勢(shì)突出 綜合能力加速縮小差距
盡管市面上有多個(gè)大模型橫空出世，但大模型研發(fā)門檻高、難度大、投入高，依賴算力、數(shù)據(jù)等綜合支撐的現(xiàn)實(shí)不容小覷。在推動(dòng)大模型產(chǎn)業(yè)化的路上，中國企業(yè)如何在大模型發(fā)展過程中發(fā)揮所長優(yōu)勢(shì)，加速縮小差距？
中國工程院院士鄔賀銓曾在接受采訪時(shí)表示，中國企業(yè)在獲得中文語料和對(duì)中國文化的理解方面比外國企業(yè)有天然的優(yōu)勢(shì)，中國制造業(yè)門類最全，具有面向?qū)嶓w產(chǎn)業(yè)訓(xùn)練產(chǎn)業(yè)AIGC的有利條件。在算力方面中國已具有較好的基礎(chǔ)。
以百度文心大模型3.5為例，與3.0版本相比，通過各項(xiàng)算法和數(shù)據(jù)的優(yōu)化，尤其是百度首創(chuàng)的知識(shí)增強(qiáng)和檢索增強(qiáng)技術(shù)的優(yōu)化，新版本文心大模型在各項(xiàng)能力上均有明顯提升。據(jù)了解，百度人工智能四層架構(gòu)的端到端優(yōu)化，尤其是框架和模型層的協(xié)同優(yōu)化，讓文心大模型訓(xùn)練速度、模型效果加速提升。
創(chuàng)新工場(chǎng)董事長兼CEO李開復(fù)也曾公開表示“中國擁有豐富的中文語料和龐大的市場(chǎng)，通過發(fā)展AI大模型，中國可以推動(dòng)創(chuàng)新產(chǎn)業(yè)的發(fā)展，實(shí)現(xiàn)科技與經(jīng)濟(jì)的雙重紅利。而且中國擁有龐大基數(shù)的年輕工程師和最堅(jiān)韌的企業(yè)家，為發(fā)展AI大模型提供了強(qiáng)大的人才支持，技術(shù)領(lǐng)先、策略靈活、市場(chǎng)反應(yīng)快、能打硬仗、落地執(zhí)行力強(qiáng)，將是中國大模型公司的成功關(guān)鍵。”
眼下，市場(chǎng)呼喚大模型，呼喚先進(jìn)可用的 AI大模型。相信以百度等為代表的中國科技公司，基于對(duì)中國文化的感悟和對(duì)中國市場(chǎng)的理解，能夠做出不遜于國外公司的AI應(yīng)用。在數(shù)智化的征程上，中國企業(yè)應(yīng)積極迎接挑戰(zhàn)，持續(xù)創(chuàng)新。