【新智元導(dǎo)讀】文心大模型4.0，半年時(shí)間又提升了52.5%，在智能體、代碼、多模型上也有了新進(jìn)展！像人一樣思考的智能體，達(dá)到了一定程度的白盒；智能代碼助手Comate，讓開發(fā)者們動(dòng)動(dòng)嘴就能開發(fā)應(yīng)用了。
文心大模型，又有新進(jìn)展了！
就在昨天，Create 2024百度AI開發(fā)者大會(huì)成功舉辦，又公布了一波智能體、代碼、多模型等方面的新進(jìn)展。
去年3月16日，文心一言發(fā)布，此后不斷迭代。
基于更大的算力、更多的數(shù)據(jù)和更強(qiáng)的算法，依托飛槳平臺(tái)，文心已經(jīng)從3.0、3.5，進(jìn)化到了4.0版本。
AI智能體，像人一樣思考
毫無疑問，智能體是業(yè)內(nèi)一致被看好的方向。
對(duì)此，百度CTO王海峰也表示，智能體會(huì)帶來更多的應(yīng)用爆發(fā)。
而如今的百度智能體，已經(jīng)學(xué)會(huì)像人一樣思考了！
在基礎(chǔ)模型上，它進(jìn)一步進(jìn)行了思考增強(qiáng)訓(xùn)練，包括思考過程的有監(jiān)督精調(diào)、行為決策的偏好學(xué)習(xí)、結(jié)果反思的增強(qiáng)學(xué)習(xí)，進(jìn)而得到思考模型。
于是，它學(xué)會(huì)了像人一樣閱讀說明書、學(xué)習(xí)工具試用，甚至還能調(diào)用工具完成任務(wù)。
為了詳細(xì)說明這個(gè)過程，我們可以參考一下《思考，快與慢》這本書中的理論。
人的認(rèn)知系統(tǒng)，可以劃分為2個(gè)部分：系統(tǒng)1反應(yīng)很快，但容易出錯(cuò)。系統(tǒng)2反應(yīng)慢，但更理性，更準(zhǔn)確。
在強(qiáng)大的基礎(chǔ)大模型之上，百度的研發(fā)團(tuán)隊(duì)進(jìn)一步研制了系統(tǒng)2，包括理解、規(guī)劃、反思和進(jìn)化。
這樣，智能體的思考過程在一定程度上就白盒化了，于是機(jī)器可以像人一樣思考和行動(dòng)，自主完成復(fù)雜任務(wù)，持續(xù)學(xué)習(xí)，實(shí)現(xiàn)自主進(jìn)化。
讓我們來具體感受一下，百度智能體的思考過程。
在文心大模型4.0工具版上，我們可以這樣提問——
「我要到大灣區(qū)出差一周。想了解一下天氣變化，好決定帶什么衣服。請(qǐng)幫我查一下未來一周北京和深圳的溫度，告訴我出差應(yīng)該帶什么衣服，并整理成表格?！?/p>
接下來，它就會(huì)展示真正的技術(shù)了。
首先，它會(huì)調(diào)用一個(gè)「高級(jí)聯(lián)網(wǎng)」工具，來查詢當(dāng)?shù)氐奶鞖庑畔ⅰ?/p>
然后，它會(huì)調(diào)用「代碼解釋器」，來畫出一幅溫度趨勢圖。
根據(jù)未來一周的天氣，它選擇了合適的衣物。
最后，它還對(duì)結(jié)果進(jìn)行了思考和確認(rèn)，自動(dòng)匯總成了一個(gè)表格。
整個(gè)過程中，它展現(xiàn)出了嫻熟的思考和規(guī)劃能力，有條不紊地把用戶需求拆解成多個(gè)子任務(wù)，一整套過程行云流水。
不僅如此，從萬億級(jí)的訓(xùn)練數(shù)據(jù)中，文心大模型學(xué)到的，除了自然語言能力外，還有代碼能力。
代碼智能體
顧名思義，這個(gè)智能體，能夠幫我們寫代碼。
程序員和普通人的之間的壁壘，從此徹底打破，以前程序員才能做的事，現(xiàn)在人人都能做。
代碼智能體，是由思考模型和代碼解釋器兩個(gè)部分組成。
首先，思考模型會(huì)先理解我們的需求，經(jīng)過一番思考后，把完成任務(wù)的指令和相關(guān)信息整合成提示，輸入給代碼解釋器。
根據(jù)這個(gè)提示，代碼解釋器就把自然語言的用戶需求翻譯成了代碼，隨后執(zhí)行，這樣就得到了執(zhí)行結(jié)果，或調(diào)試信息。
最后，思考模型還會(huì)對(duì)代碼解釋器的結(jié)果進(jìn)行反思確認(rèn)。
結(jié)果正確，就會(huì)把結(jié)果返回給用戶；不正確，就會(huì)繼續(xù)進(jìn)行自主迭代更新。
在這次大會(huì)現(xiàn)場，王海峰更是當(dāng)場讓代碼智能體秀了一番技能。
現(xiàn)場的任務(wù)是，讓它為本次大會(huì)嘉賓定制邀請(qǐng)函。
只見一波操作之后，嘉賓的姓名都被填到了邀請(qǐng)函里正確的位置上。
而新生成的邀請(qǐng)函文件，也都是以嘉賓的名字命名的，并打包好一起輸出。
動(dòng)嘴開發(fā)，智能代碼助手已來
而這位傳說中的智能代碼助手Comate，聽名字就知道它更專業(yè)一些。
沒錯(cuò)，它的角色是——程序員的AI同儕，也就是說，可以幫專業(yè)的程序員更高效地寫出更好的代碼。
過去，開發(fā)者用代碼改變了世界。
而現(xiàn)在，自然語言已經(jīng)成為新的開發(fā)語言。也就是說，開發(fā)者們未來只需動(dòng)動(dòng)嘴，就能完成應(yīng)用開發(fā)。
在模型效果不斷提升的基礎(chǔ)上，百度進(jìn)一步構(gòu)建了上下文增強(qiáng)、私域知識(shí)增強(qiáng)、流程無縫集成等能力。
因此，目前百度智能代碼助手Comate整體采納率達(dá)到了46%，新增代碼中生成的比例已經(jīng)達(dá)到了27%。
代碼理解、生成、優(yōu)化等各種能力，都被Comate無縫集成到研發(fā)的各個(gè)環(huán)節(jié)。
比如，僅需告訴Comate「幫我梳理當(dāng)前項(xiàng)目的架構(gòu)」，幾秒的時(shí)間，它就以清晰的條理給出了解答。
它就像助理一樣，能幫助程序員提升代碼的開發(fā)質(zhì)量和效率。
下面這個(gè)示例，就展示Comate是如何幫工程師接手代碼的。
可以看到，只通過一條簡單的指令，它就快速了解了整個(gè)代碼的架構(gòu)，甚至細(xì)到每一個(gè)模塊的具體實(shí)現(xiàn)邏輯。
舉個(gè)例子，當(dāng)你問到更加細(xì)致，具體的內(nèi)容時(shí)——「該項(xiàng)目核心RAG邏輯是如何實(shí)現(xiàn)的」，可以迅速得到解答。
更驚喜的是，還有直接跳轉(zhuǎn)查閱的索引鏈接。
而且，它還可以根據(jù)當(dāng)前的項(xiàng)目代碼以及第三方代碼，自動(dòng)生成滿足要求的新代碼。
如下所示，給出一個(gè)外部的參考代碼，以及千帆大模型的API，以生成調(diào)用Ernie Bot 4.0的代碼。
Comate分分鐘給出了一個(gè)基礎(chǔ)代碼示例。
大小模型一同訓(xùn)
此外，王海峰在現(xiàn)場還分享了「多模型」技術(shù)。
如今，我們?yōu)槭裁葱枰嗄Ｐ停?/p>
在推進(jìn)大模型應(yīng)用落地的過程中，開發(fā)者、企業(yè)不僅需要關(guān)注成本，還需要顧及效果和效率。
因此，在實(shí)際應(yīng)用中，就需要從落地場景出發(fā)，去選擇最適合自己的模型。
一方面，高效低成本的模型生產(chǎn)亟待解決。
對(duì)此，百度研制了大小模型協(xié)同的訓(xùn)練機(jī)制，可以有效進(jìn)行知識(shí)繼承，高效生產(chǎn)高質(zhì)量小模型。
小模型不僅推理成本低，響應(yīng)速度快。而且在一些特定場景中，經(jīng)過微調(diào)后的小模型，效果可以媲美大模型。
它也可以利用小模型實(shí)現(xiàn)對(duì)比增強(qiáng)，幫助大模型完成訓(xùn)練。
與此同時(shí)，百度還建設(shè)了種子模型矩陣，數(shù)據(jù)提質(zhì)與增強(qiáng)機(jī)制，以及一系列配套工具鏈，從預(yù)訓(xùn)練、精調(diào)對(duì)齊、模型壓縮到推理部署。
這樣一來，高效低成本的模型生產(chǎn)機(jī)制，可以加速應(yīng)用，降低部署成本，取得更優(yōu)的效果。
我們最常見的MoE便是「多模型」技術(shù)的典型代表。
可以看到，不論是GPT-4（據(jù)猜測），還是開源Grok、Mistral都采用了MoE架構(gòu)。
它們都在基準(zhǔn)測試中，取得了優(yōu)異的表現(xiàn)。
百度認(rèn)為，未來大型的AI原生應(yīng)用基本都是MoE架構(gòu)。通過大小模型的混用，而非單一模型去解決問題。
因此，針對(duì)場景匹配，什么時(shí)候調(diào)用大模型，什么時(shí)候調(diào)用小模型，都需要技術(shù)考量。
另一方面，是多模型推理。
百度研制了基于反饋學(xué)習(xí)的端到端多模型推理技術(shù)，構(gòu)建了智能路由模型，進(jìn)行端到端反饋學(xué)習(xí)，充分發(fā)揮不同模型處理不同任務(wù)的能力，達(dá)到效果、效率和成本的最佳平衡。
正如Robin會(huì)上所言，通過強(qiáng)大的文心4.0裁剪出更小尺寸的模型，要比直接拿開源模型，微調(diào)出來的效果要好得多。
這段時(shí)間，一張開源模型與閉源模型之間的差距不斷拉近的圖，在全網(wǎng)瘋轉(zhuǎn)。
許多人樂觀地認(rèn)為，開源模型很快突破極限，取得逼近GPT-4，甚至替代閉源模型的能力。
實(shí)則不然，開源模型并非拿來即用，而需要更多定制化的微調(diào)。
這也是百度發(fā)布了ERNIE Speed、Lite、Tiny三個(gè)輕量模型的原因。
通過文心大模型4.0，壓縮蒸餾出一個(gè)基礎(chǔ)模型，然后再用專門數(shù)據(jù)訓(xùn)練。這要比基于開源模型，甚至重訓(xùn)一個(gè)模型效果好得多。
文心4.0性能提升52.5%
除了上述這些之外，文心4.0的創(chuàng)新還包括基于模型反饋閉環(huán)的數(shù)據(jù)體系、基于自反饋增強(qiáng)的大模型對(duì)齊技術(shù)，以及多模態(tài)技術(shù)等等。
發(fā)布后的半年時(shí)間，文心4.0的性能又提升了52.5%。
文心大模型之所以能如此快速持續(xù)地進(jìn)化，離不開百度在芯片、框架、模型和應(yīng)用上的全棧布局，尤其是飛槳深度學(xué)習(xí)平臺(tái)和文心的聯(lián)合優(yōu)化。文心大模型的周均訓(xùn)練有效率達(dá)到98.8%。
相比而言，一年前文心一言發(fā)布時(shí)，訓(xùn)練效率直接提升到了當(dāng)時(shí)的5.1倍，推理則達(dá)到了105倍。
截至目前，飛槳文心生態(tài)已經(jīng)凝聚了1295萬開發(fā)者，服務(wù)了24.4萬家企事業(yè)單位?；陲w槳和文心，已經(jīng)有89.5萬個(gè)模型被創(chuàng)建出來。
如今，文心一言累計(jì)的用戶規(guī)模已達(dá)2億，日均調(diào)用量也達(dá)到了2億。
這2億用戶的工作、生活和學(xué)習(xí)，已經(jīng)被文心一言改變。
500萬AI人才培養(yǎng)計(jì)劃，提前收官
最后值得一提的是，百度的500萬AI人才培養(yǎng)計(jì)劃，提前收官！
在2020年，百度曾提出5年內(nèi)要為全社會(huì)培養(yǎng)500萬AI人才，如今目標(biāo)已經(jīng)提前完成。
而王海峰表示，在未來，百度還會(huì)繼續(xù)投身人才培養(yǎng)，讓人才的點(diǎn)點(diǎn)星光，匯成璀璨星河。
智能時(shí)代，人人都是開發(fā)者，人人都是創(chuàng)造者。
參考資料：
https://create.baidu.com/?lng=zh