大模型激戰(zhàn)之際，繼海外的Meta之后，阿里巴巴成為又一家推動人工智能(AI)大模型“安卓時刻”潮流的科技巨頭。

8月3日周四，阿里云將70億參數(shù)的通義千問模型開源，包括通用模型Qwen-7B和對話模型Qwen-7B-Chat。這兩款模型均已上線國內(nèi)首個“模型即服務(wù)”開放平臺魔搭社區(qū)，開源、免費、可商用。

(資料圖片僅供參考)

開源代碼支持對Qwen-7B和Qwen-7B-Chat的量化，支持用戶在消費級顯卡上部署和運行模型。用戶既可從魔搭社區(qū)直接下載模型，也可通過阿里云靈積平臺訪問和調(diào)用Qwen-7B和Qwen-7B-Chat，阿里云為用戶提供包括模型訓(xùn)練、推理、部署、精調(diào)等在內(nèi)的服務(wù)。

魔塔社區(qū)已有發(fā)帖，專門介紹通義千問上述模型的安裝、創(chuàng)空間體驗、模型推理、模型訓(xùn)練最佳實踐，并附有模型鏈接及下載情況截圖。

公開資料顯示，Qwen-7B使用去重及過濾后超過2.2萬億tokens的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，是支持中、英等多種語言的基座模型，上下文窗口長度達(dá)到8k。它包含高質(zhì)量中、英、多語言、代碼、數(shù)學(xué)等數(shù)據(jù)，囊括全網(wǎng)文本、百科、書籍、代碼、數(shù)學(xué)及各個領(lǐng)域垂類。

評測英文綜合能力的基準(zhǔn)評測之一MMLU的評測結(jié)果顯示，在英文評測方面，Qwen-7B的效果超過了目前國內(nèi)外其他同類開源預(yù)訓(xùn)練模型，對比更大規(guī)模版本的模型也具有較強競爭力。中文評測方面，在C-Eval驗證集上，Qwen-7B在同等規(guī)?，F(xiàn)有模型中取得了最高分?jǐn)?shù)，甚至相比更大規(guī)模模型也具有較強競爭力。

以下為Qwen-7B的MMLU 5-shot準(zhǔn)確率結(jié)果對比。

在Qwen-7B的基礎(chǔ)上，阿里云使用對齊機(jī)制打造了基于基座模型的AI助手Qwen-7B-Chat。它是基于Transformer的中英文對話大語言模型，已實現(xiàn)與人類認(rèn)知對齊。預(yù)訓(xùn)練數(shù)據(jù)類型多樣，覆蓋廣泛，包括大量網(wǎng)絡(luò)文本、專業(yè)書籍、代碼等。

無論是在C-Eval驗證集上，還是在MMLU評測集上，Qwen-7B-Chat模型的zero-shot準(zhǔn)確率均在同類對齊模型中表現(xiàn)較優(yōu)。

以下為C-Eval測試集上的zero-shot準(zhǔn)確率結(jié)果對比。

通義千問的開源后，阿里云成為國內(nèi)首個加入大模型開源行列的大型科技企業(yè)。今年7月，微軟宣布，聯(lián)手Meta發(fā)布開源AI模型的可商用版本Llama 2，提供OpenAI和谷歌模型的平替產(chǎn)品。也是在7月，智譜AI及清華KEG實驗室公布，中國頂尖開源大模型ChatGLM2-6B允許免費商用。

華爾街見聞此前文章提及，開源模型的好處包括用戶的接受率更高，然后輸入更多數(shù)據(jù)供人工智能處理。LLM擁有的數(shù)據(jù)越多，其功能就越強大。此外，開源模型使研究人員和開發(fā)人員能夠發(fā)現(xiàn)和解決漏洞，同時提高技術(shù)和安全性。

今年4月的2023阿里云峰會上，阿里巴巴宣布向企業(yè)開放通義千問，企業(yè)可以調(diào)用通義千問的能力訓(xùn)練自己的大模型。

阿里云智能集團(tuán)首席技術(shù)官(CTO)周靖人當(dāng)時介紹，未來企業(yè)在阿里云上既可以調(diào)用通義千問的全部能力，也可以結(jié)合企業(yè)自身的行業(yè)知識和應(yīng)用場景，訓(xùn)練自己的企業(yè)大模型。比如，每個企業(yè)都可以有自己的智能客服、智能導(dǎo)購、智能語音助手、文案助手、AI設(shè)計師、自動駕駛模型等。

阿里巴巴集團(tuán)CEO兼阿里云智能集團(tuán)CEO張勇當(dāng)時稱，阿里巴巴所有產(chǎn)品未來都將接入通義千問大模型。

張勇表示，面向 AI 時代，所有產(chǎn)品都值得用大模型重做一次，而基于這一信念，阿里云也希望幫助更多企業(yè)用上大模型，讓每家企業(yè)都能基于通義千問，擁有具備自己行業(yè)能力的專屬大模型。

標(biāo)簽：