北京時間2月6日,昆侖萬維正式發(fā)布新版MoE大語言模型「天工2.0」與新版「天工AI智能助手」APP,這是國內(nèi)首個搭載MoE架構(gòu)并面向全體C端用戶免費開放的千億級參數(shù)大語言模型AI應用。用戶即日起可在各手機應用市場下載「天工AI智能助手」APP,體驗昆侖萬維「天工2.0」MoE大模型的卓越性能。
「天工2.0」是昆侖萬維自去年4月發(fā)布雙千億級大語言模型「天工」以來的最大規(guī)模版本升級,其采用業(yè)內(nèi)頂尖的MoE專家混合模型架構(gòu),應對復雜任務能力更強、模型響應速度更快、訓練及推理效率更高、可擴展性更強。
此次更新全面升級了AI搜索、對話、閱讀、創(chuàng)作的回答質(zhì)量與響應速度,搭載強大的多模態(tài)能力,支持圖文對話、文生圖等多模態(tài)應用,支持最高100K的超長上下文窗口(超過15萬個漢字),并新增了AI繪畫、數(shù)據(jù)分析、AI伴侶、AI算命、熱梗百科等多項新興玩法,讓AI更聰明、更實用、更有趣,成為每個人日常生活中的全能AI小助手。
昆侖萬維致力于人工智能模型算法的創(chuàng)新與開拓,不斷探索通用人工智能技術(shù)前沿。除了雙千億級大語言模型「天工」、MoE專家混合大模型「天工2.0」外,昆侖萬維還圍繞「天工」系列大模型,推出了百億級開源大語言模型系列「天工Skywork-13B」、AI Agent開發(fā)平臺「天工SkyAgents」、多模態(tài)大語言模型「天工Skywork-MM」等前沿AI產(chǎn)品,并已逐步構(gòu)建起AI大模型、AI搜索、AI音樂、AI Story、AI游戲等AI業(yè)務矩陣,是國內(nèi)模型技術(shù)與工程能力最強、布局最全面的人工智能大模型企業(yè)之一。
MoE:全球頂尖的大模型核心技術(shù)路徑
MoE(Mixture-of-Experts,專家混合模型)是當前大語言模型賽道技術(shù)最頂尖、研發(fā)最前沿的底層架構(gòu),是全球最領(lǐng)先的大模型核心技術(shù)路徑之一。
自2023年6月以來,昆侖萬維不斷針對MoE架構(gòu)技術(shù)最前沿進行研發(fā)探索,并成功發(fā)布國內(nèi)首個搭載MoE架構(gòu)并面向全體C端用戶免費開放的千億級參數(shù)大語言模型AI應用——「天工AI智能助手」APP。
「天工AI智能助手」以昆侖萬維「天工2.0」MoE大模型為核心技術(shù)引擎,其技術(shù)原理是將復雜的大模型任務拆解為多個更小、更細分的子任務,每個子任務都由垂直領(lǐng)域的專家模型處理,從而使得昆侖萬維「天工2.0」不僅大幅提高了模型訓練與推理的性能和效率,更能實現(xiàn)多個垂直領(lǐng)域的知識融合,使模型能夠更好地理解和處理不同應用場景下的復雜問題,為用戶提供更準確、更全面的回答方案。
同時,昆侖萬維技術(shù)團隊更是通過一系列針對性的MoE技術(shù)攻關(guān),在投入大量研發(fā)訓練資源后,最終解決了困擾整個MoE產(chǎn)業(yè)的模型不收斂、特定任務泛化效果較差等核心性能問題,使「天工2.0」的模型性能得到顯著提升。
模型性能更強、速度更快、架構(gòu)更靈活
「天工2.0」的技術(shù)領(lǐng)先性體現(xiàn)在其核心MoE架構(gòu)的卓越優(yōu)勢。MoE架構(gòu)主要由門控模型/路由器(Gating Model/Router)和一組專家模型(Experts Models)構(gòu)成,當數(shù)據(jù)輸入門控模型/路由器時,系統(tǒng)會根據(jù)任務類型將每個token分配給一個或多個專家模型,使得每個專家模型可以專注于處理該部分數(shù)據(jù),從而獲得模型性能的整體提升。
較之傳統(tǒng)大模型架構(gòu),「天工2.0」具有以下優(yōu)勢:
1. 應對復雜任務能力更強:「天工2.0」MoE模型集成了多個專家模型,每個專家模型都能針對不同的數(shù)據(jù)分布和構(gòu)建模式進行搭建,從而顯著提升大模型在各個細分領(lǐng)域的專業(yè)能力,整體模型通過整合各自專家模型的輸出結(jié)果,使得「天工2.0」在處理復雜任務、多模態(tài)任務時擁有顯著性能提升。
2. 速度更快、效率更高:由于MoE模型推理計算過程中只有少數(shù)特定專家模型被激活,相較于同等參數(shù)規(guī)模的稠密模型,「天工2.0」MoE模型呈現(xiàn)出極高的稀疏性,使其擁有更高的推理計算效率,從而讓用戶獲得更快的AI響應速度。
3. 靈活、多樣、可擴展性更強:一方面,模型稀疏性使得「天工2.0」能夠在不增加計算量的前提下顯著擴張模型規(guī)模,在同等計算資源下獲得更強的模型性能;另一方面,通過增加專家模型數(shù)量、調(diào)整專家模型的權(quán)重配比,「天工2.0」能夠極大豐富模型的可擴展性,構(gòu)建更為靈活、多樣、可擴展性更強的新時代大模型。
「天工AI智能助手」APP全面升級
「天工AI智能助手」APP基于昆侖萬維自研「天工」系列大模型打造,是一款能搜、能聊、能寫、能畫的AI智能助手,其擁有強大的自然語言處理和智能交互能力,能夠?qū)崿F(xiàn)個性化AI搜索、智能問答、AI繪畫、聊天互動、文本生成、編寫代碼、語言翻譯等多種應用場景,并且具有豐富的知識儲備。
伴隨著「天工2.0」大模型的重磅升級,「天工AI智能助手」也迎來了版本的全面更新。
1. 強大的多模態(tài)能力:「天工AI智能助手」所采用的多模態(tài)大模型基于一體化的開發(fā)策略,在底座模型的基礎上進行深入開發(fā)與優(yōu)化,引入多分辨率的視覺編碼器和強大的語言基座模型,使其能夠支持任意尺寸的圖片輸入和復雜的用戶指令。
在強大的多模態(tài)大模型能力加持下,新版「天工AI智能助手」具備優(yōu)秀的視覺理解、推理和指令遵循能力,能夠滿足圖文對話、圖文創(chuàng)作、知識問答等多種用戶需求。同時,得益于模型杰出的理解能力,新版「天工AI智能助手」生成的圖像在內(nèi)容豐富度、精細度和圖像質(zhì)量上均表現(xiàn)卓越。
與此同時,在強大的多模態(tài)能力加持下,「天工AI智能助手」還能生成圖文并茂的答案內(nèi)容,讓用戶問出“螺螄粉怎么做?”“怎么用吉他彈《稻香》?”“2024春節(jié)放假安排?”這類問題時能夠得到圖像/視頻輔助呈現(xiàn),使得AI回答的結(jié)果更直觀,內(nèi)容更豐富。
2. 支持100K超長上下文窗口:「天工AI智能助手」的超長上下文窗口技術(shù)基于100K原生文本進行訓練,能夠支持最高100K(超過15萬漢字)的文本對話,并能夠通過擴展技術(shù)可以支持200K超長文檔理解。在InfiniteBench評測中,「天工」系列大模型多項指標全球第一,10項指標平均分47.5分,超過Claude2,接近GPT4-128k的52.6分。
在針對超長上下文模型的“大海撈針”測試中,研究人員會在海量的文檔集里面插入特定信息,然后對文檔集進行提問,期待模型能從“茫茫文海”中找出正確的關(guān)鍵信息,以驗證模型的長上下信息提取能力。在“大海撈針”測試中,「天工」模型取得了100%正確結(jié)果。
3. 搜得更準、寫得更好、讀得更快:新版「天工AI智能助手」擁有更強大的關(guān)鍵詞與語義分析能力更精準識別用戶任務需求,在AI搜索、對話、閱讀、創(chuàng)作等不同應用場景中,都能針對用戶的不同需求提供更準確、更具體的回答與追問建議。同時,新版「天工AI智能助手」AI搜索質(zhì)量、安全能力、答案豐富程度都進一步提高。
例如,在「天工AI智能助手」中,用戶可使用“AI閱讀”功能快速提煉總結(jié)文獻內(nèi)容,并針對文獻內(nèi)容細節(jié)進行追問,得到快速、準確、具體的答案內(nèi)容。
4. 豐富有趣的AI Agent:新版「天工AI智能助手」新增了如AI繪畫、數(shù)據(jù)分析、AI伴侶、AI算命、熱梗百科等多款官方AI Agent,讓「天工AI智能助手」在能搜、能聊、能寫之余,新增更多有趣而實用新興玩法,不斷探索AIGC技術(shù)的應用邊界,成為每個人日常生活中必不可少的全能AI小助手。
從2月8日開始,由昆侖萬維主辦的“巧繪龍年”AI繪畫大賽也將在「天工AI智能助手」APP內(nèi)開啟,用戶使用APP內(nèi)“AI繪畫”功能繪制圖畫作品并投稿至活動專區(qū),即可有機會獲得最高10萬元人民幣的現(xiàn)金大獎。
這是國內(nèi)首個面向全體C端用戶免費開放、獎金規(guī)模達到數(shù)十萬量級的AI繪畫大賽。得益于「天工」系列大模型卓越的多模態(tài)技術(shù)能力,高水準的文字意圖識別確保用戶能夠盡情發(fā)揮創(chuàng)意,繪制出內(nèi)容豐富、細節(jié)精致、審美高級的個性化AIGC圖像。
一直以來,昆侖萬維始終秉承著“實現(xiàn)通用人工智能,讓每個人更好地塑造和表達自我”的公司使命,不斷降低大模型技術(shù)在各行各業(yè)的應用和學習門檻,攜手探索未知世界、共創(chuàng)科技未來。
免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據(jù)。
關(guān)鍵詞: