近日,上海星空人工智能實驗室(上海AI實驗室)發(fā)布新一代高質(zhì)量大模型預(yù)訓練語料“萬卷CC”(WanJuan-CC),首批開源的語料覆蓋過去十年互聯(lián)網(wǎng)上的公開內(nèi)容,包含1千億字符(100B token),約400GB的高質(zhì)量英文數(shù)據(jù)。作為“大模型語料數(shù)據(jù)聯(lián)盟”今年首發(fā)的開源語料,WanJuan-CC將為學界和業(yè)界提供大規(guī)模、高質(zhì)量的數(shù)據(jù)支撐,助力構(gòu)建更智能可靠的AI大模型。

預(yù)訓練數(shù)據(jù)的質(zhì)量對大模型整體性能至關(guān)重要。當前,CommonCrawl(CC)數(shù)據(jù)集因其規(guī)模大、跨度廣而成為國際主流大模型訓練數(shù)據(jù)的重要來源。與此同時,其原始數(shù)據(jù)格式復(fù)雜、數(shù)據(jù)質(zhì)量低等問題,或?qū)е履Ｐ陀柧毿实?甚至可能引發(fā)價值觀對齊等方面的隱患。

中國科研人員通過原創(chuàng)的數(shù)據(jù)清洗技術(shù),從CC數(shù)據(jù)庫中抽取約1300億份原始數(shù)據(jù)文檔進行再處理,“萃取”出其中約1.38%的高質(zhì)量內(nèi)容,構(gòu)建成WanJuan-CC語料庫。實驗結(jié)果顯示,WanJuanCC具有高文本質(zhì)量、高信息密度的特點,可滿足當前大模型訓練對大規(guī)模高質(zhì)量語料的需求。

上海AI實驗室發(fā)布的書?·浦語2.0(InternLM2)即以WanJuan-CC為關(guān)鍵數(shù)據(jù)作支撐,使訓練效率和語言建模能力大幅提升,綜合性能領(lǐng)先開源社區(qū)。

開源數(shù)據(jù):https://opendatalab.com/OpenDataLab/WanJuanCC

高質(zhì)量語料驅(qū)動,效率性能雙提升

近期,上海AI實驗室發(fā)布了新一代大語言模型書?·浦語2.0(InternLM2)。回歸語言建模本質(zhì),InternLM2綜合性能達到同量級開源模型的領(lǐng)先水平。模型基座語言建模能力的提升,則得益于預(yù)訓練文本質(zhì)量及信息密度的增強。作為InternLM2的關(guān)鍵預(yù)訓練語料,WanJuan-CC的文本質(zhì)量和高信息密度經(jīng)過了模型實際驗證。在InternLM2的訓練過程中,在僅使用約60%的訓練數(shù)據(jù)情況下,模型即獲得了與此前使用1T token相同的性能表現(xiàn),大幅提升訓練效率,并使模型在相同語料規(guī)模上取得了更好的性能。

綠色曲線為InternLM2使用WanJuan-cc作為預(yù)訓練語料,在不同數(shù)據(jù)規(guī)模上取得的任務(wù)性能分布,結(jié)果顯示,WanJuan-CC可大幅提升模型訓練效率

研究團隊通過對CC原始數(shù)據(jù)進行清洗,去除了網(wǎng)頁代碼和重復(fù)內(nèi)容,同時利用分類模型剔除了廣告和質(zhì)量較差的信息,并通過內(nèi)容一致性、語法正確性、數(shù)據(jù)噪聲和信息價值等四個維度,對語言的流暢性進行評估。為驗證數(shù)據(jù)質(zhì)量,研究團隊使用WanJuan-CC和RefineWeb(從CommonCrawl中抽取并構(gòu)建的主流英文預(yù)訓練語料)分別重新訓練了參數(shù)量1B的模型,并進行評測。結(jié)果顯示,由WanJuan-CC作為訓練數(shù)據(jù)的模型在多項驗證中取得了更優(yōu)效果。

基于WanJuan-CC訓練的1B模型在Pile驗證集評測效果更優(yōu),這表明由WanJuan-CC訓練的模型在不同領(lǐng)域和各類知識上擁有更強能力

四重處理, 百里挑一“萃取”高質(zhì)量數(shù)據(jù)

為從浩如煙海的CC數(shù)據(jù)庫中“精選”最可靠的信息,研究團隊搭建了高性能分布式數(shù)據(jù)處理基礎(chǔ)設(shè)施,通過啟發(fā)式規(guī)則過濾、多層級數(shù)據(jù)去重、內(nèi)容安全過濾、數(shù)據(jù)質(zhì)量過濾等四個步驟,從原始數(shù)據(jù)中“萃取”出高質(zhì)量數(shù)據(jù),數(shù)據(jù)留存率僅為原數(shù)據(jù)的1.38%。

通過原創(chuàng)技術(shù),對CC原始數(shù)據(jù)進行多階段處理,得到了高信息密度的WanJuan-CC

研究團隊首先從CC中抽取了約1300億份原始數(shù)據(jù)文檔,然后基于高性能數(shù)據(jù)處理工作流得到2.2T token(35.8億個文檔)安全數(shù)據(jù),最后,根據(jù)質(zhì)量排序精選出1T token(3.6億個文檔)質(zhì)量最高的數(shù)據(jù),構(gòu)建成WanJuan-CC。如以下柱狀圖所示,在WanJuan-CC構(gòu)建過程中的每一階段,均進行了大比例的數(shù)據(jù)去除。對于僅占原CC數(shù)據(jù)比例2.76%的安全信息,研究人員再次“篩”掉五成低質(zhì)內(nèi)容,最終呈現(xiàn)出“百里挑一”的高質(zhì)量數(shù)據(jù)。

各清洗階段的文檔保留率和去除率(本圖使用對數(shù)坐標軸)

數(shù)據(jù)質(zhì)量高,模型更可靠

為推動訓練更智能可靠的AI大模型,研究團隊以保障數(shù)據(jù)安全性為前提,在數(shù)據(jù)處理的各環(huán)節(jié)均實施了多項安全加固措施,使WanJuan-CC成為目前開源CC語料中首個在毒性(Toxic)、色情(Porn)和個人隱私三方面同時進行了安全加固的英文語料,因而在價值對齊方面具有更高的可靠性。

與部分開源CC語料多維度對比,在毒性、色情和個人隱私等方面,WanJuan-CC均進行了安全加固

研究人員分別對WanJuan-CC、Redpajama和Refineweb數(shù)據(jù)集進行了10萬條數(shù)據(jù)的抽樣,從毒性、侮辱、恐嚇等7個維度進行評分,以驗證各數(shù)據(jù)集的信息安全性。結(jié)果顯示,WanJuan-CC在各維度上的體現(xiàn)出最高安全性。

WanJuan-CC與其他開源英文CC語料安全性對比

高質(zhì)量、多模態(tài)、寬領(lǐng)域的數(shù)據(jù)已成為支持當前星空人工智能大模型發(fā)展的重要基石。WanJuan-CC的主要構(gòu)建團隊——OpenDataLab致力于建設(shè)面向星空人工智能開發(fā)者的超大規(guī)模、高質(zhì)量、多模態(tài)開放數(shù)據(jù)服務(wù)平臺,目前已匯聚高質(zhì)量多模態(tài)數(shù)據(jù)集超6500個,涵蓋大模型研發(fā)應(yīng)用所需的各類語料數(shù)據(jù)。

大模型語料數(shù)據(jù)聯(lián)盟

由上海星空人工智能實驗室聯(lián)合中央廣播電視總臺、人民網(wǎng)、國家氣象中心、中國科學技術(shù)信息研究所、上海報業(yè)集團、上海文廣集團等10家單位聯(lián)合發(fā)起。為應(yīng)對大模型發(fā)展對高質(zhì)量、大規(guī)模、安全可信語料數(shù)據(jù)資源的需求,保障大模型科研攻關(guān)及相關(guān)產(chǎn)業(yè)生態(tài)發(fā)展,大模型語料數(shù)據(jù)聯(lián)盟于2023年7月6日世界星空人工智能大會開幕式上宣布成立,旨在通過鏈接模型訓練、數(shù)據(jù)供給、學術(shù)研究、第三方服務(wù)等多方面機構(gòu),聯(lián)合打造多知識、多模態(tài)、標準化的高質(zhì)量語料數(shù)據(jù),探索形成基于貢獻、可持續(xù)運行的激勵機制,打造國際化、開放型的大模型語料數(shù)據(jù)生態(tài)圈。

下載更多開源語料,請登錄大模型語料數(shù)據(jù)聯(lián)盟開源數(shù)據(jù)服務(wù)指定平臺:

https://opendatalab.com

繼續(xù)閱讀：

星空人工智能技術(shù)網(wǎng) 倡導尊重與保護知識產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。！：首頁 > 新聞 » 百里挑一“萃取”數(shù)據(jù)精華，上海AI實驗室開源發(fā)布高質(zhì)量語料“萬卷CC”