在人工智能驅(qū)動的數(shù)字化浪潮中，“數(shù)據(jù)是新時代的石油”已成為共識。當(dāng)企業(yè)爭相構(gòu)建大數(shù)據(jù)平臺，當(dāng)機(jī)構(gòu)投入海量資源采集數(shù)據(jù)，一個殘酷的現(xiàn)實逐漸顯現(xiàn)：未經(jīng)治理的原始數(shù)據(jù)就像未經(jīng)提煉的原油，看似蘊藏能量，實則難以直接驅(qū)動現(xiàn)代社會的精密引擎。在這場數(shù)據(jù)革命中，建立高質(zhì)量數(shù)據(jù)集并實施系統(tǒng)化的數(shù)據(jù)治理，正在成為組織構(gòu)筑核心競爭力的關(guān)鍵密碼。

01解碼高質(zhì)量數(shù)據(jù)集：AI時代的"超級燃料"
何為高質(zhì)量數(shù)據(jù)集？這絕非簡單的數(shù)據(jù)堆砌，而是經(jīng)過精密煉制的"智能燃料"。
高質(zhì)量數(shù)據(jù)集是指用于訓(xùn)練、驗證和優(yōu)化大模型而收集、整理、 標(biāo)注形成的覆蓋行業(yè)核心專業(yè)知識和生產(chǎn)經(jīng)營活動信息的數(shù)據(jù)資源集合。簡單來說，就是高價值、高密度、標(biāo)準(zhǔn)化的數(shù)據(jù)。

全國數(shù)據(jù)標(biāo)準(zhǔn)化技術(shù)委員會將高質(zhì)量數(shù)據(jù)集分三類：
通識數(shù)據(jù)集：包含面向社會公眾、無需專業(yè)背景即可理解的通用知識，主要用于支撐通用模型落地應(yīng)用；
行業(yè)通識數(shù)據(jù)集：包含面向行業(yè)從業(yè)人員、需要一定專業(yè)背景才能理解的行業(yè)領(lǐng)域通用知識，主要用于支撐行業(yè)模型落地應(yīng)用；
行業(yè)專識數(shù)據(jù)集：包含面向特定業(yè)務(wù)場景相關(guān)人員、需要較深的專業(yè)背景才能理解的行業(yè)領(lǐng)域?qū)I(yè)知識，主要用于支撐業(yè)務(wù)場景模型落地應(yīng)用。
簡單舉例，互聯(lián)網(wǎng)百科、問答等為“通識數(shù)據(jù)集”；行業(yè)研究機(jī)構(gòu)報告等為“行業(yè)通識數(shù)據(jù)集”；醫(yī)院科室特定疾病病例等為“行業(yè)專識數(shù)據(jù)集”。

02價值重構(gòu)：高質(zhì)量數(shù)據(jù)集的戰(zhàn)略意義
高質(zhì)量數(shù)據(jù)集是AI、大數(shù)據(jù)分析和科學(xué)研究的基礎(chǔ)，中國信息通信研究院副院長魏亮表示：“數(shù)據(jù)之于大模型，就像石油之于汽車。原油只有經(jīng)過一系列復(fù)雜的過程煉化成汽油后，才能供汽車使用。同樣，海量原始數(shù)據(jù)需要經(jīng)過‘煉化’形成高質(zhì)量數(shù)據(jù)集，才能助力大模型精準(zhǔn)學(xué)習(xí)數(shù)據(jù)特征與規(guī)律，有效提升其對不同場景和任務(wù)的適應(yīng)能力。”數(shù)據(jù)集的質(zhì)量影響人工智能的“智商”，近期發(fā)布的深度求索系列模型訓(xùn)練中，大量使用了高質(zhì)量推理數(shù)據(jù)集，凸顯了高質(zhì)量數(shù)據(jù)的重要性，“大模型與垂直領(lǐng)域深度融合，同樣也需高質(zhì)量數(shù)據(jù)集的支撐。”

當(dāng)前，人工智能技術(shù)經(jīng)歷了淺層學(xué)習(xí)階段、深度學(xué)習(xí)階段和大模型階段， 每一階段技術(shù)創(chuàng)新和應(yīng)用落地都對數(shù)據(jù)集提出不同需求。基礎(chǔ)語言模型、多模態(tài)模型、行業(yè)模型快速發(fā)展，催生了大量復(fù)雜推理思維鏈數(shù)據(jù)集、多模態(tài)數(shù)據(jù)集、具體智能數(shù)據(jù)集等建設(shè)需求。

于是，國家和地方政府紛紛出臺人工智能和數(shù)據(jù)要素相關(guān)政策，推動高質(zhì)量數(shù)據(jù)集的建設(shè)、流通和開發(fā)應(yīng)用。在頂層設(shè)計層面，國家數(shù)據(jù)局等17部門聯(lián)合印發(fā)《“數(shù)據(jù)要素×”三年行動計劃（2024—2026年）》提出，“推動科研機(jī)構(gòu)、龍頭企業(yè)等開展行業(yè)共性數(shù)據(jù)資源庫建設(shè)，打造高質(zhì)量人工智能大模型訓(xùn)練數(shù)據(jù)集”。在地方層面，湖北、江蘇、浙江等多省市明確了建設(shè)高質(zhì)量數(shù)據(jù)集的數(shù)量、時間及激勵機(jī)制；湖北省數(shù)據(jù)局發(fā)布首批10個高質(zhì)量數(shù)據(jù)集，推動構(gòu)建高質(zhì)量“數(shù)據(jù)集市”；蘇州市發(fā)布首批30個工業(yè)制造、交通運輸、金融服務(wù)等高質(zhì)量數(shù)據(jù)集。

03數(shù)據(jù)煉金術(shù)：六階段閉環(huán)建設(shè)方法論
建設(shè)高質(zhì)量數(shù)據(jù)集并非一蹴而就， 全國數(shù)據(jù)標(biāo)準(zhǔn)化技術(shù)委員會發(fā)布《高質(zhì)量數(shù)據(jù)集建設(shè)指南(征求意見稿)》中提出， 高質(zhì)量數(shù)據(jù)集建設(shè)應(yīng)按照生命周期有序展開，包括數(shù)據(jù)需求、數(shù)據(jù)規(guī)劃、數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注、模型驗證等6個階段。其中，各階段主要按以上順序逐步開展，同時，各階段會對其他階段進(jìn)行反饋，或者會在其他階段反饋下進(jìn)行迭代。

圖為高質(zhì)量數(shù)據(jù)集建設(shè)方法
實現(xiàn)上述流程需要4大核心技術(shù)支撐：
數(shù)據(jù)采集是匯聚高質(zhì)量數(shù)據(jù)集建設(shè)原始數(shù)據(jù)資源的過程，主要包括傳感器技術(shù)、網(wǎng)絡(luò)爬蟲技術(shù)等。
數(shù)據(jù)治理涵蓋數(shù)據(jù)清洗、數(shù)據(jù)增強(qiáng)、數(shù)據(jù)合成、數(shù)據(jù)脫敏等方面。數(shù)據(jù)治理通過建立標(biāo)準(zhǔn)化的分類框架、質(zhì)量控制策略和全生命周期管理機(jī)制（如數(shù)據(jù)清洗、元數(shù)據(jù)標(biāo)注、訪問權(quán)限控制），為構(gòu)建高質(zhì)量數(shù)據(jù)集提供系統(tǒng)性保障。

數(shù)據(jù)標(biāo)注是指對未經(jīng)處理的原始數(shù)據(jù)添加說明、解釋、分類或編碼的過程，以便數(shù)據(jù)可以被人工智能算法所理解和使用，是向數(shù)據(jù)集注入人類知識的過程，是提升數(shù)據(jù)集質(zhì)量的關(guān)鍵步驟。

數(shù)據(jù)運營涉及數(shù)據(jù)存儲、版本管理、流通交易、開放利用等多個環(huán)節(jié)。
未經(jīng)治理的數(shù)據(jù)是無法直接“投喂“給大模型的。億信華辰作為國內(nèi)領(lǐng)先的數(shù)據(jù)智能產(chǎn)品與服務(wù)提供商，自主研發(fā)智能化數(shù)據(jù)治理平臺及數(shù)據(jù)分析工具，助力企業(yè)實現(xiàn)數(shù)據(jù)資產(chǎn)的價值挖掘與合規(guī)應(yīng)用，顯著提升數(shù)據(jù)資源的可用性與決策支撐能力。憑借前沿技術(shù)創(chuàng)新實力，億信華辰成功入選中國信通院權(quán)威發(fā)布的《人工智能數(shù)據(jù)標(biāo)注產(chǎn)業(yè)圖譜》，躋身行業(yè)標(biāo)桿企業(yè)行列。億信華辰將充分發(fā)揮自身優(yōu)勢，全力助推我國高質(zhì)量數(shù)據(jù)集建設(shè)進(jìn)程全面提速。

結(jié)語：高質(zhì)量數(shù)據(jù)集是AI和大數(shù)據(jù)應(yīng)用的基石，而數(shù)據(jù)治理是確保數(shù)據(jù)質(zhì)量的核心手段。企業(yè)、科研機(jī)構(gòu)和政府應(yīng)重視數(shù)據(jù)治理，建立標(biāo)準(zhǔn)化流程，持續(xù)優(yōu)化數(shù)據(jù)質(zhì)量，以充分發(fā)揮數(shù)據(jù)的價值。只有在高質(zhì)量數(shù)據(jù)的基礎(chǔ)上，人工智能、商業(yè)智能和科學(xué)研究才能取得突破性進(jìn)展，推動社會向更智能、更高效的方向發(fā)展。