當你嘗試使用文本生成 AI 解決結(jié)構(gòu)化數(shù)據(jù)問題時，你投資的數(shù)據(jù)湖就變成了‘污水池’?。”?——?Bill Inmon

根據(jù) Gartner 的研究，85% 的大數(shù)據(jù)項目都失敗了。2023 年，規(guī)模達 152 億美元的數(shù)據(jù)湖市場增

長了 20% 以上，但大多數(shù)企業(yè)卻無法從文本數(shù)據(jù)中提取價值。“數(shù)據(jù)倉庫之父”Bill Inmon將這些失敗的實施稱為“污水池”和“數(shù)據(jù)沼澤”。這就是為什么你現(xiàn)在的方法不起作用的原因。那么，什么才是有效的呢？一 大語言模型的陷阱正在耗盡預算供應商一直在推銷同樣不完善的解決方案：“只需將 ChatGPT 添加到您的數(shù)據(jù)湖中！”這個建議會讓你付出高昂的代價。ChatGPT 每天要花費 70 萬美元才能維持運營。對于中型應用程序，企業(yè)實施每月的運行成本為 3,000 至 15,000 美元。對于處理 10 萬次以上查詢的組織來說，僅 API 成本每月就高達 3,000 至 7,000 美元。這還不包括基礎(chǔ)設施開銷。但成本并不是真正的問題，根本問題更為嚴重。ChatGPT 生成的是文本，而不是結(jié)構(gòu)化數(shù)據(jù)當您分析 10,000 張客戶支持票時，您不希望 ChatGPT 撰寫有關(guān)客戶感受的文章。您需要結(jié)構(gòu)化數(shù)據(jù)。情緒評分、分類問題、趨勢指標、可操作的洞察，填充儀表板并推動決策。ChatGPT 會給你更多文本閱讀。這與你的需要恰恰相反。95%的浪費問題以下是 Inmon 的殺手級見解：ChatGPT 的知識中只有 5% 與您的特定業(yè)務相關(guān)。

大型語言模型涵蓋了世間萬物。軍事地圖、名人趣聞、體育統(tǒng)計數(shù)據(jù)、流行文化參考。您的銀行業(yè)務不需要了解達拉斯牛仔隊的統(tǒng)計數(shù)據(jù)。但你卻要為這一切付出代價。對于關(guān)鍵任務決策來說不可靠ChatGPT 會產(chǎn)生幻覺。它會生成看似合理但實際上完全錯誤的信息。87% 的數(shù)據(jù)科學項目從未投入生產(chǎn)。不可靠的人工智能使這一問題更加嚴重。在企業(yè)環(huán)境中，可靠性每次都勝過創(chuàng)造力。企業(yè)人工智能軍備競賽無人獲勝Inmon 稱之為“巨大的宇宙笑話”。美國銀行、花旗集團、富國銀行、摩根大通等主要銀行都投入了數(shù)百萬美元來打造基本相同的大型語言模型。

保險公司、醫(yī)療保健機構(gòu)、制造公司也都這么做。每個人都在構(gòu)建龐大的通用模型，但實際上他們只需要其中的一小部分功能。2024 年，人工智能市場規(guī)模達到 2350 億美元，到 2028 年將超過6310 億美元。然而，70% 的組織仍在進行試驗，而不是部署可用于生產(chǎn)的解決方案。與此同時，54% 的組織在基本數(shù)據(jù)移動方面遇到困難——這是任何人工智能項目的基礎(chǔ)要求。這就像購買一把帶有 500 種工具的瑞士軍刀，而您只需要一把螺絲刀。二 BLM商業(yè)語言模型：外科手術(shù)解決方案

商業(yè)語言模型 (BLM)不是采用通用的萬能模型，而是采用精確的方法。它們恰好包含兩個組件： 行業(yè)特定詞匯 (ISV)：您所在行業(yè)獨有的術(shù)語 通用商業(yè)詞匯（GBV）：通用商業(yè)語言 這種有針對性的方法與Gartner 的預測相一致，即企業(yè)將轉(zhuǎn)向特定領(lǐng)域的語言模型和可以微調(diào)的更輕量級模型。微軟最近推出了針對特定行業(yè)的定制化人工智能模型。他們正在與拜耳在農(nóng)業(yè)領(lǐng)域合作，與 Cerence 在汽車領(lǐng)域合作，與羅克韋爾自動化在制造業(yè)合作。市場認識到行業(yè)特定的人工智能能夠帶來真正的價值。現(xiàn)實世界的 BLM 示例

銀行業(yè) BLM 包括： 貸款、信用卡、儲蓄賬戶 外匯兌換、出納、支票 法案合規(guī)、付款保證金 存折條目、付款到期日 餐飲業(yè) BLM 包括： 服務模式、菜系（墨西哥菜、中國菜、意大利菜） 餐具、烹飪方法、菜單規(guī)劃 高級餐廳、牛排館、快餐類別 廚房運營、服務員管理 關(guān)鍵的見解是：這些詞匯并不重疊。銀行術(shù)語從來不會出現(xiàn)在餐館的語境中。 餐館術(shù)語從來不會出現(xiàn)在銀行的語境中。這種分離可以實現(xiàn)激光聚焦的準確性和效率。真正有效的情境智能BLM 不僅能識別術(shù)語，還能理解關(guān)系： 法律法規(guī)→ 認定為立法 發(fā)薪日貸款→與信用卡功能掛鉤 付款銀行→歸類為銀行機構(gòu) APR（年利率）?→連接到利率規(guī)范 AFN?→ 被認定為阿富汗貨幣 這種情境理解確實能帶來成效。麥肯錫報告稱，如果高級文本分析部署得當，呼叫處理時間可減少40%，轉(zhuǎn)化率可提高50% 。普通的 LLM 無法達到這種精度。你不想構(gòu)建BLM的 69 個復雜因素

想要創(chuàng)建自己的 BLM 嗎？不。Inmon 的團隊確定了69 個必須解決的復雜因素。以下是一些需要解決的問題：語言挑戰(zhàn) 鄰近分辨率：“達拉斯牛仔隊” vs. “達拉斯” vs. “牛仔隊”地區(qū)拼寫：“colour”（英國）與“color”（美國）否定處理：正確解釋“不”、“從不”、“無”技術(shù)障礙 同形異義詞解析：“HA”可能表示心臟病發(fā)作、頭痛或甲型肝炎詞干提取：識別“moving”與“move”相關(guān)多語言支持：西班牙語、德語、法語、俄語、普通話 姓名識別：識別“Mary Levens”這個人情境智能 火災可能意味著建筑物緊急狀況、武器發(fā)射或終止雇傭關(guān)系每個上下文都需要不同的處理并產(chǎn)生不同的分析輸出。大多數(shù)組織都低估了這種復雜性。從沼澤回到湖泊：轉(zhuǎn)變

如果正確實施，BLM 會將非結(jié)構(gòu)化文本轉(zhuǎn)換為結(jié)構(gòu)化的可查詢數(shù)據(jù)。這項功能解決了一個重大問題。每天會產(chǎn)生 3.28 億 TB 的數(shù)據(jù)。2025 年，每年將產(chǎn)生超過 181 ZB 的數(shù)據(jù)。80% 到 90% 的商業(yè)數(shù)據(jù)都是非結(jié)構(gòu)化的。然而，根據(jù)德勤的研究，只有 18% 的公司利用非結(jié)構(gòu)化數(shù)據(jù)。BLM 使組織能夠應用熟悉的分析工具：Tableau用于可視化Excel分析用于關(guān)系映射的知識圖譜自定義儀表板，提供實時洞察行業(yè)應用取得成果

醫(yī)療保健：醫(yī)療記錄和藥物試驗分析。財務：客戶情緒和合同評估。FitBit在六個月內(nèi)分析了 33,000 條推文，以自動識別產(chǎn)品痛點。保險：保修索賠和風險評估與精確匹配。法律：合同分析和合規(guī)性監(jiān)控。文本挖掘可識別案例先例并撰寫有影響力的法律論據(jù)。制造業(yè)：用于預測見解的質(zhì)量報告和維護日志。模式很明顯：大多數(shù)組織缺乏資源或工具來解析企業(yè)規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)。BLM 系統(tǒng)地解決了這個問題。預先構(gòu)建的優(yōu)勢改變一切！這些特定于行業(yè)的 BLM 已經(jīng)存在。據(jù) Inmon 稱，預先構(gòu)建的模型涵蓋了大約90% 的所有業(yè)務類型：保險、銀行、建筑房地產(chǎn)、制藥、航空零售、酒店、石油和天然氣餐廳等等只需極少的定制雖然 BLM 涵蓋了絕大多數(shù)行業(yè)術(shù)語，但每個組織都有獨特的術(shù)語。定制很簡單，通常占總詞匯量的不到 1%。無需從頭開始建造。需要采取行動的數(shù)字85% 的大數(shù)據(jù)項目失敗。87 % 的數(shù)據(jù)科學項目從未投入生產(chǎn)。70 % 的組織仍在試驗人工智能。同時2024年企業(yè)管理的非結(jié)構(gòu)化數(shù)據(jù)將翻一番。數(shù)據(jù)生成和數(shù)據(jù)利用之間的差距日益擴大。商業(yè)語言模型代表著一種范式轉(zhuǎn)變：從昂貴的通用人工智能到精確的、以行業(yè)為中心的、可立即獲得投資回報的人工智能。與 ChatGPT每天 70 萬美元的運營成本不同，BLM 提供具有成本效益、有針對性且可有效擴展的解決方案。三?實施路線圖前進的道路比大多數(shù)人意識到的要清晰得多：1. 評估您當前的文本分析方法。54?%的組織在數(shù)據(jù)遷移方面舉步維艱，85% 的大數(shù)據(jù)項目以失敗告終，因此了解您當前的狀況至關(guān)重要。2. 確定您的行業(yè)特定詞匯需求請記住，80-90％的業(yè)務數(shù)據(jù)是非結(jié)構(gòu)化的，只有18％的公司利用它。3. 評估適合您行業(yè)的預先構(gòu)建的 BLM 選項，而不是通過通用解決方案加入價值 2350 億美元的 AI 市場。4. 計劃最低限度的定制要求，通常少于總詞匯量的 1%。5. 利用現(xiàn)有的分析工具來實施，充分利用您當前的基礎(chǔ)設施投資。實施策略問題不在于您的組織是否需要更好的文本分析。隨著非結(jié)構(gòu)化數(shù)據(jù)在 2024 年翻一番，且70% 的組織仍在試驗人工智能，緊迫性顯而易見。真正的問題是：你會選擇高效、有針對性的商業(yè)語言模型嗎？還是繼續(xù)糾結(jié)于那些消耗資源、卻提供極少價值的通用解決方案？您的數(shù)據(jù)湖不必一直是一片沼澤。如今，將人工智能重新轉(zhuǎn)化為戰(zhàn)略資產(chǎn)的工具已經(jīng)面世。隨著人工智能市場規(guī)模到2028年將增長至6310億美元，商業(yè)語言模型就是您將數(shù)據(jù)負債轉(zhuǎn)化為競爭優(yōu)勢所需要的。