引言

他們說，數據是新的石油；數據是新的黃金。很好，石油的價格是每桶80美元，黃金是每盎司2300美元。數據的成本是多少？

這是一個毫無意義的問題。

驅動油價的因素可能很復雜，但在交易標準：數量、位置、品位和日期上有一個公認的共識。有些交易所指定了WTI、布倫特原油和迪拜等基準合約的交貨規則。當你買了一桶原油時，你就知道你得到了什么。

數據……并不是那樣的。數據本身就是異構的。數據集A和數據集B可能都是某個驅動器上的位，但除此之外通常沒有任何共同之處。不同的字段、模式、規格；不同的主題、覆蓋范圍、信息內容；不同的使用者、用例和價值。每桶WTI原油都是相同的；沒

有兩個數據集是相同的。

這是否意味著數據定價完全是藝術，而不是科學？不完全是。數據固有的異質性意味著沒有任何標準可以是絕對的；沒有一個單一的公式可以應用。但是，有一些明確的原則可以適用于廣泛的數據資產。

歷史上，有兩個行業主導著數據交易：金融和廣告技術.這是僅有的兩個具有多個買家、多個有價值的數據資產、多個用例的行業；還能夠為數據支付一致的物質經常性收入.

這種情況已經改變了。

城里有了一個新的買家：人工智能。人工智能模型對訓練數據有著貪得無厭的需求——這幾乎肯定是當前它們能力增長的限制因素——因此它們的贊助商（MSFT、OpenAI、Anthropic和他們的朋友門）不遺余力地獲取這些數據。但他們所需要的數據并不一定就像金融和廣告技術所需要的數據一樣，它們的效用/價值曲線也有所不同。這對訓練數據的定價有影響，使得許多過去的直覺無關緊要。當我們瀏覽我們的定價原則列表時，我將試圖強調其中一些新的影響。我們走吧！

從顯而易見的（但經常被誤解）開始：數據沒有天生的價值。數據的價值來自于可以用它做什么的價值.因此，每一次關于價格的討論都必須從理解這個價值開始：數據將如何被使用，以及由誰使用。

不指定數據將如何使用而討論數據價值是沒有意義的。財務報表對廣告宣傳活動沒有什么用處。受眾資料對股票分析沒有什么用處。但是翻轉這些，數據集不僅有用；它們是必不可少的。

用例就是一切。

使用相同用例的相同數據集可能會為不同的用戶提供不同的價值。訓練數據對OpenAI的價值與它對單獨黑客的價值是非常不同的。資本市場數據對城堡的價值與對散戶投資者的價值是很大不同的。每個數據用戶都是獨一無二的。

其中一些只是規模效應；當同樣的數據部署到數百萬客戶、數十億資本或數萬億參數時，它們產生的影響更大。但這也是一種功能效應： Citadel和OpenAI可以從相同的數據中比一般的用戶獲得更多。數據定價的很大一部分是尋找這兩種效應的有用代理。我們將回到這個想法上來。

數據在某種程度上是附加的，而軟件不是。如果你有一個CRM，你就不需要第二個;在你的Salesforce中添加HubSpot和Pipedrive并不會提高你的銷售業績。同樣的道理也適用于你的機票跟蹤系統、人力資源管理系統、工資和費用系統，甚至你所有的軟件。重復投資是一種詛咒;不要重復。

這不是數據的情況！在潛在客戶名單中添加更多的名字會使這個名單更有價值。事實上，您可以沿著多個維度添加數據：更多的名稱，每個名稱也有更多的字段，每個字段也有更多的細節；您甚至可以組合三個完全重疊的數據集來生成更高質量的合并。添加劑！

一個幾乎普遍的誤解是，數據是“非競爭的好處”：人a使用數據集并不阻止人B使用相同的數據。這是錯誤的。

這是不正確的，因為它純粹關注數據消費的機制。復制大多數數據集是很簡單的，從這個意義上說，是的，A和B都可以“使用”相同的數據。但這并不意味著他們能從中得到相同的值。

金融市場提供了最明顯的例子。如果一個特定的數據集（比如衛星圖像或信用卡交易）持有未定價的信息內容，那么對沖基金a就可以利用該數據進行交易來賺錢。但一旦這樣完成了，對沖基金B就不能做到了！機會消失了。這些數據實際上是競爭對手：只有一方可以采取行動。

非競爭對手的誤解源于將數據視為具有先天價值。如果是這樣的話，僅僅擁有這些數據就足夠了。但正如我們所知，數據的價值在于你可以用它做什么的價值。而這通常取決于沒有其他的人在做同樣的事情。在實際的數據業務實踐中，數據集越有價值，其所有者在保持獨家、專有和保護上花費的精力就越多。如果數據不是競爭性的，這種情況就不會發生。

請注意，使用用于人工智能模型訓練的地球尺度數據集，即使從一開始假設，復制和消耗數據很簡單，也是不正確的；這些數據集是巨大的。

優勢不會永遠持續下去——不論在資本市場，在人工智能培訓中，還是在任何地方。數據集被商品化了，并產生了替代品。此時，這些數據就變成了非競爭性的。

這傷害了大多數數據供應商，但對少數人來說是一個巨大的提升。每個數據所有者的夢想是讓他們的數據成為表注——商品化，但至關重要。

在為出售數據資產定價時，了解其特定生命周期中的位置至關重要。

在早期，數據集和市場都不夠成熟，不足以推動價值。數據集不完整、不準確、速度慢、不相關。市場缺乏有效使用數據集的工具或復雜性。可能會有探索性的活動，但交易很少發生。

第二個階段是當早期采用者意識到數據中存在alpha時——更好的針對性廣告，或更好的模型價值，或超額的市場回報。（我在這里使用的是alpha這個詞最廣泛的含義——比行業其他公司更有優勢）。在這一點上，數據是超級有價值的（相應定價），但受眾仍然狹窄。順便說一下，大多數數據資產永遠不會走到這一步。

第三個階段是讓一個給定的數據集在其行業中得到廣泛的應用。替代品激增，價格下跌。隨著更多的供應商和更多的用戶，它的alpha衰減；仍然有一些，但不多.

最后一個前沿是當數據集成為桌面籌碼時：當人們使用它時，不是因為它提供了優勢，而是因為不使用它會使他們處于不利地位。在這一點上，價格回升——不像阿爾法階段那么高，但比衰變階段高——使用急劇增加。這是作為數據所有者的最佳位置；進入這個階段的公司可以從單一資產中獲得數年甚至數十年的收入.

結合點1（數據的價值在于可以用它做的事情）和點3（數據從根本上是相加的），我們可以得出數據價值的嚴格定義：

數據的價值是在將數據添加到業務流程后所采取的操作中產生的邊際變化值。

這個業務流程可以是你的模型訓練步驟，你的定量交易策略，你的廣告拍賣，或者任何其他數據驅動的東西。

找到估計這一邊際值的方法是有效的數據定價的關鍵.

我們現在開始理解為什么真正獨特的（又名專有的）數據是如此有價值的。

首先，它是普遍的可加性的——你可以將它與幾乎任何現有的語料庫結合起來，并增加它的實用性，從而增加它的價值.

其次，數據所有者可以（嘗試）控制其生命周期。通過控制商品化/阿爾法衰減/過渡到桌面賭注的速度，您可以最大化[價格x交易]曲線下的面積。

第三，如果一個獨特的數據產品成為表注，其所有者擁有壟斷權；這相當于向整個行業征稅。為這些數據付費只是“做生意的成本”。

數據的價值是可以用它做什么的價值。因此，完全不同的數據集可能是競爭對手，競爭提供相同的價值！這是一種“功能替代”，它讓許多人認為自己的數據資產是獨特的人感到困惑。

下面是兩個示例：

l客流量、電子郵件收據和信用卡交易日志都是非常不同的數據集，但它們提供了相似的見解：人們在購物中心買什么。你的步行流量數據可能是專有的和獨特的，但信用卡交易是一個功能性的替代品，所以你的數據在它所提供的價值上并不是真正獨特的。

l人口統計資料、社交網絡行為和搜索歷史都是非常不同的數據集，但它們提供了相似的見解：人們對什么感興趣，因此他們可能會買什么。

在這里注意兩件事。首先，功能替代品可以是（而且通常是）相加的。您可以將它們組合起來，描繪出更豐富的現實圖景，特別是在底層源/機制足夠不相關的情況下。

其次，在功能替代品之間通常有一個價值層次，它與哪個數據集“最接近太陽”有關——也就是說，與感興趣的潛在事件聯系最緊密。是的，人口統計數據有時可以預測買家的意圖，但它不像電子商務搜索活動那樣強大（或有價值）的信號，因為后者更接近于購買行為。

如今，絕大多數的企業軟件都是通過分層訂閱計劃來銷售的。帶有青銅、銀、金等標簽；或者是個人、專業、企業，都是通過功能、座位數量、使用限制和其他交付價值的代理來區分的.

不幸的是，這些代理大多不適用于數據.例如：

l按座位定價行不通，因為數據價值不會與用戶數量成線性關系。再添加一個數據用戶并不像再添加一個軟件用戶或登錄帳戶。數據由團隊使用；有時可以對每個團隊收費，但團隊的大小、用例和生成的值都是不同的。

l按功能點定價（在軟件的意義上定價，而不是在ML的意義上定價）不起作用。事實上，目前還不清楚“數據功能點”會是什么。這里很少有有意義的滑塊。

l按原始數量（即你購買多少兆兆字節）定價不性，除非數據完全可替代，有點商品化，可能相當非結構化。但請注意，一些人工智能訓練數據集就是這樣。

l通過API調用定價不行，除非數據變化/衰減非常快。（但是如果API調用觸發了一個動作，而不僅僅是下載，那么這是可行的；請參見下面關于包裝器的討論）。

l通過下載定價——相當于支付即時軟件許可——行不通，因為數據很容易復制，審計困難。

但你也可以從其他的角度來考慮：

l按結構化卷定價有效：您為更多的記錄、更多的字段（如果數據是表格式的）、更多的覆蓋范圍或更多的粒度支付更多的費用。例如，支付更多的個人資料（在營銷數據庫中）或更長的歷史（在財務數據庫中）。

l按質量的作品定價。請注意，質量存在于多個維度中——準確性、完整性、注釋和結構。這本身擁有整個部分；看到下面。

l按接入工程定價。您可以對速度、近因性、更新節奏、排他性和自定義使用權收取更高的費用。這些都是真正的標尺，許多數據供應商將根據買家的需求和需求，明確地對其價格進行分層。

l按用例定價是您可以對數據進行定價，而不能對軟件進行定價。軟件用例在很大程度上是固定的:DocuSign不會處理你的賬戶，Quickbooks不會管理你的簽名。但是同樣的數據集可以幫助不同的用戶執行完全不同的任務。(這當然是數據定價困難的原因!)

l按客戶規模定價是有效的。這是顯而易見的，但值得明確指出：大客戶從給定的數據資產中比小資產獲得更多的價值，因此他們應該愿意支付更多的錢。這不僅僅是一種口袋效應；這是各方面的理性行為。

l按業務單位定價是按客戶規模定價的一種特殊（和有用的）情況；這里的業務單位可以是一個團隊，一個地理位置，一個產品線，甚至是一個特定的模型生成。客戶通常更愿意接受這個標尺，而不是直接支付更大的規模。

一種常見的模式是自己為你的數據資產識別最有價值的用例；將其包裝到一個軟件應用程序中；然后出售該應用程序。谷歌是這里的典型例子：他們的數據資產之一是“客戶意圖的知識”，他們將其打包到他們的廣告業務中。廣告商覬覦將他們的產品呈現在“正確的”客戶面前的能力；如果他們知道誰是正確的客戶，他們就會自己這樣做；谷歌有這些信息，對他們也有，而且有代價。

益百利對消費者信用數據也做了同樣的事情；彭博建立了一個整個終端來管理對其金融數據資產的訪問；就此而言，ChatGPT只是一個用戶界面，建立在GPT-4的模型權重上，而模型權重又依賴于大量的訓練數據。（有人可能會說，考慮到封閉和開源LLM架構的進展速度，訓練數據——以及由此產生的模型權重——才是真正的秘訣。）

將數據打包到軟件中有兩個主要優勢：首先，現在更容易將數據價值與交付的價值聯系起來；其次，你現在可以使用傳統的軟件定價軸進行銷售。（BBG有每個座位，益百利有每個查詢，谷歌有令人難以置信的關鍵字拍賣。）

請注意，順便說一下，通過將數據資產包裝在軟件中來貨幣化，這與使用數據來提高軟件資產的性能是完全不一樣的。（這是一個非常常見的類別錯誤。）后者是從亞馬遜到Zentesk的企業使用的經典“數據學習循環”；但數據并不是這些公司的核心產品；數據只是幫助他們優化軟件和操作。

一種日益常見的業務模式是以數據資產的形式提供本質上的服務。

考慮Scale.ai或Clearbit或Datavant。它們都提供本質上的服務——數據標簽、配置文件豐富和醫療記錄匿名——但它們以數據產品的形式提供這種服務，您可以通過下載、API調用或公共密鑰訪問。

這樣做的美妙之處在于，與傳統的服務模式不同，這種方法可以擴展：執行一次服務，但銷售多次。就像軟件包裝一樣，你可以沿著傳統的軟件定價軸將服務包裝貨幣化——通過行動，通過API調用，甚至通過座位。

高質量的數據成本更高。但是我們所說的高質量到底是什么意思呢？事實證明，就像所有的數據一樣，數據質量的定義取決于數據被放置的用途。

量化和系統的對沖基金——也許是世界上最大的原始數據購買者——關心的是準確性和精確度。他們的業務是基于識別代表背離有效市場的數據點——異常價格、可預測的模式、意外的相關性、內部不一致、被誤解的風險。錯誤的數據點是危險的，因為它們表明不存在的背離。

Adtech平臺——大規模數據的另一個主要買家/用戶——關注數據的覆蓋范圍和深度。異常值和個人不良/缺失數據點并不重要；他們的業務就是盡可能多地抓住分銷的核心，這樣當廣告商定義目標檔案、關鍵字或行為時，他們就有豐富的受眾。

需要培訓數據的人工智能模型——數據的新買家——關心結構和內部結構。到目前為止（這個領域發展得非常迅速，所以誰知道這能持續多久），訓練數據中對模型性能的影響最大的質量屬性是結構性的（而不是信息性的）清潔度（即去重、去噪、去偏的數據）；標注；數據多樣性；也許還有一些領域的特異性。

請注意，這些質量因素并不是相互排斥的；理想情況下，您想要所有它們（以及更多），無論您的用例如何。但它們的相對重要性各不相同。

這將如何影響數據定價？價格歧視是顯而易見的答案：同一數據資產根據其質量因素的分布對不同的用戶具有不同的價值。（這只是對上述公理3的一個重述。）

更微妙的一點是，許多這些質量屬性都是可以改進的。您可以對原始數據進行注釋；您可以組合數據集以增加覆蓋率；您可以交叉引用數據集以提高準確性。采取這些操作是提高數據價值的一種簡單方法，無論是外部銷售還是內部使用。

(誰最適合采取這些行動？數據生產者的優勢是，他們可以跨多個買家攤銷這些行動的成本；數據消費者的優勢是，他們知道自己的用例，因此可以優先考慮最有效的行動。)

根據用戶配置文件和特定的用例，可能有數據集價值的其他驅動因素：

l當數據資產穿越其成熟度曲線時，可證明的法規遵從性將變得更有價值。在早期，當數據的效用未知時，參與者不太傾向于為遵從性付費。但隨著生態系統的成熟，這就變得更加重要了.

l數據來源是有價值的，因為它使遵從性更容易，并減少了錯誤引入的范圍。主要來源是這里的黃金標準。

l未受污染的數據在任何涉及預測的用例（生成人工智能，或定量投資）中都是非常有價值的。這些數據從未被挖掘或匹配，因此沒有使你的數據產生偏差。未受污染的數據是不可再生的資產；一旦你使用它進行訓練或測試，它就會失去其原始狀態，所有未來的使用都必須考慮過擬合的風險。

l數據可互換性——數據集中的每一條記錄都與其他記錄一樣——很好，因為它使數據在值生成中更易于處理、可加性和可重復性。

這些都是價值的內部驅動因素：屬性，雖然不一定是你所認為的“質量”，但它們仍然是數據集固有的。但也有外部的價值驅動因素，其中許多與桌面賭注地位有關。

數據集可以通過不同的方式獲得桌面賭注狀態：

一些數據集成為了數據交換的標準。標普針對公開交易證券的CUSIP，D&B針對私人公司的DUNS，達塔凡特針對病歷的通用病人鑰匙，LiveRamp針對廣告客戶受眾的RampID在這里都是這樣的例子，盡管是不同程度的“桌面賭注/行業采用”。

一些數據集成為評估基準。這里的夢想是提供每個行業參與者都必須用來衡量自己的“地面真相”。標準普爾、納斯達克和MSCI通過他們的市場指數來衡量投資者的表現。尼爾森對電視廣告也這樣做：廣告商和網絡都依賴尼爾森的收視率來標記他們的合同。

一些數據所有者擁有準壟斷能力，要么由數據飛輪驅動，要么由某種非數據網絡效應驅動。Meta和谷歌就是前者的例子：它們的知識圖，通過用戶內容和意圖不斷更新，主導著在線廣告。彭博伯格是后者的一個例子，因為其終端無處不在。

一些數據集依賴于捆綁的使用來成為桌面賭注。要在給定的行業中工作，您必須（有效地）購買一個數據集；相反，要使用這些數據，您必須獲得在該行業工作的許可。個人房地產經紀人、各種房地產經紀人組織/經紀公司/當地認證機構之間的關系，以及MLS房地產數據庫之間的關系就是一個很好的例子。

數據的價值就是你可以用它做的值。因此，你被允許做的事情越多——賣家授予你的使用權就越多——你應該愿意支付的錢就越多！這是一種完全獨立于質量、數量、數據集內部結構或桌面賭注狀態的定價效應。

常見的使用權限包括：

l使用權范圍：內部、產品內、面向客戶、全面再分配

l所有權：轉讓與許可，顯式與隱式權限，批準和禁止的用例

l審核權限：使用跟蹤、觀察、遵從性、合同后刪除

l派生數據權利：修改、貢獻和歸屬（例如，如果數據與其他數據集組合）、下游產品的所有權

l合規權利：對數據的責任、代表和保證，法律保護

復雜的數據合同非常仔細地描述了您可以用您許可的數據做什么和不能做什么，而且這些許可通常具有標價。

最近一個有趣的發展是，實物支付作為一種數據資產的補償模式的出現。當（比如）OpenAI從一個新聞媒體組織授權內容時，他們提供的一部分是在聊天對話和鏈接放置中突出該組織的品牌。這有多種好處：媒體組織獲得“人工智能有機”流量；LLM獲得新的數據；雙方都可以使用點擊和參與數據來衡量內容的實際提升和價值；這是一個重復出現的組成部分。瞇起眼睛，你甚至可以看到類似于谷歌對內容創造者的Adwords和SEO的組合拳。

少量的高質量（準確、真實）的數據是否優于大量的“足夠好”的數據？對于人工智能的用例，答案越來越被否定。

我們在“數據的不合理有效性”和“規模就是你所需要的”等想法中看到了這一點。你向它們提供的訓練數據越多。微調和領域特異性，特別是人類啟發式，往往趨于穩定；這是許多研究人員努力學到的“痛苦的教訓”。

（最近的一個很好的例子是GPT-4，一種使用更多標記的一次性模型訓練，在幾乎所有財務分析任務上的表現都優于blombergGPT。）

這里的一個結果是，斯特金定律——“90%的所有東西都是垃圾”——不再如此有力地支持數據。在過去，世界上絕大多數的數據集都沒有持有任何洞察力，也沒有催化任何行動，也沒有任何價值。人工智能對各種訓練數據的貪婪欲望意味著這種情況不再如此：即使是那些垃圾的東西也能幫助模型進化（可能不是很多，但不是零）。

那么，數量對人工智能來說是否明顯超過了質量呢？這并不是那么簡單，因為我們也關心邊際影響和投資回報率。在大量的語料庫上灑一點質量——例如，通過簡單的去重復操作——會對模型性能產生顯著影響。隨著訓練集的增大，這樣做通常比獲取下一個令牌更有效；超過某一點，數據質量比數據量作用更好.

這對數據定價的影響很簡單。數量很重要，優質的數量甚至更好，而且沒有上限。

人工智能用例的定價數據面臨的最大挑戰是，大部分訓練價值來自歷史語料庫，這意味著從持續更新中獲得經常性收入的機會有限。對OpenAI來說，Reddit十多年來的存檔內容要比增加一天、一周或一個月的新內容要有趣得多.

當然，經常性收入是有效的長期數據定價和經濟效益的秘密。當數據具有短保質期、定期更新節奏和可重復使用的組合時，它的工作效果最好。人工智能訓練數據集通常沒有這些屬性.

有一些方法可以減輕這種情況。當然，你可以收取更高的價格，以彌補未來的付款；或者你也可以嘗試對每個模型或每次訓練運行收費。

這里的長期解決方案是構建一個數據飛輪——一個“永久數據機器”，它生成或捕獲穩定的新數據流，或不斷改進現有數據。這些飛輪可以基于用戶行為（Reddit的帖子數據），或商業模式（納斯達克的交換數據），或技術（谷歌的內容意圖循環），或許多其他原型；關鍵是他們不斷提供新的數據進行訓練。

合成數據管道提供了一種方法，以產生無限數量的高質量、總是新的訓練數據，其成本遠低于“在野外”獲取可比數據。（數量和成本效應均跨越數量級）。早期的跡象表明，在訓練前沿模型中，構造良好的合成數據幾乎和自然數據一樣有效。這為無限期地引導數據曲線提供了一個誘人的前景：使用每一代的LLM來生成合成數據來訓練下一代.

合成數據的可行性和數量高于質量的重要性都不利于現有數據資產的價格。專有的數據已經不像以前那樣了！

(也就是說，純粹的合成數據往往會隨著時間的推移而下降，形成一種熵的漂移。隨著LLM輸出在網絡上激增，在野外可能會出現類似的現象。這里最壞的情況是格雷沙姆效應，即壞的內容會驅逐好的內容。所有這些可能性都表明，可證明的人類專有數據畢竟有其地位。)

通常，ACV決定了銷售周期。你的價格點決定了你的市場走勢（企業銷售、內部銷售、自助服務等），因此，完成交易需要一段時間。對于數據銷售也是如此，但還有一個相反的影響：銷售周期決定了ACV。

這是為什么。在企業軟件中，完成銷售所花費的大部分時間都花在了武裝你的擁護者，進行功能測試，獲得不同利益相關者的支持，選擇等級和協商價格，引導用戶等等。這個過程很少能轉化為數據銷售（沒有層次，沒有功能，沒有用戶）。

相反，數據銷售周期中的大部分時間都花在了開啟、鏈接、抽樣、測試和使用實際數據上。這是昂貴的；制造工程師并不便宜。買家花在數據集上花費的時間和資源越多，買家認為數據集有價值的信號就越強。

考慮到數據價值通常很不透明，這個信號是有意義的——尤其是當買家規模較大且經驗復雜的時候。賣家意識到了這一點，并提高了價格.

這篇文章的大部分內容都是關于個人數據資產或交易的定價。但對數據所有者來說，了解市場的規模也很重要；畢竟，收入不僅僅是價格，而是價格乘以交易。最有利可圖的數據資產通常是那些（相對）價格較低和交易基礎大的數據資產。

什么決定了市場規模？易讀性。

數據集越清晰，客觀計算其投資回報率就越容易，其市場就越大。這表現為更多的客戶，更多類型的客戶，在給定的客戶中有更多的使用，更高的價格和更低的獲取成本.廣告技術和金融是最賺錢的垂直數據行業，這并非巧合：這些行業也是最容易對數據庫、數據集，有時甚至是個人數據記錄賦予美元價值的行業。人工智能訓練數據是否會達到相同的成熟度水平？我們會看到的！

所以你就有了：5000個+關于數據定價的詞。我們已經介紹了用例和用戶；質量和數量；內部和外部價值因素；定價軸和成熟度曲線；桌面賭注和使用權；和更多。如果我錯過了什么，我很想在評論中聽到你的意見。快樂的數據定價！