DT時代，數據驅動成為大趨勢。大數據必將成為未來社會的新能源，從企業的微觀層看，大數據的分析和運用能力已成為企業的核心競爭力。
所有企業都想把數據變成信息來幫助決策，期望由此產生的行動能轉換成更高效的業務操作，從而增加企業的競爭優勢，贏在開端。
然而現在的企業中經常會遇到一些困擾：一種情形是企業內部存在有價值的數據但是企業自身對這些價值未感知，另一種情形是企業知曉數據的價值但是并不知道如何有效的利用這些數據助力企業決策。
第一種情形像極了自然界中的一種物質叫做“暗物質”，從物理學的角度來看，“暗物質”是自然界當中最充滿能量的部分，如何發揮“暗物質”的作用是當代自然科學研究的話題。而在商業智能BI領域，人們都在討論如何發掘隱藏在企業內部和整個互聯網上巨量的“暗數據”，
怎樣發揮“暗數據”的價值。
本文從挖掘“暗數據”的角度解讀如何找出企業內部的“暗數據”
定義“暗數據”
“暗數據”是指企業在開展正常業務活動期間采集、處理和存儲在各種系統和數據存儲中，但通常無法用于其他目的(如分析、商業關系和直接獲利)的信息。具體來說，它指那些需要資金來存儲、保護和管理，但又沒有得到高效的利用，不能提升商業價值，甚至可能會給企業帶來風險的內容。
暗數據是伴隨大數據一起產生的新名詞。我們可以將“暗數據”視為大數據的子集，它可以包括存儲在CRM數據倉庫的結構化數據、日志文件甚至來自于社交媒體的非結構化數據等所有數據。
對于有些已經實施數據倉庫或者大數據平臺，清楚數據的存在并正在發掘數據的價值的企業，暗數據的問題依然存在。因為實施數據倉庫常常是站在IT的角度，對于IT來講或許已經是可以利用的明數據，而對于其它部門尤其是業務部門，如果沒有充分有效的利用手段和方式，仍然是“暗數據”。
如果無法有效利用這些數據，企業最終就無法對自身的整體行為形成一致觀點。這意味著企業將無法分析流程、合理配置資源，也無法在系統中找到代表自身專有優勢的數據。
暗數據”產生
顯然沒有任何企業會對數據主動采取低效、昂貴和不明智的措施。但一系列新應用程序和大量新數據已使很多企業忽視了他們已經擁有的和付費購買的數據。
為何會有這么多“暗數據”存在?
我們從以下四點來解讀：
1、企業甚至沒有意識到數據的存在企業不止有IT部門，還有更多的業務人員、管理決策人員，當他們嘗試解答疑難問題或改進工作方式時，時常會回避去尋找并分析自己不熟悉的數據集。并且由于缺乏技能、時間或能力，他們往往很難將正確的數據公諸于世，這在日常工作中是非常典型的一種場景。舉個例子，有些企業表示不清楚到底有多少客戶，這是真的嗎?回答當然是否定的，因為現在的企業IT已非常完善，每一筆客戶的交易信息都會存在系統當中，或許有些數據質量不是很好，但它們都是存在的，只是企業自己沒有意識到。如果這些數據以整個組織都能訪問的方式存儲，就能為更多業務部門、項目團隊提供支持，進而制定更明智的決策，并對更多假設進行測試。
2、企業意識到數據的存在，但不知道具體位置，利用的手段和方法也不足有些企業已經建設了很多數據管理系統，知道數據是存在的，但內部的數據體系結構和復雜的數據流程讓數據很難被訪問到。如果各個部門都在數據孤島中工作，并且將數據遺留在數據存儲中，那么即使是求知欲最強的團隊也會徒然碰壁。如果沒有制定企業范圍的戰略來存儲和管理這些數據，企業的決策質量仍將受制于內部組織架構和過時的技術。
3、實際利用數據過于昂貴阻礙了數據使用的效果即使企業已經發現了所需的“暗數據”，通常也必須面對與在遺留系統上處理這些數據相關的一連串成本問題，比如數據利用的環節過長。即便他們通過使用Hadoop這類的新軟件架構，在價格較低廉的硬件上復制這些數據來努力降低成本，但遷移流程和獲取新技能的初始成本對于單個項目而言通常仍顯得過高。這也造成了很多數據其實仍然以未被充分使用的狀態隱藏在我們的IT系統和日常流程當中。所以為了充分利用企業已擁有的數據，需要更現代化的數據體系結構，否則企業仍會繼續為數據支付巨額費用，卻無法承擔對其進行分析產生的成本。
4、某些數據存在遵守法律的問題如金融、電信、醫療等行業的數據量非常多，但無法將某些數據提供給任何人分析，最重要的原因之一是害怕違反法律法規的要求。對于企業而言，要使其擁有的數據具有意義，需要部署明確定義的流程和工具，以保證這些數據的安全性。既然我們面臨著非常多的“暗數據”，那么點亮“暗數據”成為了企業迫切的需求。
（部分內容來源網絡，如有侵權請聯系刪除）
