- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2022-04-22來源:轉角的夏天瀏覽數:274次
數據的目標是驅動業務,需要經歷從數據到信息、從信息到知識、再從知識到智慧的過程,擁有知識不代表擁有智慧,智慧是選擇知識(多元模型)的能力。
演講PPT包括六大部分,包括引言、數據領域基本概念、數據的目標是什么、數據崗位如何理解、數據技術全景視圖及進入職場前的準備,主要面向想進入大數據行業的大學生,也適合于對數據感興趣的人士,PPT寫得簡單,權當拋磚引玉。
正文開始
有好友邀請我去做浙江大學數據“悅”讀大賽的評委,順便讓我做一次大數據的主題演講,我問分享啥呢,好友說那就講講數據職場相關的吧,然后就有了這次分享。

一、引言

這頁PPT我主要想表達的是:工作思維和學生思維的區別。
網傳有個例子也很形象。老板要在墻上掛副畫,讓你去買個電鉆,你跑到樓下,發現店關門了,你跟老板說,店關門了,我沒有買到,這是答案,不是結果。你找到物業讓他打個洞,這是老板要的結果。
二、數據領域基本概念
1、數據

大數據這個詞容易望文生義,其實在大數據的4V特征中,多樣性才是最重要的特性,芝麻信用的價值就在于維度夠多,比如身份特質中的就業類信息,如果知道你在哪個單位工作,這個單位顯然可以為你的信用背書。
高速度也是很關鍵的特征,我們以前大量的分析都是截面分析,拋棄了時間要素,事實上,數據的時間維度代表了一種價值,比如高速路打高爾夫球是一種違規行為,實時預警和隔天預警產生的價值則完全不同。
2、計算

大數據相對于小數據有4V的特征,為了從大數據中挖掘出價值,需要針對大數據的4V特點給出適配的技術解決方案:
從大容量的角度看,需要從傳統的小型機(Scale up)架構升級為分布式架構(Scale out)。
從多樣性的角度看,需要突破傳統關系型數據庫的限制(比如ACID),采取NoSQL數據庫來高效處理非結構化等數據。
從高速度的角度看,需要從原來的批處理架構升級到流處理架構,支撐實時查詢、實時統計等應用場景。
從高價值的角度看,需要采取更低成本的軟件解決方案,比如從傳統的商用軟件逐步過渡到開源軟件。
3、組織

采集進來的原始數據是雜亂無章的,只有通過構建數據模型,將數據有序的組織和存儲起來之后,這些數據才能得到高性能、低成本、高效率、高質量的使用,數據倉庫建模的價值體現在四個方面:
質量:打造標準層,實現業務和數據的準確映射,提升應用的有效性。
效率:打造公共層,實現數據的高內聚,松耦合,提升應用支撐速度。
性能:打造精簡層,實現數據的過濾和整合,提升應用查詢效率。
魯棒:打造中間層,實現應用和數據的解耦,提升應用的連續性。
4、算法

機器學習主要分為三大類:
監督學習:基于現有的經驗(打標簽)去發現規律,然后去預測未來,比如機器通過看很多貓的照片然后就會識別其它的貓
無監督學習:沒有任何經驗,自動發現規律,比如通過客戶聚類自動發現一些特殊群體
強化學習:某個環境下的自主個體通過與環境的互動而不斷改進它的行為以獲得最大的累積回報,比如下棋,無人機

狹義的人工智能可以分為四大類別:
深度學習:將現實世界表示為嵌套的層次概念體系,由較簡單概念間的聯系定義復雜概念,從一般抽象概括到高級抽象表示,從而獲得強大的性能與靈活性,比如圖片的識別,先識別邊緣,再識別耳朵,再識別臉
強化學習:通過對未知環境一邊探索一邊建立環境模型以及學得一個最優策略,無論是人類學走步、鸚鵡走鋼絲還是無人駕駛汽車都應用到了強化學習
對抗學習:生成對抗網絡通過生成網絡與判別網絡兩個神經網絡相互博弈的方式進行學習,生成網絡生成真假難辨的數據,盡可能讓判別網絡無法識別真假,判別網絡則盡可能將真相識別出來,直到判別網絡無法判斷生成網絡的輸出結果是否真實
遷移學習:遷移學習顧名思義就是就是把已學訓練好的模型參數遷移到新的模型來幫助新模型訓練,一個會打乒乓球的人比沒有經驗的人更容易接受網球;會騎自行車的人能更快學習騎電動車等等,遷移學習就在你身邊

深度學習是一種特殊的機器學習,在機器學習中特征選擇部分一般需要人的先驗知識的介入來設計好的特征提取方法,比如判斷一張圖片是否是貓,首先要定義一些特征,比如該動物是否有胡須、耳朵;如果有耳朵,那么耳朵是否是尖的,然后讓系統識別出在動物中是否有這些重要特征,而深度學習會一次性完成這些任務,深度學習會自動找到對分類任務重要的特征,而機器學習不得不人工指定。
5、思想

舍恩伯格所寫的經典書籍《大數據時代》是一本大數據思想的啟蒙書,它的全體數據、混雜性及相關關系思想是實用主義的一種代表,但也不是絕對的,需要辯證的去理解。

三、數據的目標是什么
數據的目標是驅動業務,需要經歷從數據到信息、從信息到知識、再從知識到智慧的過程,擁有知識不代表擁有智慧,智慧是選擇知識(多元模型)的能力。







四、數據崗位如何理解
將數據加工成智慧,依賴于數據開發、數據分析、數據產品經理等崗位人員,每類崗位人員有著自己使命,但也有著獨特的挑戰,功夫往往在詩外。








五、數據技術全景視圖





六、進入職場前的準備


