破解海量數據處理瓶頸的出爐在哪里？

數字經濟時代，打造強悍的數據底座，已經成為行業共識，但是在面臨著海量且復雜文本數據處理時，很多行業和企業存在瓶頸，出路在哪里？

7月19日，在2022全國工業互聯網平臺賦能深度行（首站·寧波）暨第二屆未來智造大會上，北京航空航天大學國家科技資源共享服務工程技術研究中心副主任王建平拋出了上述疑問。

在王建平看來，當前，海量數據處理存在著兩大瓶頸。第一個瓶頸是技術路徑。他認為，互聯網出現后，信息大爆炸、數據成海量，但是復雜文本數據的處理，要完全擺脫人工，仍然十分困難，還是一個全球性的難題。盡管利用爬蟲、深度學習、NLP等技術，機器能夠理解簡單文本的語義，但是對較復雜文本處理還到不了實用程度。

第二個瓶頸是經濟成本。王建平表示，若針對海量數據，采用人工方式處理，則存在經濟性問題。一是個體網站獨立對海量文本數據人工處理的成本問題，二是數千萬獨立網站、APP、小程序的人工維護的社會成本和規模經濟的問題。

事實上，當前很多企業采用人工智能處理海量數據，都是后臺人工處理、前臺智能呈現，清洗、標注的最后一步需要人工處理。王建平對當前海量復雜文本數據處理現狀直言不諱，借助爬蟲自動采集數據容易，但是爬蟲抓來的還是一堆垃圾，人工處理，技術上不可取、經濟上高成本。以文本數據處理為例，國內沒有一個文本數據的機器全自動處理解決方案，沒有一家大廠解決數據處理的最后一公里，數據庫數據處理成難題，網站、APP、小程序出現一堆僵尸。

那么出路在哪里？王建平指出，要研究出一套原創算法，抽象出一套底層的規則，擺脫對清洗、標注準確的大樣本、大素材的依賴、滿足規則自適應的需求。而且還要能夠基于云計算架構，為用戶構建大數據平臺，實時賦能數據，賦能算法、搜素引擎等技術，降低用戶的技術門檻、維護成本。

依托北京航空航天大學國家工程技術中心，寧波、北京兩地分別組建了寧波優策、國信科技兩家小創企業，從事大數據、人工智能的算法、架構研究。其中，寧波優策主要從事產業政策、產業資訊大數據平臺開發，國信科技專注于產業人才大數據開發，基于國內最先進的算法和架構，解決數據處理的最后一公里。

據介紹，上述兩家公司基于國內最先進的理念、架構、算法，開發了產業政策大數據平臺、產業資訊大數據平臺、產業人才大數據平臺和專業服務（科技服務）大數據平臺四大技術引擎和數據引擎，構建產業公共服務生態平臺、產業大數據平臺和企業機構官網，形成自主的原創算法、知識體系、技術體系、產品體系和平臺體系。

產業政策大數據平臺是一個定制平臺的平臺，是一個定制引擎的引擎，系統部署數據監控源超過20000個，匯聚產業政策數據量超過1500萬。該平臺采用原創算法，100%實現機器對政策的自動清洗，剔除非產業政策類信息，100%實現機器對政策分類、技術領域、技術專題等產業政策屬性的自動標記。用戶通過簡單的參數設置，以云模式獨立定制自己的區域、行業、主題類的產業政策大數據平臺，賦能實時數據，賦能原創算法、搜索引擎等核心技術。

產業資訊大數據平臺是國內唯一的產業資訊垂直搜素引擎，系統部署數據監控源超過500個，匯聚產業資訊數據量超過300萬。與產業政策大數據平臺不同，該平臺通過爬蟲技術，對資訊網站進行數據抓取，采用原創的核心算法，對數據進行自動清洗，剔除非產業資訊類數據，100%實現了機器對產業資訊各類屬性的自動標記，打通數據處理的最后一公里。用戶可以按照數據的不同維度，實現垂直搜索、精準搜索、個性推送；基于算法和規則，通過數據源定制，自動形成產業專題。

產業人才大數據平臺能夠實時監測分析全國3000多所大專院校、6.5萬家科研高校院所、30余萬家高新技術企業中1000多萬高新技術人才；國外10000多所頂級的大學、院所和科研機構大約2000多萬的外國專家和華人專家學者人才，這其中包括65萬的華人學者；大約2.5億的論文數據，國內專利庫1800萬專利數據，還有各類政府的項目數據150萬。

王建平表示，目前上述幾大平臺已經在全國積累了大量落地案例，獲得行業肯定。比如為寧波市政府定制推送全國產業政策大數據平臺；打造國家（寧波）工業互聯網公共服務生態平臺等。

作為2022全國工業互聯網平臺賦能深度行活動的首站，本次活動由寧波市人民政府、中國電子信息產業發展研究院、工業互聯網平臺創新合作中心主辦,以“深化平臺應用 加速數字發展”為主題，通過“六個一”活動，為工業互聯網平臺賦能數字化轉型搭建了官產學研用良好互動的建設性交流舞臺，全面展現了工業互聯網創新發展圖景。