近期，美國政府發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》，擬投資兩億美元，增強(qiáng)從大量復(fù)雜數(shù)據(jù)集合中萃取信息的能力。“大數(shù)據(jù)”概念受到廣泛關(guān)注。麥肯錫公司研究表明，人們對(duì)于海量數(shù)據(jù)的運(yùn)用，預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來。
我國一些專家認(rèn)為，“大數(shù)據(jù)”是指對(duì)海量數(shù)據(jù)進(jìn)行智慧化處理和決策，這不僅是技術(shù)層面的問題，還涉及管理層面、互信機(jī)制等問題。建議在專門機(jī)構(gòu)領(lǐng)導(dǎo)下，尋找“大數(shù)據(jù)”研究切入點(diǎn)，應(yīng)對(duì)信息時(shí)代挑戰(zhàn)。
具有戰(zhàn)略性的智慧化數(shù)據(jù)處理和決策
據(jù)有關(guān)專家介紹，“大數(shù)據(jù)”是一個(gè)戰(zhàn)略層面的概念，因此，下一個(gè)準(zhǔn)確定義比較難，認(rèn)識(shí)“大數(shù)據(jù)”需要從它的特征入手。“大數(shù)據(jù)”具備四個(gè)基本特征：數(shù)據(jù)體量大，從TB(萬億字節(jié))級(jí)別，躍升到PB(千萬億字節(jié))級(jí)別；數(shù)據(jù)類型繁多，包括網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等；價(jià)值密度低，以視頻為例，連續(xù)不間斷監(jiān)控過程中，有用的數(shù)據(jù)可能僅僅一兩秒；處理速度快。
我國某“大數(shù)據(jù)”研究團(tuán)隊(duì)的專家研究認(rèn)為，相較于其他數(shù)據(jù)分析、處理和研究，“大數(shù)據(jù)”具有戰(zhàn)略導(dǎo)向性，具有更高的應(yīng)用價(jià)值。
第一，“大數(shù)據(jù)”不是指數(shù)據(jù)量大或不大，而是處理數(shù)據(jù)的能力與所能獲得數(shù)據(jù)量之間的差距。汪斌強(qiáng)這樣闡釋：“假如我一天可以處理兩三個(gè)PB，產(chǎn)生的數(shù)據(jù)量只有幾十兆，那么數(shù)據(jù)量再大也不算‘大數(shù)據(jù)’，因?yàn)楸M在掌握之中。”
“大數(shù)據(jù)”技術(shù)手段相對(duì)以往的數(shù)據(jù)處理有根本性突破。以往通常是設(shè)置關(guān)鍵詞，在數(shù)據(jù)庫中海量搜索，然后請智囊團(tuán)分析，通過人腦進(jìn)行判斷和預(yù)測。這種方法存在的問題在于，用來分析的數(shù)據(jù)來自關(guān)鍵詞搜索，難以達(dá)到完備性。而“大數(shù)據(jù)”采取反向思路，先剔除掉數(shù)據(jù)庫中的無用信息，這是“大數(shù)據(jù)”處理跟目前大海撈針式數(shù)據(jù)處理的本質(zhì)不同。
第二，“大數(shù)據(jù)”意味著數(shù)據(jù)處理從智能走向智慧。該研究團(tuán)隊(duì)的專家介紹說，以前的海量數(shù)據(jù)處理，僅僅是信息資料收集過程，最終的決策和判斷由另外的系統(tǒng)負(fù)責(zé)；而“大數(shù)據(jù)”的數(shù)值搜索和處理是一體化，邊搜索邊即時(shí)處理，需要數(shù)據(jù)可隨對(duì)再找。
同時(shí)，“大數(shù)據(jù)”技術(shù)將促成數(shù)據(jù)智慧化的決策和判斷。以烏魯木齊“7.5”事件為例，如果該地區(qū)原先發(fā)郵件的只有幾十個(gè)人，某個(gè)時(shí)間段突然數(shù)量激增，說明有異常情況，“大數(shù)據(jù)”智慧化的即時(shí)計(jì)算技術(shù)能夠做到預(yù)警。
如果說云計(jì)算為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道，那么如何盤活數(shù)據(jù)資產(chǎn)，使其為國家治理、企業(yè)決策乃至個(gè)人生活服務(wù)，則是“大數(shù)據(jù)”的核心議題，也是云計(jì)算的升級(jí)方向。
“大數(shù)據(jù)”產(chǎn)業(yè)鏈各環(huán)節(jié)面臨發(fā)展機(jī)遇
該“大數(shù)據(jù)”研究團(tuán)隊(duì)認(rèn)為，“大數(shù)據(jù)”的重要影響是，對(duì)數(shù)據(jù)采集從源頭上進(jìn)行控制，擋住一些不具戰(zhàn)略意義、沒有價(jià)值的數(shù)據(jù)。當(dāng)前的數(shù)據(jù)收集工作沒有數(shù)據(jù)分析系統(tǒng)，基本是不經(jīng)分析過濾全扔進(jìn)數(shù)據(jù)庫，一來數(shù)據(jù)庫容量有限，二來信息蕪雜，有效樣本信息獲得難度較高。
“大數(shù)據(jù)”產(chǎn)業(yè)鏈有很多環(huán)節(jié)，未來都可能面臨較大發(fā)展機(jī)遇。如信息數(shù)據(jù)的產(chǎn)生環(huán)節(jié)，公眾每天使用的互聯(lián)網(wǎng)和無線通信，即時(shí)通信、微博、手機(jī)電話、短信、彩信甚至是每一個(gè)互聯(lián)網(wǎng)點(diǎn)擊，都是數(shù)據(jù)的產(chǎn)生，企業(yè)依靠這些數(shù)據(jù)，可以進(jìn)行自我分析提升效率，也可以出售數(shù)據(jù)給專業(yè)分析機(jī)構(gòu)。同樣，信息數(shù)據(jù)的存儲(chǔ)和采集整理環(huán)節(jié)也不容忽視。而信息數(shù)據(jù)的分析產(chǎn)出作為整個(gè)“大數(shù)據(jù)”產(chǎn)業(yè)鏈的最末端，可能將成為具有技術(shù)含量和產(chǎn)業(yè)附加值的子行業(yè)。
“大數(shù)據(jù)”一問世，便迅速成為計(jì)算機(jī)行業(yè)的熱門概念，也引起金融界高度關(guān)注。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，數(shù)據(jù)本身即是資產(chǎn)，這一點(diǎn)在業(yè)界已經(jīng)形成共識(shí)。最早提出“大數(shù)據(jù)”時(shí)代已經(jīng)到來的全球咨詢機(jī)構(gòu)麥肯錫公司認(rèn)為，數(shù)據(jù)已經(jīng)滲透到每個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重、要的生產(chǎn)因素；而人們對(duì)于海量數(shù)據(jù)的運(yùn)用，預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來。
全球多家互聯(lián)網(wǎng)巨頭都意識(shí)到“大數(shù)據(jù)”時(shí)代來臨的重要意義。惠普、IBM、微軟等紛紛通過收購“大數(shù)據(jù)”相關(guān)廠商來實(shí)現(xiàn)技術(shù)整合。美國政府更是發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》，把“大數(shù)據(jù)”研究上升為國家意志。
既是技術(shù)問題也是管理問題
目前在中國，“大數(shù)據(jù)”尚未直接以專有名詞被政府提出。不過，工業(yè)和信息化部發(fā)布的物聯(lián)網(wǎng)“十二五”規(guī)劃中，把信息處理技術(shù)作為四項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一提出來，其中包括海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析，這都是“大數(shù)據(jù)”的重要組成部分。
國內(nèi)一家大學(xué)的“大數(shù)據(jù)”研究團(tuán)隊(duì)建議，中國發(fā)展“大數(shù)據(jù)”需重視以下幾個(gè)問題：
一是“大數(shù)據(jù)”的研究和發(fā)展工作可由國家層面的部門主導(dǎo)，成立一支核心研究團(tuán)隊(duì)，提供合適的研究環(huán)境。目前我國純商業(yè)的數(shù)據(jù)處理尚未形成行業(yè)。
二是積極應(yīng)對(duì)“大數(shù)據(jù)”挑戰(zhàn)。研究“大數(shù)據(jù)”不單是技術(shù)層面的問題，管理層面、互信機(jī)制的建立都要跟上，要在頂層設(shè)計(jì)指導(dǎo)下分重點(diǎn)解決。
三是找準(zhǔn)切入點(diǎn)。這家大學(xué)的研究團(tuán)隊(duì)認(rèn)為，在信息時(shí)代，如何給龐大的數(shù)據(jù)消腫，把價(jià)值密度低的數(shù)據(jù)庫瀝掉水分，是研究關(guān)鍵。
數(shù)據(jù)安全和保密，也是專家關(guān)注的問題。在一些專家看來，美國通過星球大戰(zhàn)使蘇聯(lián)解體，2005年又拋出“控域”概念，號(hào)召發(fā)展物聯(lián)網(wǎng)。但是，美國的信息智能化存儲(chǔ)容量和采集水平是我國的兩倍，在如此繁雜的數(shù)據(jù)中搜索出有用數(shù)據(jù)非常困難。有關(guān)專家特別強(qiáng)調(diào)說，“美國自己碰到問題了，就拋出來讓全球幫它解決，我們必須重視‘大數(shù)據(jù)’研究過程中的安全性”。