一篇文章為你解讀大數(shù)據(jù)的現(xiàn)在和未來觀點
大數(shù)據(jù)的發(fā)展前提
關于大數(shù)據(jù)的概念其實在1998年已經就有人提出了,但是到了現(xiàn)在才開始有所發(fā)展,這些其實都是和當下移動互聯(lián)網(wǎng)的快速發(fā)展分不開的,移動互聯(lián)網(wǎng)的高速發(fā)展,為大數(shù)據(jù)的產生提供了更多的產生大數(shù)據(jù)的硬件前提,比如說智能手機,智能硬件,車聯(lián)網(wǎng),pda等數(shù)據(jù)的產生終端。這些智能通過移動通信技術和人們的生活緊密的結合在一起,在人流、車流的背后產生了信息流,也就產生了大量的數(shù)據(jù)。
其次就是移動通信技術的快速發(fā)展,在2G時代,無線網(wǎng)速慢,數(shù)據(jù)產生也非常慢,數(shù)據(jù)體量也不夠,所以還是無法形成大數(shù)據(jù),而到了4G時代,終端數(shù)據(jù)的增加,使得任何的移動終端都在無時無刻的產生著大量的數(shù)據(jù),這個也是大數(shù)據(jù)到來的一個條件之一。
第三個方面的就是大數(shù)據(jù)相關技術的飛速發(fā)展,如云計算,云存儲技術,他們的快速發(fā)展,是大數(shù)據(jù)誕生的溫床,如果沒有這些技術,即使有大量的數(shù)據(jù)也只能望洋興嘆。傳統(tǒng)的存儲技術相對落后,根據(jù)不同數(shù)據(jù)實行單一存儲,這個顯然滿足不了大數(shù)據(jù)的需求,而云時代的存儲系統(tǒng)需要的不僅僅是容量的提升,對于性能的要求同樣迫切,與以往只面向有限的用戶不同,在云時代,存儲系統(tǒng)將面向更為廣闊的用戶群體,用戶數(shù)量級的增加使得存儲系統(tǒng)也必須在吞吐性能上有飛速的提升,只有這樣才能對請求作出快速的反應,云儲存技術的成熟為大數(shù)據(jù)的快速發(fā)展奠定了基礎。
什么是大數(shù)據(jù)?
不過說起大數(shù)據(jù),估計大家都覺得只聽過概念,但是具體是什么東西,怎么定義,沒有一個標準的東西,因為在我們的印象中好像很多公司都叫大數(shù)據(jù)公司,業(yè)務形態(tài)則有幾百種,感覺不是很好理解,所以我建議還是從字面上來理解大數(shù)據(jù),在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》提到了大數(shù)據(jù)的4個特征,一個是數(shù)量大,一個是價值大,一個是速度快,一個是多樣性。
一個是數(shù)量比較大,大致有多大,就是大到PB級別,甚至ZB級別,1PB等于1024TB,1TB等于1024G,那么1PB等于100多G,當然了具體的計算方法可以相關資料數(shù)據(jù)進行查詢,總之,和傳統(tǒng)的單個網(wǎng)站數(shù)據(jù)庫存儲的數(shù)據(jù)相比,已經是它的上百倍還多,而只有數(shù)據(jù)體量達到了PB級別以上,才能被稱為大數(shù)據(jù)。第二個是價值大,價值是大體量數(shù)據(jù)的更深一步的演變,就是說,你如果有1PB以上的全國所有20-35年輕人的上網(wǎng)數(shù)據(jù)的時候,那么它自然就有了商業(yè)價值,比如通過分析這些數(shù)據(jù),我們就知道這些人的愛好,進而指導產品的發(fā)展方向等等。如果有了全國幾百萬病人的數(shù)據(jù),根據(jù)這些數(shù)據(jù)進行分析就能預測疾病的發(fā)生。這些都是大數(shù)據(jù)的價值。
第三個就是多樣性,如果只有單一的數(shù)據(jù),那么這些數(shù)據(jù)就沒有了價值,比如只有單一的個人數(shù)據(jù),或者單一的用戶提交數(shù)據(jù),這些數(shù)據(jù)還不能稱為大數(shù)據(jù),所以說大數(shù)據(jù)還需要是多樣性的,比如當前的上網(wǎng)用戶中,年齡,學歷,愛好,性格等等每個人的特征都不一樣,這個也就是大數(shù)據(jù)的多樣性,當然了如果擴展到全國,那么數(shù)據(jù)的多樣性會更強,每個地區(qū),每個時間段,都會存在各種各樣的數(shù)據(jù)多樣性。
第四個是速度快,就是通過算法對數(shù)據(jù)的邏輯處理速度非??欤?秒定律,可從各種類型的數(shù)據(jù)中快速獲得高價值的信息,這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術有著本質的不同。
總之,這些就是大數(shù)據(jù)的四個特征,只有具備了這些特征的數(shù)據(jù)才能稱為大數(shù)據(jù),那么實際中的大數(shù)據(jù)是怎么樣呢?業(yè)內著名的和大數(shù)據(jù)相關的公司,七牛云存儲將要在8月29日、30日舉辦一次大數(shù)據(jù)的會議,對于位于大數(shù)據(jù)技術產業(yè)鏈上的公司來說,我們應該可以獲得更多的干貨爆料。
大數(shù)據(jù)的三個層次
說起大數(shù)據(jù),大數(shù)據(jù)有三個層次,第一個是數(shù)據(jù)采集層,以App、saas為代表的服務。第二個技術服務層,以七牛云存儲為代表的大數(shù)據(jù)技術服務層,這些包括數(shù)據(jù)的存儲,數(shù)據(jù)的分析,數(shù)據(jù)的挖掘等等,第三個是數(shù)據(jù)應用層,以數(shù)據(jù)為基礎,為將來的移動社交、交通、教育,金融進行服務。下面我就主要的講下三個層面。
數(shù)據(jù)采集層——App、saas服務
在移動互聯(lián)網(wǎng)時代,大數(shù)據(jù)的來源層有兩個方面,一個方面是面向個人的數(shù)據(jù)來源前端如各種各樣的App,一方面是面向企業(yè)服務的saas服務的產品。面向個人的App
在飲食領域的App,如餓了么,用戶通過App進行選餐,下單,通過App交互就會形成飲食領域的大數(shù)據(jù);在o2o領域,如嗒嗒巴士,用戶通過使用App進行乘坐交通,上班下班,就會形成交通領域的大數(shù)據(jù),如穿衣助手,用戶通過App進行選擇衣服顏色,樣式,進行搭配,就會形式服務類的大數(shù)據(jù),當然了還有秒拍、快看等娛樂類的消費數(shù)據(jù)。面向個人用戶的App,以滿足用戶的需求為主要出發(fā)點,產生用戶的數(shù)據(jù),這些數(shù)據(jù)包括以個人基礎的數(shù)據(jù),也包括隨群體數(shù)據(jù),隨著App用戶量的增長,這些App數(shù)據(jù)就成了大數(shù)據(jù)。
面向個人的數(shù)據(jù)來源,直接通過用戶的需求產生數(shù)據(jù),而面向企業(yè)服務的——saas服務則不一樣,他們通過為企業(yè)提供一套完整的解決方案,而產生數(shù)據(jù),比如圖靈機器人,人臉識別技術,氣象plus、??低暤龋麄兺ㄟ^完美的解決方案服務企業(yè),最終服務用戶,從而產生大數(shù)據(jù),數(shù)據(jù)采集層,是大數(shù)據(jù)的來源,也是大數(shù)據(jù)的基礎。
云存儲對大數(shù)據(jù)的促進作用
有了數(shù)據(jù)采集層,那么下一步就是數(shù)據(jù)的存儲層了,使用云存儲技術將數(shù)據(jù)存儲在云主機上,保證數(shù)據(jù)的安全、穩(wěn)定、高效都需要云存儲技術來完成。云存儲主要負責數(shù)據(jù)的存儲以及計算,比如七牛的云存儲技術,云存儲技術是大數(shù)據(jù)發(fā)展跨不過去的一道坎,如果沒有云存儲技術,大數(shù)據(jù)就不能得到發(fā)展。
云存儲中面向企業(yè)存儲的數(shù)據(jù)最大
當前的云存儲分為公共云存儲和私有云存儲,公共云存儲主要是面向個人,比如百度網(wǎng)盤等,而私有云存儲主要是面向企業(yè),其實面向企業(yè)的云存儲的存儲的大數(shù)據(jù)最終來源還是來自個人,比如目前的很多saas服務,IM、統(tǒng)計等企業(yè)服務,服務主要是面向個人的App,而類似七牛云存儲這樣的云存儲則是出于更底層,基于云主機之上,而位于所有個人服務、企業(yè)服務之下,所以說,七牛云存儲應該積累了更多的大數(shù)據(jù),而通過即將月底舉辦的這次《數(shù)據(jù)重構未來》的大會,我想可以獲得更多的關于大數(shù)據(jù)的干貨。
云存儲滿足了海量大數(shù)據(jù)海量數(shù)據(jù)的存儲需求
隨著移動互聯(lián)網(wǎng)的快速發(fā)展,傳統(tǒng)的存儲方式已經在容量、性能、智能化等方面無法滿足需求。云存儲的出現(xiàn),比如類似和七牛一樣的云存儲技術,從功能上彌補了傳統(tǒng)存儲的不足,通過虛擬化大容量存儲、分布式存儲和自動化運維等功能,實現(xiàn)了存儲空間無限增加和擴容,自動化和智能化功能提高了存儲效率。另外,規(guī)模效應和彈性擴展,降低運營成本,避免資源浪費。
云存儲技術節(jié)省了開發(fā)者的成本
特別是當下移動互聯(lián)網(wǎng)的火爆,使得App行業(yè)出現(xiàn)了爆發(fā)式的增長,App的數(shù)量已經達到了300百萬以上,同時圖片App、視頻App、音頻App如camera360、優(yōu)酷視頻、荔枝FM等App都會在發(fā)展過程中產生大量的數(shù)據(jù),對于這些數(shù)據(jù)來說,如果讓企業(yè)自身去開發(fā)一款分布式的存儲系統(tǒng),這可能需要構建一個幾十人的開發(fā)團隊,成本也會大大增加,而通過使用類似七牛一樣的云存儲,可以節(jié)約企業(yè)成本,讓企業(yè)發(fā)展更加迅速。
云存儲技術為大數(shù)據(jù)的數(shù)據(jù)分析提供了基礎依據(jù)
作為大數(shù)據(jù)的存儲服務商,云存儲有著非常大的數(shù)據(jù)挖掘潛力,云存儲平臺為大數(shù)據(jù)的分析提供了“水”的來源,有了這些數(shù)據(jù),同時配置上一些數(shù)據(jù)分析工具,完全可以產生一些非常有價值的分析數(shù)據(jù)報告。
比如基于云存儲服務這個基礎,七牛可以在企業(yè)的需求下,為企業(yè)提供企數(shù)據(jù)分析,例如這款應用在哪些地區(qū)受訪問次數(shù)多、怎樣的用戶更喜歡這款應用等,但不會涉及分析用戶隱私相關的數(shù)據(jù)。當然了,還可以針對整個圖片行業(yè)、視頻行業(yè)、以及音頻行業(yè)提供受眾的用戶行為、以及特征這一系列的群體特征。
這些都是云存儲在存儲的數(shù)據(jù)體量達到大數(shù)據(jù)的特征后,能做的一系列的分析依據(jù)。所以說云存儲是大數(shù)據(jù)發(fā)展中的最重要的一個環(huán)節(jié)。
大數(shù)據(jù)未來的行業(yè)應用
說了大數(shù)據(jù)的采集層,數(shù)據(jù)存儲層,那么最后講下大數(shù)據(jù)的應用層,既然有了大數(shù)據(jù),那么以大數(shù)據(jù)為基礎,就會產生以移動金融,移動社交,o2o,在線教育等多方面的應用。
移動金融
隨著移動互聯(lián)網(wǎng)金融的發(fā)展,金融交易與支付已經從桌面電腦延伸到移動智能終端,企業(yè)自身只能從內部洞察經營情況,或從市場中獲得不全面的統(tǒng)計信息,作為決策參考。比如銀聯(lián)智惠可以幫助企業(yè)能夠從外部了解市場,洞察對手的位置,了解市場趨勢和自身的地位,通過利用自身優(yōu)勢通過全行業(yè)的交易記錄得到高質量的基礎數(shù)據(jù),并替企業(yè)完成了大量繁瑣的數(shù)據(jù)采集、清理工作,整合到企業(yè)的基礎經營分析數(shù)據(jù)庫中,讓企業(yè)事半功倍。
當基礎數(shù)據(jù)進入企業(yè)數(shù)據(jù)庫后,通過銀聯(lián)智惠的用戶畫像模擬器進行目標客戶消費行為建模,將歷史交易行為分得出目標客戶的交易共性特征,從而完整的從消費性別、消費年齡、消費習慣、消費頻率、消費區(qū)域、消費偏好等多重維度完整描述客戶群的輪廓,并得出客戶的上下游關聯(lián)交易行為特征,讓企業(yè)真正認知客戶群體的全貌,從而進行有效的商業(yè)決策。
移動社交
隨著脈脈,戀愛記等社交應用的用戶越來越多,用戶的社交行為將會成為大數(shù)據(jù)的分析基礎,通過分析用戶的社交時間、對象、地點以及行為,可以分析出用戶的愛好、年齡、需求,同時基于用戶的大數(shù)據(jù),可以針對這些數(shù)據(jù)做定向營銷,從而大大提升了營銷的效果,而相比之前的營銷手段,則是基本根據(jù)人員的策劃和想象得出,沒有數(shù)據(jù)參考,營銷的效果也不好把控。比如脈脈可以通過一些用戶數(shù)據(jù)為企業(yè)招聘到合適的人,同時還能為一些用戶提供一些合適的職位,完成需求和供求的高精度的匹配。
而戀愛記,是一款記錄戀愛為主的社交App,更加垂直,那么通過分析情侶之間的數(shù)據(jù),可以獲得更多的情感數(shù)據(jù),從而為一些適齡男女提供戀愛的指導。這些都是基于大數(shù)據(jù)的應用。
O2O類的應用
移動互聯(lián)網(wǎng)的深入發(fā)展,促進了o2o的繁榮,以嗒嗒巴士為代表的定制公交車應用,就是大數(shù)據(jù)的代表應用。
傳統(tǒng)的公交出行在公交站、公交路線的設定上,相對來說比較固定,通過分析一個城市內的群體出行數(shù)據(jù),可以獲得人群隨著時間的出行規(guī)則,比如知道在早上8點為出行高峰,而從某個小區(qū)到某個寫字樓的人流數(shù)為最大,那么我就定制一條公交線路出來,對于用戶來說,滿足了用戶的需求,而對于公交公司來說,則是優(yōu)化了交通路線,節(jié)約了資源,間接提升了成本,這些都是大數(shù)據(jù)的好處。
……
還有更多的領域可以用到大數(shù)據(jù),如大數(shù)據(jù)醫(yī)療,大數(shù)據(jù)營銷,可穿戴設備等等。通過大數(shù)據(jù)可以創(chuàng)造出更多價值,正如一篇文章說到,通過大數(shù)據(jù)讓做事的方法更加容易,讓現(xiàn)實從三維空間變成了二維碼空間,就像宇宙的蟲洞一樣,可以直接達到目標。意思是在過去沒有大數(shù)據(jù)做參考,我們需要試驗多次,才能知道那條路是對的,但是現(xiàn)在有了大數(shù)據(jù)做數(shù)據(jù)參考,我們可以直接到達終點。所以說大數(shù)據(jù)使得事情的發(fā)展變得更加簡單。
當然,這些都是關于大數(shù)據(jù)的一些想象和預測,但是在現(xiàn)實中,真正的大數(shù)據(jù)是什么樣子呢?他們做到了哪些事情?我想還要去聽一聽8月29日七牛主辦的《數(shù)據(jù)重構未來》大會,看看會議上嘉賓的數(shù)據(jù)分享報告里,預測的那些商業(yè)價值和機會。
作者:移動互聯(lián)網(wǎng)李建華,微信:ydhlwdyq,移動互聯(lián)網(wǎng)行業(yè)推廣人士,轉載本篇文章,請注明作者和微信,否則將追究你的法律權利。
1.砍柴網(wǎng)遵循行業(yè)規(guī)范,任何轉載的稿件都會明確標注作者和來源;2.砍柴網(wǎng)的原創(chuàng)文章,請轉載時務必注明文章作者和"來源:砍柴網(wǎng)",不尊重原創(chuàng)的行為砍柴網(wǎng)或將追究責任;3.作者投稿可能會經砍柴網(wǎng)編輯修改或補充。