- 2023年我國國民經(jīng)濟(jì)回升向好,國內(nèi)生產(chǎn)總值同比增長5.2%
- 數(shù)字內(nèi)容制作行業(yè)利潤水平變動趨勢及技術(shù)特點分析(附報告目錄)
- 廢棄電器電子產(chǎn)品回收處理行業(yè)發(fā)展概況與競爭格局(附報告目錄)
- 拉鏈行業(yè)發(fā)展現(xiàn)狀及所面臨的三大挑戰(zhàn)
- 太陽能利用行業(yè)發(fā)展有利驅(qū)動因素及不利因素(附報告目錄)
- 大數(shù)據(jù)行業(yè)概況與發(fā)展特征(附報告目錄)
- 抗生素醫(yī)藥中間體行業(yè)產(chǎn)業(yè)鏈與主要進(jìn)入壁壘分析(附報告目錄)
- 金屬物流行業(yè)新進(jìn)入者障礙與行業(yè)發(fā)展挑戰(zhàn)
大數(shù)據(jù)行業(yè)概況與發(fā)展特征(附報告目錄)
1、行業(yè)概況
(1)大數(shù)據(jù)的定義
大數(shù)據(jù)是一個伴隨社會信息化而誕生,以海量數(shù)據(jù)積累為基礎(chǔ),囊括無數(shù)條“數(shù)據(jù)產(chǎn)生-數(shù)據(jù)處理-信息提取-數(shù)據(jù)消費-新數(shù)據(jù)生產(chǎn)”的環(huán)狀鏈,以降低信息不對稱、提高決策有效性、推進(jìn)智慧和知識演進(jìn)為目標(biāo),可廣泛作用于幾乎所有實體的跨界生態(tài)系統(tǒng)和發(fā)展趨勢。
相關(guān)報告:北京普華有策信息咨詢有限公司《2020-2025年全球及中國大數(shù)據(jù)全景調(diào)查與投資機(jī)會前瞻報告》
(2)大數(shù)據(jù)的關(guān)鍵特征
從上述對大數(shù)據(jù)的定義,提取出大數(shù)據(jù)的四個關(guān)鍵特征,分別是:海量化(Vo l ume)、多樣化(Variety)、快速化(Velocity)和價值化(Value)。
1)海量化
大數(shù)據(jù)首先是數(shù)據(jù)量大。全球數(shù)據(jù)量正以前所未有的速度增長,遍布世界各個角落的傳感器、移動設(shè)備、在線交易和社交網(wǎng)絡(luò)每天都要生成上百萬兆字節(jié)的數(shù)據(jù),數(shù)據(jù)容量增長的速度大大超過了硬件技術(shù)的發(fā)展速度,以至于引發(fā)了數(shù)據(jù)存儲和處理的危機(jī)。
2)多樣化
大數(shù)據(jù)的數(shù)據(jù)類型非常多。海量數(shù)據(jù)的危機(jī)并不單純是數(shù)據(jù)量的爆炸性增長,它還牽涉到數(shù)據(jù)類型的不斷增加。原來的數(shù)據(jù)都可以用二維表結(jié)構(gòu)存儲在數(shù)據(jù)庫中,如常用的 Excel 軟件所處理的數(shù)據(jù),稱之為結(jié)構(gòu)化數(shù)據(jù)。但是現(xiàn)在更多互聯(lián)網(wǎng)多媒體應(yīng)用的出現(xiàn),使諸如圖片、聲音和視頻等非結(jié)構(gòu)化數(shù)據(jù)占到了很大比重。統(tǒng)計顯示,結(jié)構(gòu)化數(shù)據(jù)增長率大概是 32%,而非結(jié)構(gòu)化數(shù)據(jù)增長則是 63%,目前全世界非結(jié)構(gòu)化數(shù)據(jù)已占數(shù)據(jù)總量的 80%以上。隨著非結(jié)構(gòu)化數(shù)據(jù)的比重越來越大,并顯示出其中蘊(yùn)含著不可小覷的商業(yè)價值和經(jīng)濟(jì)社會價值,對傳統(tǒng)的數(shù)據(jù)分析處理算法和軟件提出了挑戰(zhàn)。
3)快速化
隨著經(jīng)濟(jì)全球化趨勢形成,生產(chǎn)要素成本不斷上升,企業(yè)面臨的競爭環(huán)境越來越嚴(yán)酷。在此情況下,能夠及時把握市場動態(tài),迅速對產(chǎn)業(yè)、市場、經(jīng)濟(jì)、消費者需求等各方面情況做出深入洞察,并能快速制定出合理準(zhǔn)確的生產(chǎn)、運營、營銷策略,就成為企業(yè)提高競爭力的關(guān)鍵。而對大數(shù)據(jù)的快速處理分析,將為企業(yè)實時洞察市場變化、迅速做出響應(yīng)、把握市場先機(jī)提供決策支持。
4)價值化
價值是大數(shù)據(jù)的終極意義所在。隨著社會信息化程度的不斷提高、數(shù)據(jù)存儲量的不斷增加、數(shù)據(jù)來源和數(shù)據(jù)類型的不斷多樣化,對于企業(yè)而言,數(shù)據(jù)正成為企業(yè)的新型資產(chǎn),形成競爭力的重要基礎(chǔ)。與曾經(jīng)廣為提倡的“品牌價值化”一樣,“數(shù)據(jù)價值化”已經(jīng)成為企業(yè)提高競爭力的下一個關(guān)鍵點。
(3)大數(shù)據(jù)相關(guān)技術(shù)
數(shù)據(jù)采集:ETL 工具負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進(jìn)行清洗、轉(zhuǎn)換、集成,最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中,成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。
數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫、NOSQL、SQL 等。
基礎(chǔ)架構(gòu):云存儲、分布式文件存儲等。
數(shù)據(jù)處理:自然語言處理
統(tǒng)計分析:假設(shè)檢驗、顯著性檢驗、差異分析、相關(guān)分析、T 檢驗、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預(yù)測與殘差分析、嶺回歸、logistic 回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應(yīng)分析、多元對應(yīng)分析(最優(yōu)尺度分析)、bootstrap 技術(shù)等等。
數(shù)據(jù)挖掘:分類 (Classification)、估計(Estimation)、預(yù)測(Prediction)、相關(guān)性分組或關(guān)聯(lián)規(guī)則(Affinity grouping or association rules)、聚類(Clustering)、描述和可視化、Description and Visualization)、復(fù)雜數(shù)據(jù)類型挖掘(Text, Web ,圖形圖像,視頻,音頻等)
模型預(yù)測:預(yù)測模型、機(jī)器學(xué)習(xí)、建模仿真。結(jié)果呈現(xiàn):可視化、BI 等。
(4)大數(shù)據(jù)技術(shù)的價值
擁有海量數(shù)據(jù)本身并不能創(chuàng)造出多大價值,需要采取技術(shù)手段進(jìn)行處理分析才能獲取其智能的,深入的有價值的信息。大數(shù)據(jù)技術(shù)就是從各種各樣類型的巨量數(shù)據(jù)中,快速獲得有價值信息的技術(shù)。解決大數(shù)據(jù)問題的核心是大數(shù)據(jù)技術(shù)。目前所說的”大數(shù)據(jù)”不僅指數(shù)據(jù)本身的規(guī)模,也包括采集數(shù)據(jù)的工具、平臺和數(shù)據(jù)分析系統(tǒng)。大數(shù)據(jù)研發(fā)目的是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域,通過解決巨量數(shù)據(jù)處理問題促進(jìn)其突破性發(fā)展。因此,大數(shù)據(jù)時代帶來的挑戰(zhàn)不僅體現(xiàn)在如何處理巨量數(shù)據(jù)從中獲取有價值的信息,也體現(xiàn)在如何加強(qiáng)大數(shù)據(jù)技術(shù)研發(fā),搶占時代發(fā)展的前沿。
2、行業(yè)周期性、季節(jié)性與區(qū)域性特點
大數(shù)據(jù)行業(yè)作為一個成長性行業(yè),在發(fā)展過程中面臨著多個良好發(fā)展機(jī)遇,如互聯(lián)網(wǎng)金融對金融行業(yè)的滲透引發(fā)金融機(jī)構(gòu)新一輪的市場競爭。隨著金融機(jī)構(gòu)使用數(shù)據(jù)挖掘來支撐精細(xì)化管理和精細(xì)化營銷的理念深入,大數(shù)據(jù)需求將呈現(xiàn)出高速發(fā)展的態(tài)勢。
總體上,大數(shù)據(jù)行業(yè)的發(fā)展主要與下游多個產(chǎn)業(yè)的 IT 投資規(guī)模保持相關(guān),并不存在明顯的行業(yè)周期性。
不同地區(qū)的信息化程度和對數(shù)據(jù)分析、數(shù)據(jù)挖掘的接受程度決定了該地區(qū)的大數(shù)據(jù)的市場需求,由于當(dāng)前國家各級政府的高度關(guān)注和大力支持,各個地區(qū)各個行業(yè)對于大數(shù)據(jù)的關(guān)注度普遍較高,因此大數(shù)據(jù)行業(yè)不存在明顯的區(qū)域性。但由于開展大數(shù)據(jù)業(yè)務(wù)對于行業(yè)客戶本身的信息化基礎(chǔ)要求較高。因此發(fā)達(dá)地區(qū)還是一定程度上優(yōu)于信息化基礎(chǔ)薄弱的區(qū)域。
電力、金融、能源等行業(yè)內(nèi)的大中型企業(yè)往往在年末相對集中支付合同款項,大數(shù)據(jù)領(lǐng)域內(nèi)企業(yè)的現(xiàn)金流量呈現(xiàn)出一定的季節(jié)性。然而,電力、金融、能源等領(lǐng)域內(nèi)客戶的大數(shù)據(jù)系統(tǒng)需要持續(xù)的運營和升級,相應(yīng)的大數(shù)據(jù)業(yè)務(wù)本身并不存在季節(jié)性特征。