發布時間：2023-06-29 16:31:33
序言：寫作是分享個人見解和探索未知領域的橋梁，我們為您精選了8篇的大數據開發的過程樣本，期待這些樣本能夠為您提供豐富的參考和啟發，請盡情閱讀。
關鍵詞：大數據；信息資源管理；網絡信息資源
DOIDOI：10.11907/rjdk.161946
中圖分類號：TP319
文獻標識碼：A文章編號文章編號：16727800（2016）009013202
作者簡介作者簡介：楊洋（1995-），女，湖北武漢人，華中師范大學信息管理學院學生，研究方向為信息管理與信息系統。
0引言
隨著互聯網時代的來臨，越來越多的數據都來源于網絡，網絡數據呈爆炸式增長，如何對這些網絡信息資源進行有效的采集、組織、分析和利用成為急需解決的問題。運用先進的技術和管理經驗來對網絡信息資源進行開發是大數據時代急待解決的問題。
1大數據概述
2011年，位于美國的全球知名咨詢公司麥肯錫最早提出了“大數據時代”概念，隨即在全球掀起了軒然大波，似乎所有學科都被冠以大數據的頭銜。隨著網絡時代的發展，數據以驚人的速度增長――每秒鐘有60張照片上傳到網絡；每分鐘有60個小時的視頻上傳到YouTube；每天，全球互聯網中產生的數據可以刻滿1.68億張DVD，發出的論壇帖子達到200萬個，相當于美國《時代》雜志770年的文字量。
到目前為止，大數據還沒有一個完全準確且被公認的定義。麥肯錫全球研究所給出的定義是：大數據是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合。現在被廣泛認可的是大數據的4V特征：海量的數據規模（Volume）、快速的數據流轉（Velocity）、多樣的數據類型（Variety）、價值密度低（Value）。
隨著科技時代的發展，大數據的處理要求與日俱增，特別是面對海量的網絡信息資源，亟需大數據技術的特殊處理，才能夠得到充分的組織利用，才會為社會創造更大的價值。
2大數據時代網絡信息資源開發利用現狀
2.1網絡信息資源概念
廣義上講，信息資源是指一個貫穿于人類社會信息活動中從事生產、分配、交換、流通、消費全過程的多要素集合，包括信息勞動的對象、信息勞動設備、信息勞動技術、信息勞動者等[1]。而網絡信息資源作為知識經濟時代的產物，即虛擬的信息資源，是指借助于網絡環境可以利用的各種信息資源總和。網絡信息資源可以指以數字化形式記錄的、通過計算機網絡通信方式進行傳遞的信息內容集合，也可以是為滿足人類需求，借助計算機等設備開發、生產和傳遞的、通過網絡獲取的信息集合。
2.2大數據時代網絡信息資源開發利用機遇
過去，很多行業對網絡數據只是進行傳統挖掘，比如點擊率、網絡流量以及其它僅局限于網絡數據的指標。因為技術、人才的缺乏，導致很多詳細的網絡行為數據沒有被充分挖掘。但是現在，在基于大數據的有關技術以及在全行業大數據的浪潮中，來自于網頁瀏覽器、移動應用終端、自助服務終端、社交媒體等地方的網絡數據被挖掘整理為有價值的網絡信息資源，為科研、商業、教育等領域提供源源不斷的可用情報，從而促進各大行業蓬勃發展。在大數據時代，網絡信息資源中可挖掘的有用信息更加豐富。
早在大數據概念提出不久的2012年，美國就已經將大數據研究和發展計劃提升為國家發展戰略。美國作為一個科技與經濟強國，其對大數據的重視程度可見一斑。雖然我國互聯網起步較晚，但政府在實行大數據戰略時也給予了充分的經濟與政策支持。2016年中國大數據產業峰會暨中國電子商務創新發展峰會的主題便是大數據開啟智能時代，國務院總理出席開幕式并發表致辭。信息處理技術作為四項關鍵技術創新工程之一，涵蓋了海量數據存儲、圖像視頻智能分析、數據挖掘等信息處理技術，是大數據技術的重要組成部分。
2.3大數據時代網絡信息資源開發利用的挑戰
大數據時代，網絡信息資源開發利用有著良好的發展條件，機遇和挑戰并存。首先，我國現階段在數據挖掘、數據倉庫、搜索引擎、元數據等技術上與科技發達國家還存在著差距[2]，如何使用先進的大數據技術來處理龐大的網絡數據，增強信息的采集、組織、分析和運用能力成為亟待解決的難題；其次，如何有效管理龐雜的信息資源也是急需解決的問題[3]。在互聯網時代甚至是移動互聯網時代，網民產生的海量數據雜亂無序，需要合理管理才能組織利用好這些數據，為生產生活創造價值。
大數據時代，網絡信息資源利用發展迅速，但人們的從眾心理會導致盲目投資，很多人往往在沒有徹底弄清大數據的發展形勢前就跟風操作，這會加重網絡信息資源管理的負擔，不良的大數據產業還會帶來行業風險，信息的真實性和可靠性得不到保障。
3大數據時代網絡信息資源開發利用策略
3.1提升大數據技術水平
我國的大數據技術水平與美國等科技發達國家還存在差異，要利用好網絡信息資源，進行有效合理的開發，就一定要掌握核心技術。
大數據核心技術有：①Hadoop，是一個能對大量數據進行分布式處理的軟件框架，Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的；②Storm是自由的開源軟件，一個分布式的、容錯的實時計算系統。Storm可以非常可靠地處理龐大的數據流，用于處理Hadoop的批量數據；③RapidMiner是世界領先的數據挖掘解決方案，其數據挖掘任務涉及范圍廣泛，包括各種數據技術，能簡化數據挖掘過程的設計和評價。
3.2加強網絡信息資源的引導和管理
大數據時代的社會輿論環境非常復雜，互聯網時代，每個網民都是大數據的生產者和接受者[4]。首先，有關部門要疏通網絡輿論環境渠道，善于利用大數據技術分析解剖輿情問題，提取采集有價值的網絡信息，整理網民關注的焦點和熱點問題；其次，對于網絡信息資源反映的問題提出有效的解決方案，甚至可以預測問題、提出預警。對于網絡行為進行數據挖掘，從而得到經濟、政治、社會層面有價值的信息資源。比如在淘寶網上，通過用戶的購買數據和瀏覽數據得出用戶偏好，在后臺處理這類信息，形成商品推薦呈現給用戶，以此增加用戶購買行為概率，提高潛在經濟效益。
大數據時代應以先進的管理方式來進行網絡信息資源的開發利用。基于大數據的4V特征，一般的管理方式是難以駕馭大數據的，所以新型的先進管理經驗應運而生。要利用數據挖掘和數據倉庫技術對大數據進行管理。數據挖掘一般是指從大量的數據中自動搜索隱藏于其中的有著特殊關系的信息過程。數據倉庫，是為企業所有級別的決策制定過程，提供所有類型數據支持的戰略集合。它是單個數據存儲，出于分析性報告和決策支持目的而創建。這都需要專業的管理人員進行操作與管理，對大數據時代下的網絡信息資源管理提出了更高的要求。
3.3制訂相應的政策推動網絡信息資源開發利用
在大數據時代，網絡信息資源的開發利用可以深入到上至國家下到個人的各個層面，數據的真實可靠性、個人的隱私也都會受到影響。國家不僅要在促進大數據發展上制定相應的政策，還應該加強宏觀調控，制定政策和法規，用相應的法律來進行約束管理。
我國相關機構要建立符合實際的技術、人才、財政等政策保障體系[5]，為大數據產業發展營造良好環境，生產并提供適合受眾的網絡信息資源與服務。在經濟政治條件允許下，可以建立大數據創業園區，集聚大數據開發運營企業，對相關企業提供便利條件或相關支持，從而促進網絡信息資源的開發利用。
4結語
大數據時代的歷史潮流勢不可擋，大數據與互聯網相輔相成，共同發展。大數據時代的網絡信息資源開發利用成為連接兩者的橋梁。隨著科技發達國家對大數據的重視，國家之間的實力對比也逐漸成為信息力量的權衡，網絡信息資源在國家領域和日常生活中越來越占據主導地位。我國應緊跟大數據時代的發展潮流，加緊對網絡信息資源進行有效地開發和利用，以提升綜合國力和核心競爭力。
參考文獻參考文獻：
[1]張欣.大數據時代的網絡信息內容建設管理[J].新技術，2015（5）：119.
[2]嚴頌.大數據時代的網絡信息內容建設管理[J].成都行政學院學報，2014（1）：1922.
[3]劉倩倩.大數據時代網絡信息資源的開發與利用[J].企業技術開發，2015（5）：8384.
隨著經濟全球化以及信息化的發展，計算技術已經走入了人們的生活，并且逐漸成為人們生活中不可缺少的一部分，可以說，計算機技術在各個領域行業中都有著巨大的發展空間，尤其是在各種信息不斷的大數據時代計算機技術更體現出了它的優勢，因此完善計算機軟件技術對各個領域行業有極大作用，同時也是提高企業運營速度、加強經濟收益的最根本保障，本文就對計算機軟件技術在大數據時代的應用問題進行具體的分析。
【關鍵詞】計算機技術 軟件技術 大數據時代 應用分析
1 引言
21世紀是科技的時代，計算機應用技術改變了工作的傳統模式，在市場競爭如此激烈的今天，企業要想在市場中取得發展就需要從計算機軟件技術方面入手，在節約人力物力的同時實現工作的整體效率，讓企業的運營模式更加的專業化、科學化。隨著云時代的到來大數據也逐漸被人們所關注，大數據時代給計算機信息處理技術帶來了好消息，可以說，大數據是繼IT行業在云計算與物聯網之后的又一次技術變革，對人們的生活、工作以及學習的影響很大，在企業的運營過程中數據是最為核心的資產，在大數據時代所有的企業都將面臨著來自多方面的挑戰，但這同時也是一種機遇與資源。就目前形勢來看，大數據時代的到來給了計算機處理技術帶來了機會，也對提高社會經濟效益有很大作用，本文就對計算機軟件技術在大數據時代的應用進行具體的分析與研究。
2 計算機軟件技術在大數據時代的應用
大數據時代最主要的應用核心就是在大量的數據中找到規律，從而找出與用戶的需求相一致的特點來進行設計、生產以及服務，大數據時代的計算機信息處理關鍵技術主要包括三個部分：
（1）虛擬化技術。該技術是根據虛擬的資源來進行管理，同時也能對這些大數據資源進行優化配置，在提高信息處理效率的同時也能提高靈活程度。
（2）云存儲技術。云存儲是由多個存儲單元組成的，它是一種由多種功能聯合在一起的協同工作，大數據時代下出現的云存儲技術為更好的解決海量信息提供了方便，同時完成對大量信息數據的計算也是在大數據時代下數據處理必不可少的環節。
（3）信息安全技術。在大數據時代之下，各種數據信息是有一定關聯的，這種關系之間的影響對數據的安全有一定的威脅，需要調整整個的數據管理系統，從而提高數據集群的安全水平。在未來的發展中，如果想要保證大數據信息的安全性就需要不斷的推進信息安全技術的發展。雖然大數據在我國的應用時間很短但是效果卻是很大的，大數據已經成為了一種發展趨勢并得到了人們的廣泛應用與支持，在未來的發展過程中，我國的計算機軟件技術方面還會遇到更多的挑戰，因此就需要各行業根據自身的問題制定出最符合自我發展的方案，讓數據處理技術能夠得到改革與完善，計算機技術應用于大數據時代下讓數據有更高的真實性、有效性。
在計算機軟件技術發展的過程中應該主要從三個方面入手：
（1）信息通信方面。通過利用IBM SPSS預測分析軟件就可以從很大程度上降低客源的流失，還可以從中找到行業運營過程中的問題，從而提供更快捷、更方便的發展平臺。例如通訊行業的發展就需要一些通信運營商通過計算機軟件技術來對客戶的相關資料進行整理，在這些信息中分析出目前的發展趨勢，然后將這些資料交給企業促進其經濟效益的提升。
（2）企業信息解決問題。利用企業運營管理軟件能夠有效的解決客戶資料獲取、風險分析以及雇員流動等問題，根據大數據時代的特征能夠為企業提供更好、更新的方法，在數據開發的過程中主要分成五個部分：1.抽樣。所謂抽樣就是在產品生產的過程中選取比較有代表性的作為樣本，樣本容量的選擇可以進行定位，但必須具有一定的代表性這樣更加方便于分析與操作。2.開發。通過開發、探索的方式來對數據進行分析能夠加深人們對數據的進一步認識，在開發過程中可能會涉及到對數據的導入、合并、選擇等步驟。3.修改。人們可以通過創建與選擇來對數據集進行修改，在修改的時候可能會涉及到變量的轉換、產品的編碼等等，然后再根據對應的數據進行分箱操作。4.模型。利用模型是為了讓預測的結果更加準確、可靠，同時這一步驟在企業解決方案的制訂中占有重要地位，也可以推動經濟效益的提升。5.評定。評定技術是先與模型進行對比然后由人員進行仔細的分析，在數據挖掘的過程中相關技術人員應該開發出新的方式，對數據進行分析與整合才能確保信息的準確性。在可視化的工具中用戶可以將數據找出來并以圖形的方式進行表示，人員就可以對數據動態有更加深刻直觀的了解，此外，SAS/EM還有一些特殊的工具，其中包括可以進行流程圖的評分操作的工具以及用于考察執行結果的工具等等。
3 結束語
綜上所述，計算技術在我國的發展迅速，我國在數據采集、分析以及存儲方面已經取得了很大的成效，隨著這些技術的不斷推進，使得我國相關部門與企業的整體效率得到明顯提高，企業的生產模式基本實現了自動化的運行方式，這是大數據時代帶來的優點，大數據的改革與創新讓計算機處理大量信息變為可能，這樣一來不僅信息處理的效率提高了，同時也能降低一定的成本，目前已經有越多越多的專業人員投入到了計算機軟件技術開發的工作中來，相信在眾多專業人員的共同努力之下，未來我國計算機軟件技術將會得到更大的發展，買上新的歷史階段。
參考文獻
[1]吳子紅.計算機軟件技術在大數據時代的應用[J].中小企業管理與科技，2014（09）.
[2]崔寧.計算機軟件技術在大型結構實驗及現場檢測數據處理中的應用[J].產業與科技論壇，2013（21）.
[3]劉濤.計算機整編軟件技術在地下水監測資料整編中應用[J].地下水，2013（05）.
[4]劉孔瑜.淺析計算機軟件技術的發展與應用[J].企業導報，2016（08）.
作者簡介
向羽，男，湖北省潛江市人。現供職于湖北大學知行學院。研究方向為計算機軟件工程。
傳統的軟件工程方法以數理邏輯為中心，采用系統化的、規范化的、可定量的過程化方法去開發、測試、維護軟件。在大數據時代，數據與軟件密不可分，數據是計算的處理對象，軟件虛擬化，具有松耦合、分布廣、動態變化等特點，要求能夠處理海量數據。傳統軟件工程方法已經不能適應大數據時代的需要，軟件工程教學應當針對大數據處理的需求，研究支持數據處理的軟件技術，研究面向大數據的軟件工程教育教學方法。此外，我校在課程內容建設、學生實踐實訓、創新培養、教材建設等方面與青島軟件園駐園軟件企業進行了充分溝通與融合，應對大數據環境帶來的機遇，使學生在學校中就可以通過校企平臺解決學生專業實訓、企業實習等問題、了解軟件企業部門的職能分工及聯系、掌握軟件企業的主流開發技術和產業技術應用前沿。
2大數據驅動下的教學模式探索
大數據在為軟件行業的發展帶來機遇的同時，也帶來了挑戰。從軟件工程教學的視角，我們分析大數據時代對于軟件工程教學的影響，提出運用大數據服務軟件工程教育、提升學生素質。
（1）理論與實踐并重。
軟件工程是一門兼顧理論與實踐的課程，為了實現培養應用型人才的目標，在實際教學活動中，往往圍繞著能力培養開展教學，重視培養學生的工程實踐能力，卻忽視以知識為中心的教學模式。我們并非提倡以講授軟件開發過程中的理論知識為中心，而是要求不但注重學生實踐能力的培養，還要重視強化學生的理論基礎。重視軟件工程前導課程知識的銜接，例如數據結構、算法設計與分析，還要將軟件行業發展的最新研究成果和熱點內容，例如大數據下的軟件工程思維，及時地安排到課程教學中。通過將工程實踐的新技術與新方法融入到軟件工程的理論教學中，促使學生在掌握扎實的基礎理論知識的同時，引導學生自我構建與現代軟件工程發展相適應的知識框架。
（2）協同開發。
當前軟件工程面臨的主要挑戰是合理分工，如何明確軟件企業內部的職能分工、各技術崗位的職能范圍、權責和工作內容。大數據環境下，軟件工程方法由邏輯驅動轉變為由數據驅動。由于主要面向分布型應用和程序，軟件開發從封閉走向開放，開發人員通過分享和交互進行開發。在此過程中，應重視協同開發。采用團隊協同模式開發軟件項目過程中，根據學生的知識和能力進行組隊，不僅要明確團隊成員的職能范圍和工作內容，還要明確需求分析、系統設計、代碼編寫、系統測試人員之間的權責。此外，在參與大型軟件的開發實訓中，還有細分相同角色人員的具體分工。在協同開發教學過程中，我們要避免學生自由組隊造成的“馬太效應”。根據教學實訓發現，學生自由組隊，容易造成強強聯合。編程能力強的學生組隊，能夠較好的完成實訓項目，但是弱弱組隊卻無法順利的完成實訓任務。為了在協同開發中，培養學生的溝通表達能力、團隊合作能力，我們在教師的引導下，引進團隊制約機制。每個開發團隊通過強弱聯合組隊，每個團隊既是軟件開發者，同時也是軟件需求者。作為軟件開發者時，需要和軟件需求方討論需求分析、系統設計；作為軟件需求者時，需要提出自己的軟件應用要求。開發者和需求者的雙重身份，保證團隊之間只有經過充分的溝通，才能完成軟件的開發。團隊制約機制使得學生在較短的時間內，能夠扮演多種開發角色，熟悉軟件企業的業務流程。
（3）合作創新。
大數據時代，面向服務的軟件工程、群體軟件工程得到了廣泛的應用和發展。在開放環境下，面向分布式應用和分布式的開發模式，需要充分利用網絡進行任務分配、創新解決方案。作為實踐性較強的學科，在實踐中研究以數據為驅動的軟件設計模式，有利于增強學生的創新意識。學校重視在軟件工程的實訓中培養學生的創新能力，積極鼓勵學生利用學校軟硬件平臺，申請學校科技創新課題，或者參加教師的軟件設計相關的科研項目。依托校企合建的軟件工程創新實驗室，通過完成“基于計算機視覺的胡蘿卜智能分級系統”、“基于MVC的上機考試與在線練習系統”等科技創新課題，激發學生的合作溝通技巧，提高學生軟件工程的創新能力。通過參與教師的“基于計算機視覺的花生品質品種自動檢測系統”、“茶樹病蟲害遠程專家系統”等應用項目開發，在實際的項目研發中促進學生解決問題能力、創新能力的提高。通過分析當前的校企合作辦學模式存在的問題，以及大數據時代的產業需求，學校與軟件企業在教材建設、教師培訓、實訓平臺、企業服務等方面建立合作關系，充分利用企業的技術優勢，以培養應用型人才為共同目標的基礎上，實現學校、企業各自創新活動。出版了《設計模式（Java版）》等應用型教材，從理論、應用和實例三方面出發，幫助學生了解軟件工程的最新模式，提高學生的實際動手能力和創新能力。在軟件企業實訓基地，通過定制的實訓解決方案和軟件企業提供的實訓服務，學生在企業技術人員的指導下，重新開發“海爾OEC日志管理系統”等大型軟件。不但鍛煉了學生的團隊合作精神、增強了自身的創新意識，而且在工程實訓中個人能力和素質也得到鍛煉和提升。
3結論
在這一點上，騰訊對大數據的認識是正確的，“在建立大數據系統的時候，我們從來沒有想過在做一個大數據項目，我們都是在解決實際的問題。”騰訊云總裁陳磊如是說。
從解決實際問題出發，不論是需要作出重大決策還是改變小小的設計，騰訊在利用大數據的時候有其自身的優勢，那就是騰訊擁有海量的數據。業界有一種聲音是忽略大數據的“大”，關注數據本身的價值，而在騰訊這里，“大”甚至無法回避。比如，根據騰訊云分析《2014年第二季度移動行業數據報告》的數據，接入騰訊云分析的APP覆蓋設備超過15億。
如果單個數字不足以說明什么，那么還有以下這幾個數字：
即時通信QQ活躍帳戶數達到8.29億；QQ智能終端月活躍帳戶數5.21億；即時通信QQ最高同時在線帳戶數達到2.06億；“微信和WeChat”合并月活躍帳戶數達到4.38億；“QQ空間”月活躍帳戶數達到6.45億；QQ空間智能終端月活躍帳戶數4.97億；
(數據來源于網絡)
探尋大數據先行者的足跡，騰訊是國內最具代表性的企業之一，而其對“大數據、小場景”的認知，更是在大數據的實際應用中走到了前列。
從一個小小的按鈕說起
很多人無法將大數據概念和具體實踐聯系起來，是由于對大數據這一概念的“仰望”，好像大數據是突然有一天憑空生出來的一樣。而事實上，“在大數據這個概念被包裝出來之前，互聯網公司就已經很認真地在使用相關的方法和技術，”陳磊表示，“這些方法和技術實際上是一直應用在我們日常工作當中的。”
陳磊講到騰訊在設計產品時的一個場景：“我們界面的設計都是在測試用戶行為的基礎之上進行的，我們很少憑空去想用戶會喜歡什么樣的設計。”比如在設計一個按鈕時，其擺放的位置、包含的文字，包括顏色、形狀這些都會做各種各樣的嘗試，而最后采用哪一個選擇，要看用戶在實際使用中對這個按鈕的點擊率。可以說，除了要在整體的風格上保持一致，很多設計都是以最終用戶的行為作為依據的。
互聯網是大數據最先改變的產業，這與互聯網企業的文化也有關系。陳磊表示，互聯網企業不認為通過自己的想法能夠很準確地把握用戶需求，而讓用戶去試的時候，用戶會用他的行為投票。“所以互聯網公司講究摸著石頭過河，最主要的原因是希望在不斷嘗試的過程當中，發現用戶真正的需求而更好地滿足它。”他說。
通過大數據的方法來準確地把握用戶需求，來指導一個按鈕的設計，騰訊就是這樣將大數據應用到這些小的場景中。實際上，騰訊對產品的每一個功能都會去做AB測試。
動態運營，將決策權交給用戶
騰訊的很多產品版本更新非常快，由于每次新版本下發都需要用戶去下載安裝才能更新。這需要對每個產品都進行用戶管理的研究：從用戶開始使用這個產品，到這個產品的使用達到一個高峰，再到最后一些用戶選擇棄用，騰訊將這些環節叫做拉新、留存和流失。陳磊表示：“我們會分析流失客戶的特征是什么。他在使用這個產品的時候，和在流失之前行為發生了哪些改變。通過用戶使用產品的數據做了這樣的分析之后，我們大致就能夠理解某一類用戶離開這個產品的主要原因，進而在產品上做一些改造，讓這類用戶對我們的產品更有黏性。這些都離不開數據和數據分析。”
產品在研發過程當中根據用戶的使用習慣不停的調節，這個過程叫作“動態運營”。所謂動態運營的理念，將每一件事情都看作是一個小小的實驗，或者將大項目分解為很多小的產品步驟，每一步都很小，這樣每一步走對了或走錯了，能夠快速得到反饋。
陳磊說，過去很多企業運營的方法是先制訂戰略，然后根據戰略去分解執行，半年之后總結執行情況。在今天，這種緩慢的應變機制是行不通的。
動態運營將產品更新的決策權交到用戶手中，這就是業務前線化(FOT)中后段決策讓位于分布式前端一線決策的例證。大數據為動態運營提供了有力支撐。
讓廣點通脫胎換骨
大數據對廣點通影響可謂脫胎換骨，關鍵的一件事情就是對數據的實時處理和采用。據陳磊介紹，過去廣點通只能將前一天的用戶點擊行為進行數據分析，在第二天來使用，顯然無法滿足廣告業務的要求。在大數據的支撐下，騰訊逐步將分析方法變成相隔一個小時，15分鐘，到最后做成只差幾秒，數據就能夠回流，并且能夠在下一次給用戶展示廣告的時候去使用。
據悉，廣點通不僅對數據的實時性要求非常高，對數據的準確性要求也一樣。例如，一些用戶填寫的數據未必是真實的，在數據的采集和流轉的過程中，對海量數據的保真提出了挑戰。騰訊在應對數據的海量、精準和實時的挑戰過程中研發了大量的產品。
為不同的用戶做精準推薦
騰訊與小米曾有過兩次合作，第一次是紅米手機，在90秒鐘訂出十萬部手機，第二次是紅米Note開售，在第一秒的時間有41.9萬次點擊。從最后的結果上看，這兩次活動做得非常成功，其背后除了小米營銷策略的功勞之外，騰訊利用大數據找到對紅米手機有潛在需求的用戶并精準推薦也是原因之一。
另外一個案例是騰訊通過大數據的手段去運營《穿越火線》這款游戲。在這個游戲的熱度開始下滑的時候，騰訊利用大數據做了大量的留存活動，這些活動是針對玩家喜歡這個游戲的原因去做的。陳磊介紹說：“比如一些玩家是因為有幾個比較好的朋友經常組隊去打游戲，那么我們通過好友邀請他，重溫一下過去打游戲的好時光，讓他再回來使用這個游戲；有一些用戶把某一類武器玩得非常好，但是這個武器已經打到極致了，這時候我們就會創造新的武器。通過這樣的方式來讓用戶持續玩這個游戲，要對這個用戶的特點有很清楚的認知。”
精準推薦的前提是用戶畫像，在游戲領域的應用著實超出想象。據悉，騰訊微博建立SocialData體系挖掘社交大數據為用戶畫像。
騰訊的大數據服務
大數據的實現需要IT基礎設施和工具的支撐，這里涉及很多技術方面的問題，騰訊很多的系統都是自主研發，比如數據采集的系統和任務調度的系統。至于其中的技術，并不是我們這次要探尋的重點，但這里還是要介紹騰訊的三類大數據服務，它們是騰訊在自身利用大數據以及用大數據服務客戶過程中留下的堅實的足跡。
目前，騰訊通過騰訊云給客戶提供三類免費的大數據服務：
TOD Tencent Open Data
Tencent Open Data是基于騰訊的大規模計算集群，提供數據采集、自助加工、任務調度等能力的云端大數據解決方案。其優勢在于：不用采購任何物理設備，即開即用；不用擔心數據量膨脹的時候無法擴展；只需要開發業務邏輯，其他部署、運行、監控都交給TOD。
例如，你可以用TOD分析apache訪問日志，定義一個每天都執行的任務收集訪問日志的有用信息，然后定義一個每周運行的任務匯總加工訪問信息，最后定義一個數據導出任務將數據導出生成周報。TOD能夠處理真實數據加工中各種不確定性因素。只要你設定了運行規則，TOD就可以確保任務流按照設定的規則運行。
信鴿
信鴿，是一款移動APP推送平臺，支持億級的通知/消息，能在Android/iOS平臺進行各類高級自定義的推送操作，秒級觸達移動終端用戶。開發者可以方便地嵌入SDK，通過API調用可或視化操作界面，實現對特定用戶發送通知/消息，提升用戶活躍度，激活沉睡用戶，并實時查看推送效果。
信鴿可為應用用戶設置多種標簽，包括地理位置、應用版本號、活躍度，更可結合行為的記錄自定義為“在深圳喜愛川菜的女白領”，“超過7天未登錄游戲的大學生”、“有高消費潛力的土豪”等。根據業務、用戶行為等圈定不同用戶群體并將其賬號保存成號碼包文件，通過信鴿前臺上傳，做特定的運營推廣活動，達到精準觸達用戶的目的。
信鴿pro高級標簽，可基于騰訊大數據優勢，基于玩家的在線時長，使用頻率，付費、登錄行為，游戲關卡的失敗率、道具使用購買統計等因子，建立流失用戶預測模型與付費用戶預測模型。模型可精準預測潛在流失與付費用戶，預測覆蓋率超過85%，準確率超過91%。利用信鴿對潛在流失用戶群推送針對性的營銷活動，回流率比隨機推送提升120%。
MTA騰訊云分析
騰訊云分析是專業的移動應用數據運營平臺，支持iOS和Android。開發者可以方便地通過嵌入統計SDK，實現對移動應用的全面監測，實時掌握產品表現，準確洞察用戶行為。前面我們已經提到，2014年第二季度報告中，接入騰訊云分析的APP覆蓋設備超過15億。
騰訊云分析的功能及優勢包括：
(1)APP數據的收集：比如新增、活躍、留存、用戶畫像、渠道數據等等；(2)行為分析：用戶在使用APP的時候其實是一系列的過程，尤其像支付購買這樣的操作，到底是中間那個環節導致用戶流失，通過行為分析中的路徑分析、頁面來源就可以清楚的了解到，其次像用戶在頁面的停留時長、打開次數也會有統計；(3)自定義事件和漏斗模型：幫助用戶自主的去統計小到按鈕的點擊行為，完全可以自主控制，還可以將用戶行為串聯起來形成一條自主路徑，觀察用戶的行為；(4)錯誤管理：幫助開發者管理應用錯誤，找到錯誤根源，同時對于應用數據的突變支持通過微信服務號告警；(5)專門的游戲分析：針對游戲應用這個龐大的群體，云分析推出專門的游戲分析，可以細致的分析到玩家在關卡、對戰中的行為，充值、購買道具的行為。
騰訊云分析對開發者的作用主要有兩方面：一是開發者可以通過自己的數據波動找到產品優化的方向，比如一款游戲，如果發現某個關卡用戶流失嚴重，那是不是要優化關卡，或者推出游戲攻略、關卡獎勵等活動；二是開發者可以通過數據知道自己運營效果，比如一款應用，在相關媒體網站上發送文章，引來一部分用戶，引流的量是多少，是否和之前的的預期一樣，效果會持續多久，這樣就可以預估活動的頻率和范圍。
云分析其實還存在更大的潛力，就是對背后數據的挖掘，以信鴿pro為例，眾所周知大部分的挽救留存率的方法都是亡羊補牢，用戶已經開始流失了再去做活動，效果已經不明顯了，如果可以在用戶離開之前預測到他的行為，就可以極大提升留存，這里就涉及到用戶行為的預測，而云分析的數據能力就體現在這里，先收集用戶的行為數據，然后對用戶行為進行分析，最后預測用戶未來可能的動態，這樣的數據對開發者來說才是具有最大價值的數據。
[關鍵詞]網絡大數據；現狀；存儲；科技；展望
doi：10.3969/j.issn.1673 - 0194.2015.12.138
[中圖分類號]TP311.13 [文獻標識碼]A [文章編號]1673-0194（2015）12-0-03
近年來我科學技術高速發展，互聯網科技、云技術、IT通信技術等迅猛發展，給各行業領域帶來了重要影響。但與此同時數據的快速發展也成為行業領域應用科學技術過程中的挑戰。信息時代高速發展背景下，我國已步入大數據發展階段，大數據的發展應用給人們帶來了較多積極影響，對企業發展運作等也起到了關鍵作用。網絡大數據給社會發展和人們生產生活帶來機遇和挑戰，因此加強大數據研究至關重要。本文首先論述對網絡大數據研究的必要性，其次對網絡大數據發展現狀展開詳細論述，最后展望大數據發展前景，實現大數據時展與科技的有機結合，促進網絡大數據規模進一步擴大，以給人們帶來更大的便利。
1 網絡大數據研究必要性分析
網絡大數據應用廣泛，無論是經濟發展領域還是軍事、文化發展領域，網絡大數據都發揮著重要作用。加強網絡大數據研究對維護國家網絡空間數字，保證經濟、文化穩定持續發展，提高國民經濟競爭力，實現科技突破等都有著至關重要的作用。無論是直接影響還是間接影響，加強網絡大數據研究十分必要。
1.1 加強網絡大數據研究，實現網絡空間數字保護
近年來我國已步入信息化時代，國家綜合實力的競爭也包括信息時代下網絡大數據的規模及運用能力的競爭。我國大數據規模發展逐漸壯大，且對大數據的運用和管理能力也逐漸提高，這使我國掌握了網絡空間數字，即作為一個發展大國重要的博弈空間。若我國網絡大數據應用落后，就會直接影響我國占領產業戰略制高點，出現網絡空間發展不足的情況，影響國家數據使用安全。就2013年3月美國投資啟動的“大數據研究和發展計劃”來看，美國政府加大對大數據的重視和研究，并強調“大數據的應用關系到美國國家安全，對科學技術發展進程有著直接影響，同時對教育改革等領域都有一定影響”。這說明網絡大數據已上升到國家意志領域，對國家信息安全、經濟發展、社會穩定等都有著關聯影響。
1.2 網絡大數據與國民經濟核心產業有著直接關聯
“人、機、物”三元世界的交互發展產生了大量數據，為充分實現對網絡大數據的感知和利用，國民經濟發展過程中要有效解決對大規模數據的測量和應用，以促進經濟發展中各行業數字化和信息化，解決行業發展過程中出現的網絡大數據爆炸阻礙。因此加強網絡大數據研究，解決大數據基本共性問題十分重要。例如，針對非結構化數據的統一表示和分析，現階段尚未采取有效的工具和手段，而通過對大數據問題的研究分析，能夠增強企業處理網絡大數據的能力，使企業更全面認識大數據處理的成本，促進企業進一步實現數字化。這也是網絡大數據研究的重要意義，有助于促進新一代信息技術融合，推動信息產業經濟增長值高速發展，是各行業提升綜合實力的新動力。
1.3 網絡大數據研究與新興產業發展相關聯
信息時代背景下在科學技術上實現網絡大數據技術研究突破，能促進數據服務以及數據材料等相關戰略性新興產業的興起與發展。實現網絡大數據的技術研究和科技突破，能使人們更清楚地認識數據交互連接的復雜問題，并準確把握數據冗余與缺失等不確定性特性，以更好地實現對高速增長數據的駕馭。對大數據不確定性和涌現性的把握，能使大數據應用者從數據中挖掘到實際需求信息，實現對網絡數據的充分利用。網絡大數據并非行業發展過程中的副產品，而是行業發展各環節的關鍵紐帶，其能夠通過網絡數據信息的分析和把握，提高行業生產效率，實現對成本的有效控制，同時，在大數據驅動下，能促使數據能源、數據制造等戰略性新興產業的崛起與發展。
2 網絡大數據現狀
2.1 網絡大數據特點
網絡大數據主要是指“人、機、物”三元世界在網絡空間交互過程中產生的大量數據，可通過互聯網進行查詢使用，即稱為網絡大數據。據IDC報告，根據近年來大數據增長形勢來看，到2020年將實現35 ZB。IBM針對網絡大數據特點來看，主要包括大量化、多樣化、快速化3個明顯特點。
在信息化時代背景下網絡空間數據增長迅猛，數據集合規模已實現從GB到PB的飛躍，網絡大數據則需要通過ZB表示。在未來網絡大數據的發展中還將實現近50倍的增長，服務器數量也將實現近相同數量的增長，以滿足大數據存儲。網絡大數據的類型多樣化，例如結構化數據、非結構化數據等。在互聯網時代背景下網絡大數據越來越呈現非結構化數據增長，據相關調查統計，在2012年底非結構化數據在網絡數據總量中占77%左右。這種類型結構數據的產生與社交網絡以及傳感器技術的發展有著直接聯系。另外，網絡大數據還具有快速化特點，其突發涌現狀態演變使人們對數據的評估和預測難度加大。大數據一般情況下以數據流形式快速產生，且具有動態變化性特征，大數據的時效性要求用戶必須準確掌握網絡大數據數據流才能更好地利用這些數據。
2.2 網絡大數據的感知問題
網絡大數據自身具有跨媒體關聯特點，且能夠實現多主體互動，這給大數據的感知與獲取帶來一定問題。按照網絡空問中數據的蘊藏深度，整個網絡空間可劃分為Surface Web和Deep Web，或稱作Hidden Web。Surface Web是指Web中通過超鏈接可被傳統搜索引擎獲取到的靜態頁面，而Deep Web則由Web中可在線訪問的數據庫組成。Deep Web的數據隱藏在Web數據庫提供的查詢接口后面，只有通過向查詢接口提交查詢才能獲得。與Surface Web相比，Deep Web所包含的信息更豐富。同時，Deep Web具有規模大、實時動態變化、異構性、分布性以及訪問方式特殊等特點。為充分利用Deep Web中的數據資源，需要充分獲取Deep Web中高質量的數據并予以集成，整個集成過程可分為數據獲取、數據抽取和數據整合3個環節。
2.3 網絡大數據挑戰
網絡大數據在開發與應用過程中正面臨著諸多挑戰，這與用戶需求的提高有著直接關系。目前就網絡大數據發展形勢來看，其主要面臨的挑戰包括大數據的復雜性、不確定性以及涌現性。
網絡大數據的復雜性使其諸多環節操作運行難度增加，包括數據存儲、數據分析處理以及數據深度挖掘等。大數據的復雜性又包括其類型的復雜，如社交網絡與傳統文本數據的相互發展，使其類型更加豐富；數據結構復雜，包括移動技術以及社交技術發展下形成的結構數據流以及非結構化數據流，具體形式包括文本、圖像等，這給網絡大數據管理與分析帶來了難度。大數據的不確定性包括自身以及模型的不確定，這給大數據建模帶來較大困難，使用戶不能充分利用其自身價值，既是對數據資源的浪費，同時也無法全面滿足用戶需求。另外，網絡大數據還面臨著涌現性帶來的挑戰。這主要是指網絡大數據與其他數據之間存在的本質上的區別，也是網絡大數據的關鍵性特點。大數據的涌現性直接給用戶以及相關研究人員增加數據駕馭難度，使之無法準確實現對大數據的測量和預測，包括大數據的數據結構、功能等。
2.4 網絡大數據分布式數據存儲問題
就目前網絡大數據處理規模以及存儲形式來看，已實現從TB級到PB、EB級的轉變。在實現等級上升后，為更好地實現對數據存儲成本的控制，實現計算資源優化利用，以及提高系統整體的并發吞吐率，要積極探究出更加有效的存儲模式，實現目前網絡大數據分布式數據存儲方式。Google公司提出的GFS、MapReduce、BigTable等技術是分布式數據處理技術的具體實現，是Google搜索引擎系統的3大核心技術。此后，Apache軟件基金會推出開放源碼的Hadoop和HBase系統，實現了MapReduce編程模型、分布式文件系統和分布式數據庫。Hadoop系統在Yahoo、IBM、百度、Facebook等公司得到了大量應用和快速發展，但作為新興的技術體系，分布式數據處理技術在支持大規模網絡信息處理及應用等大數據計算應用能力方面還存在很多不足。
分布式數據存儲是網絡大數據應用的一個重要環節。但之前的研究工作仍存在一些局限性。針對海量數據存儲和處理所面臨的數據總量超大規模、處理速度要求高和數據類型異質多樣等難題，需要開發支持擴展度高、深度處理的PB級以上分布式數據存儲框架，同時需要研究適應數據布局分布的存儲結構優化方法，以提高網絡大數據存儲和處理效率，降低系統建設成本，從而實現高效、高可用的網絡大數據分布式存儲。
網絡大數據對各行業領域發展都有著積極影響，對數據庫建設以及知識工程建設等有著推動作用，且被廣泛開發和應用。但大數據的海量規模以及復雜性等自身特征，直接給大數據開發和應用帶來一定阻礙，使各領域研究很難直接進行應用。因此，加強對網絡大數據的研究和開發，形成相對統一的標準進行大數據研究至關重要。
3 網絡大數據展望
網絡大數據深度研究與開發對多行業領域發展都有著積極影響，針對現階段大數據面臨的機遇和挑戰，要加強大數據與科技融合，對大數據復雜性、涌現性以及不確定性等特性實現整合優化，促進網絡大數據規模進一步擴大發展。
3.1 網絡大數據實現大規模發展趨勢
就目前網絡大數據時展來看，發展速度快、結構復雜程度加大。原有的Hadoop技術無法滿足大數據時代的發展需求。在信息化、數字化發展潮流下，大數據規模將進一步擴大，且數據類型和復雜程度將進一步加大。為適應該發展趨勢，要不斷加強創新研究，例如對全球著名的分布式數據庫Spanner的研究利用。在今后的大數據研究應用中，要以分布式數據庫為基礎，加強存儲模式的開發利用，并結合SQL語法，實現數據高效操作。
3.2 數據資源化
網絡大數據包括各類型的數據信息，信息量超大，且蘊含著不可估量的價值。換句話說，準確把握網絡大數據，即掌握了豐富的信息資源。網絡大數據存在著豐富的價值鏈，無論從哪個角度出發，網絡大數據都發揮著不可替代的資源優勢。大數據中的價值鏈來自數據本身，也包括大數據技術等，但離開技術以及其他因素的數據資源則是其核心價值優勢。另外，將不同的大數據信息整合，即實現資源整合，將創造出不同的價值。
3.3 網絡大數據推進科技融合
網絡大數據時代背景下，IT通信技術、云技術以及物聯網等技術飛速發展，在實現技術融合的同時，也實現了學科交叉發展。大數據規模的擴大和發展離不開信息技術，即在進行大數據深度研究和創新發展的過程中要始終以信息技術為基礎。同時，大數據的發展利用給各行業領域管理帶來積極影響，實現了傳統管理決策到大數據時代管理與決策的跨越。同時，在某些特殊領域，網絡大數據也將發揮其功能和價值，不斷吸引各跨學科人才參與其中，實現科技進一步創新發展。
3.4 融合以人為本理念
在今后的網絡大數據發展中，要注重以人為本理念的應用。信息、科技時代的競爭，追根究底是人才的競爭，要根據人的需求和意識實現不斷的創新發展。大數據時代以數據分析為前提，進行科學探索，實現科學決策。但數據分析始終無法代替人類的思維活動，要通過人的思維意識，推動大數據發展。隨著IT通信技術以及物聯網技術的發展，人們在大數據時展進程中扮演著不同的角色，既是大數據的使用者，也是其生產者，更多的是作為參與者，進一步實現人與數據之間的溝通合作。在今后的大數據發展中，要加強以人為本理念的應用，促進社會活動進一步變革創新。
3.5 實現網絡大數據形象化
就目前來說，在人機交互環節中，人們側重需要其可視化，即通過文本或圖像編輯器等實現直接操作。在今后網絡大數據發展過程中，要滿足人們使用需要，進一步實現可視化。由于大數據本身具有復雜性和不確定性等特點，若在未分析前使用會大大削弱大數據的功能作用，只有經過分析才能實現數據的輔助作用。通過對大數據的分析和處理，以良好的形象顯示給用戶，促進用戶高效接收，提高對數據的使用效率。目前大數據的主要顯示形式包括曲線、報表等，在今后的發展過程中將實現更多種類的形式創新，滿足用戶的直觀需求。
4 結 語
在“人、機、物”三元世界融合下產生的大規模數據給計算機運行和處理帶來了較大挑戰，同時也給行業發展帶來了重大機遇。網絡大數據具有一定的復雜性、不確定性、自身涌現性等特征，結合大數據自身特性進行深度分析和探究，能發揮大數據自身優勢，進一步體現其價值功能。就目前網絡大數據的現狀來看，新時期大數據面臨一定的挑戰和機遇，加強大數據發展，促進網絡大數據規模擴大分必要。進一步加強網絡大數據研究，促進大數據高效、有序利用，有助于推進我國經濟發展，進一步實現社會穩定，全面提高我國綜合競爭實力，捍衛網絡空間數字，促進國民經濟核心產業發展，促進戰略新興行業崛起。網絡大數據的發展與運用，對促進我國科技研發，實現信息深層次開發等都有著積極作用。在今后的網絡大數據研究與應用中，要進一步發揮大數據優勢，實現其自身功能和價值，使其更全面、廣泛、高效地服務于各行業領域用戶。
主要參考文獻
[1]王元卓，賈巖濤，劉大偉，等.基于開放網絡知識的信息檢索與數據挖掘[J].計算機研究與發展，2015（2）：456-474.
[2]黃恒君，漆威.海量半結構化數據采集、存儲及分析――基于實時空氣質量數據處理的實踐[J].統計研究，2014（5）：10-16.
[3]于兆吉，魏闖.大數據下主題數據庫的研究現狀與展望[J].沈陽工業大學學報：社會科學版，2014（3）：263-267.
[4]嵇智源，潘巍.面向大數據的內存數據管理研究現狀與展望[J].計算機工程與設計，2014（10）.
[5]徐菲菲，雷景生，畢忠勤，等.大數據環境下多決策表的區間值全局近似約簡[J].軟件學報，2014（9）.
[6]陳鶴群.大數據環境下醫療數據隱私保護面臨的挑戰及相關技術梳理[J].電子技術與軟件工程，2014（16）：51-53.
[7]李國杰，程學旗.大數據研究：未來科技及經濟社會發展的重大戰略領域――大數據的研究現狀與科學思考[J].中國科學院院刊，2012（6）.
美國加州斯坦福大學助理教授賈斯廷?古力馬，正嘗試把數學應用到政治學研究中，通過電腦對互聯網上的海量博客文章、議會演講、新聞報道加以統計分析，從而展開趨勢判斷。在這個29歲的青年政治學者眼中，“政治學已經日益成為一個數據密集型學科”。其實，成為數據密集型學科的遠不止政治學，科學、廣告、體育、公共衛生等大量學科和領域都正在從大數據技術中獲益。
大數據技術的目標，就是從海量數據中挖掘信息、判斷趨勢、提高效益。在科技發達的英美等國家，一些大型互聯網公司最先注意到了大數據技術的無窮魅力，并嘗試在經營活動中加以運用。社交網站“臉譜”和視頻網站“網飛”便通過搜集、整理用戶在網絡上留下的“足跡”，分析用戶偏好、興趣和需求，向用戶推薦聯系人信息或感興趣的視頻內容。
而在國家層面，大數據更是成為繼邊防、海防、空防之后，第四個大國博弈的空間。目前，以美國、英國為代表的發達國家正在將大數據上升為國家戰略，加緊大數據的科學規劃和統籌布局，確立大數據頂層設計。
英國
謀求“數據革命”先聲奪人
目前，歐洲大多數國家尚處在大數據應用初級甚至啟蒙階段，不過，英國政府較早意識到了數據潛在價值對于政府部門提升工作效率的重要性。2010年年初，英國開通政府數據網站Data.gov.uk，開創了政府數據可再利用的網絡先例，這也是英國政府提高政府工作透明度的重要表現。2012年11月，英國政府新的政府數字化戰略，旨在使政府服務實現“默認數字化”，承諾2015年前開放有關交通運輸、天氣和健康方面的核心公共數據庫，并投資1000萬英鎊建立世界上首個“開放數據研究所”（Open Data Institute）。
進入2013年，在經濟低迷、財政收緊的背景下，英國政府依然在大數據技術研發上投入大筆資金，視其為支撐英國經濟增長的重要科技力量。1月，英國商業、創新和技能部宣布，政府注資6億英鎊支持有關研究機構研發項目，發展八類高新技術。其中，大數據技術拔得頭籌，獲得1.89億英鎊的資金，政府計劃通過在基礎數據設施方面投入巨資，加強數據采集和分析能力，盡快促使英國在“數據革命”中占得先機。
從單純計算能力來看，英國并不具有明顯優勢，但在數據掌握程度方面，英國在醫療保健、人口統計、農業和環境、數學和計算機科學領域有著世界上較為完整的數據集。尤其在醫療領域，2013年5月初，英國首個綜合運用大數據技術的“李嘉誠衛生信息與發現中心”在牛津大學成立。這個研究中心總投資9000萬英鎊，其中，李嘉誠基金會資助2000萬英鎊。該中心包括“靶標發現研究所”和“大數據研究所”兩個機構，擁有600多名科研人員，旨在通過搜集、存儲和分析大量醫療信息，確定新藥物的研發方向，減少藥物開發成本，為發現新的治療手段提供線索。英國首相表示，“醫學研究新突破離不開信息獲取與共享，而這一中心的成立，有望給英國醫學研究和醫療服務帶來革命性變化，它將促進醫療數據分析方面的新進展。”
美國
積極搶占“未來的新石油”
在數據領域占據領先地位的美國，則視大數據為“未來的新石油”。聯邦政府將數據價值提升到了國家戰略層面，啟動落實兩大項目，一是“大數據研究與開發計劃”，資助大數據技術研發和應用；二是“開放政府計劃”，設置Data.gov平臺，推動政府管理向開放、協同、合作邁進。
2012年3月，美國總統奧巴馬宣布啟動“大數據研究與開發計劃”（Big Data Research and Development Initiative），旨在通過推動和改善與大數據相關的收集、組織和分析工具和技術，提升從海量和復雜的數據集中獲取知識和洞察分析能力，利用大數據進行科學發現、環境和生物醫學研究。同時，高等院校響應政府計劃，已經開始創建大數據相關課程，著力培養“大數據科學家”。
美國國家科學基金會、國家衛生研究院、能源部、國防部、國防部高級研究計劃局、地質勘探局等六個聯邦政府部門啟動多個項目投資計劃，提高從海量數據中訪問、組織、收集發現信息的工具和技術水平，并與工業界、研究院所、非營利性機構共同開創大數據發展新機會。
美國聯邦機構大數據資助計劃
2009年5月，美國聯邦政府實施“開放政府計劃”（Open Government Initiative），這項計劃提出利用整體、開放的網絡平臺，公開政府信息、工作程序和決策過程，以鼓勵公眾交流和評估，增進政府信息的可及性，強化政府責任，提高政府效率。同期，政府數據服務平臺Data.gov正式向社會開放，要求只要不涉及隱私和國家安全的政府數據，均需在該平臺公開。截至2012年11月，Data.gov共開放388529項原始數據和地理數據，匯集了1264個應用程序和軟件工具、103個手機應用插件。為進一步完善Data.gov平臺的功能，政府部門組織開發了數據分級評定、用戶交流以及和社會交網站互動等功能，構建了OGPL（Open Government Platform ）平臺，提供開源的政府平臺代碼，允許美國任何城市、組織或者政府機構創建開放站點。開放數據與開源技術的融合應用，使得Data.gov真正成為匯聚社會智慧、大眾創新的聚集地，進一步激發了社會創新力量。
關鍵詞：計算機軟件技術；大數據；應用
1大數據時代背景下計算機軟件技術的主要類型
1.1云儲存技術
在企業運營、管理以及個人辦公中，云儲存技術應用廣泛。云儲存技術離不開云儲存體系，其中，分布式儲存模式、數據保護模式較為常見。分布式儲存系統是在不同獨立的設備上儲存數據，通過可擴展的系統結構分擔儲存負荷，系統的穩定性、可用性與傳統集中式儲存系統相比更高。在分布式儲存系統中，主要由基礎層、接口層、訪問層等層級組成。其中，基礎層主要是收集相關信息數據，并協調系統分布式文件的處理，在其他技術配合下還可以確保云儲存系統的運行效率。接口層可以建立云儲存項目，利用文件系統接口提供更高級別的存儲系統接口，使系統可以通過接口實現遠程管理[1]。云儲存系統可以在很大程度上提升信息處理的效率，尤其是在大數據背景下，這一技術的優越性得以充分體現。除此之外，利用云儲存技術可以為信息共享等提供更為有力的支持。
1.2虛擬化技術
虛擬化技術在近幾年發展迅速，該技術是將計算機的實體資源進行轉化，以更好的組態方式呈現出來，新的虛擬部分不受時間與空間的限制，是資源管理技術的一種。虛擬化技術主要包括虛擬機、平臺虛擬化、存儲虛擬化等類型，平臺虛擬化主要指分離硬件平臺與操作系統；儲存虛擬化是指將硬盤等分成不同的邏輯儲存空間。虛擬化技術的出現進一步提高了資源利用率，而且這一技術可以滿足企業或個人不同場景的需求，可以進一步減少人力、物力的消耗，對于企業而言，可以提高其經濟效益。大數據背景下，企業為了滿足自身經營與管理的需求，對虛擬化技術不斷研究與創新，使虛擬化技術在大數據時代下不斷發展。
1.3信息安全技術
在大數據背景下，網絡安全問題較為突出，網絡技術的開放性使網絡面臨的攻擊是多方面的，例如對網絡通信協議的攻擊或是對計算機硬件的漏洞進行攻擊；網絡的開放性與自由性使網絡環境較為復雜，信息系統分布較多，導致網絡病毒傳播較為容易，病毒的傳播渠道也更為復雜。與此同時，企業的財務、人力等重要信息在網絡傳播、儲存過程中可能被非法用戶截取，導致企業重要的商業機密可能有泄露的風險；非法用戶假冒身份向其他相關人員虛假信息，嚴重破壞了正常的經營秩序，甚至造成了較大的經濟損失。現階段，較為常見的信息安全技術主要包括網絡安全協議、攻擊實施技術、網絡防御技術、訪問控制技術等。在大數據背景下，只有構建系統化的信息安全技術系統，才可以更好地防范網絡安全風險，提升儲存的安全性。
2大數據時代背景下計算機軟件技術的應用
2.1數據開發與管理中的應用
在大數據背景下，企業為了進一步了解市場情況、獲得更多的人員信息，不少企業、政府公共管理部門利用大數據技術、云計算等技術應用于數據開發中。數據抽樣是數據開發的前提，利用計算機軟件基礎可以更好、更快地完成抽樣調查工作，抽樣調查結果為后續的數據開發工作奠定了基礎。在數據開發階段，相關技術人員可以通過計算機軟件以及技術對內部信息或搜集到信息進行深入剖析，或者是通過計算機軟件技術構建門戶網站，成為社會大眾了解企業或政府服務部門的一個窗口。一般情況下，內部數據開發主要包括信息數據導入、信息數據選取等內容。在數據開發過程中還包括數據通訊，即數據交換、分享的過程，這可以促進企業內部信息的流動，減少信息不對稱情況，對企業的經營與管理發揮著重要的作用。在以上基礎上，企業利用計算機軟件技術進行數據評定，從不同的層面分析評定對象（信息）的價值[2]。目前，大部分企業已經在數據通信中較為普遍地使用計算機軟件技術，主要是利用計算機軟件技術與企業客戶進行溝通與管理，對潛在市場客戶進行預測分析，維持客戶關系。在此基礎上，對現階段的數據通信管理中的漏洞進行排查，整改后使系統能夠更好地服務于市場分析、客戶關系維護等工作中，有利于企業制定更具針對性的服務措施。例如國內部分百貨公司為了改善店面經營情況，選擇與中國移動、中國電信等運營商合作，利用大數據技術查詢目標人群的分布區域選擇開店地址；對于周邊區域內的目標人群流量、人群特征、人群來訪頻次進行搜集，基于大數據技術與區域內的商家進行溝通，為不同的商家提供服務與幫助，同時指導商家進行位置營銷等；遵循人性化的管理理念，為企業拓展市場、維護客戶關系提供有力的支持。
2.2信息查詢與儲存的應用
在大數據背景下，云儲存技術等計算機軟件技術被廣泛地應用于數據搜索、信息儲存方面，進一步改善了信息的儲存空間，便于個人或企業進行信息儲存。目前，不少企業都配置了虛擬化儲存系統，采用分布式儲存方式，使信息儲存更為便捷與安全[3]。在數據儲存中，若需要保存企業私密文件，可以利用云儲存技術將文件上傳至云端平臺，并對文件進行加密處理，提高了重要信息安全防護等級。在緊急情況下，工作人員還可以從云端下載信息，對信息進行遠程管理，及時解決部門工作中的突發問題，保證企業各個部門正常運行。對于個人用戶而言，國內諸如WPS等辦公軟件都為用戶提供了文件備份服務，用戶在使用軟件時可以自行選擇備份地址與自動上傳時間。以往，若用戶在軟件辦公中因為不可抗拒因素突然關閉軟件或者關閉電源，文件自然會丟失；而現在，辦公軟件可以自動將文件上傳至云端，即用戶個人備份中心，即使突然關閉軟件或極計算機電源，個人用戶也可以通過云端找回文件，不用擔心文件丟失的問題
2.3商業監控的應用
在大數據背景下，借助計算機軟件技術通過攝像頭等電子設備可以進一步優化企業、公共區域的監控設備，通過接入網鏈路鏈接云儲存系統，向管理人員提供監控區域的實時視頻，了解人員、物品等情況，不受空間、時間的影響。
5月1日，貴陽全域公共免費WiFi項目一期建成并投入試運行。全域公共免費WiFi項目既為廣大市民和游客提供了通訊便利，也邁出了發展大數據產業、打造“塊數據”平臺的重要一步。
日前，隨著中信出版集團出版、大數據戰略重點實驗室撰寫的《塊數據――大數據時代真正到來的標志》一書出版，“塊數據”的概念由此被更多人所熟知。所謂“塊數據”，就是一個物理空間或者行政區域內形成的涉及人、事、物的各類數據的總和。大數據戰略重點實驗室認為，“塊數據”理論創新將打破傳統的信息不對稱和物理區域、行業領域對信息流動的限制，通過對不同類型、來源信息的集成、挖掘、清洗，極大地改變信息的生產、傳播、加工和組織方式，進而給創新發展帶來新的驅動力，推動產業徹底變革和再造。
為此，本刊記者就“塊數據”的建模、應用、規劃等問題對話貴陽市副市長徐昊，為大家詳細解讀塊數據。
《中國信息化》：以區域為范圍的“塊數據”要想充分發揮作用，政府在其中要起到主導作用。請問貴陽市政府在“塊數據”分析應用中起到的作用是什么？如何協調數據提供方、建模方、應用方的關系？
徐昊：貴陽市委、市政府在推進“塊數據”分析應用中起到的作用主要是：優環境、搭平臺、聚資源、促應用。優環境就是積極營造有利于“塊數據”發展的政策環境；搭平臺就是積極搭建促進“塊數據”發展的支撐平臺，如大數據交易所、政府數據共享平臺等；聚資源就是將各行各業的數據資源千方百計匯集融合，形成區域內的“塊數據”；促應用就是促進數據資源的開發應用，實現數據資源到數據價值的轉化。
在協調數據提供方、建模方和應用方關系的時候，主要是按照互聯網思維，運用市場經濟的手段，充分發揮各方的主觀能動性，優勢互補，互利共贏，讓各方都有“利”可圖，有錢可賺，有事可做，實現“羊毛出在豬身上，讓狗來買單”。
《中國信息化》：除全城范圍的免費無線網絡外，貴陽市民何時能感受到“塊數據”帶來的便利？
徐昊：隨著大數據時代的到來，貴陽市民也無時不在感受到數據帶來的便利，除在盡情享受全城范圍免費無線網絡外，貴陽市民還在創新創業、民生服務等方面得到了眾多的實惠和便利。如貴醫附院引入的智能化門診管理系統，對門診掛號、門診診療、門診繳費及醫囑服藥等過程進行設計，實現了從掛號到服藥的聯網管理，減少中間環節人為糾紛，更大程度地為患者提供了更加便捷的服務。隨著即將開放的政府數據共享平臺，市民必將會在更多領域得到更多的便利。
《中國信息化》：目前，貴陽市的“塊數據”積累是否已經足夠？陳舊的數據與新數據之間如何清洗、對接？
徐昊：數據無時不有，無處不在。近年來，各行各業都積累了大量的數據，但目前這些數據都還沒有較好地匯集融合在一起。當前，為推動“塊數據”的發展，貴陽正在全力推動無線全覆蓋城市項目，即全域公共免費WiFi城市與貴陽城市云計算中心和大數據總線項目，建立一張統一完整的城市全域互聯網絡。在此基礎上，形成城市的互聯網主入口，聚集訪客量和瀏覽量，不斷拓展規模，推動“塊”上數據的快速積累，再通過政府數據開放和企業數據有償共享，收集形成貴陽的大數據匯聚平臺，通過分析用戶行為和數據，挖掘提煉數據價值，最終形成可用于交易的大數據產品。對數據之間的清洗、對接，主要還是要依靠市場經濟的手段來實現，即通過大力培育數據清洗公司來發掘、開發利用數據價值。
《中國信息化》：請問貴陽市是如何引導“塊數據”建模、應用的？
徐昊：目前，貴陽市在推進“塊數據”的建模應用方面，重點是在創新創業、服務民生、倒逼政府改革等方面進行了探索應用。比如，在2015年初，貴陽市率先在住建局、交管局啟動規范制約權力實施的“數據鐵籠”行動計劃，主要是以全行業業務辦理過程管控、云計算的大數據應用、構建誠信體系等3條主線，搭建大數據（共享交換）和業務信息平臺，依托大數據產業優勢，加快網上政務建設，通過大數據運用，實現網絡辦公、審批、執法，確保權力運行全程電子化、處處留“痕跡”，讓權力在“陽光”下運行，接受社會公眾的監督，更好地方便群眾、服務群眾。
《中國信息化》：在傳統行業紛紛擁抱互聯網，走向互聯網+的時候，“塊數據”與條數據分別如何幫助傳統行業轉型升級？
徐昊：一般來講，“塊數據”比“條數據”的“4V”即 Volume（大量）、Variety（多樣）、Value（價值）、Velocity（高速）的特征更為明顯。它如同一個計算機的主板，建立起了一個開放、共享、連接的數據基地；各個行業和部門的“條數據”就如同一個個可插拔的板卡，它們只有融合并集成到主板上，才能發揮數據資產真正的功效。而在這種融合與集成的過程中，“塊數據”表現出與“條數據”不同的特征和優勢。對幫助傳統行業轉型升級來說，“塊數據”比條數據更具有優勢和活力。“塊數據”將對一、二、三產業產生變革性的影響。農業方面，通過地理信息數據、土壤培育數據、市場信息數據等的高度整合，精準農業將會得到大力發展，農業的產、供、銷體系將實現一體化；工業方面，強化工業物聯網建設、3D打印技術運用等渠道，使工業生產走向智能化和定制化；服務業方面，中介機構日趨消弭，“互聯網+”的模式正在將傳統的商貿、金融、娛樂等行業解構重整，經濟活動的網絡化、精細化、可預測性特征將更加明顯。
《中國信息化》：“塊數據”有一定的應用范圍，是否會涉及異地數據處理？
徐昊：“塊數據”的核心是對海量數據的聚合分析，雖然它具有一定的應有范圍，但它維度眾多，可開發利用價值巨大。關于“塊數據”的處理，只要擁有數據資源，在哪兒處理都不影響對“塊數據”的開發利用。
