欧美一级爽aaaaa大片,国产精品成人自拍,国产999精品久久久,国产精品av一区二区三区

首頁 優秀范文 簡述云計算的關鍵技術

簡述云計算的關鍵技術賞析八篇

發布時間:2023-09-08 17:06:08

序言:寫作是分享個人見解和探索未知領域的橋梁,我們為您精選了8篇的簡述云計算的關鍵技術樣本,期待這些樣本能夠為您提供豐富的參考和啟發,請盡情閱讀。

簡述云計算的關鍵技術

第1篇

關鍵詞 云計算架構 云計算關鍵技術 商業模式

1 引言

自2007年末,Cloud Computing開始頻繁出現。2008年初,Cloud Computing開始被翻譯為“云計算”。云計算在中國萌發的短短幾年中,其概念迅速被發酵,并已上升到國家信息化戰略層面,而在各大電信運營商發力備戰云計算服務的形勢下,云計算各級產業鏈逐步完善,短短幾年云計算就風生水起。

云計算嚴格意義上講,并不算是新產品,應稱為一種新技術。而云計算的服務對于用戶而言,用“有形不累物,無跡去隨風“來形容最恰當不過,因為云計算最終是為了將企業級的計算能力和業務處理能力,變成如同電力一樣的服務,從而降低公眾和企業獲取信息服務的成本,并提升應用的便利性。

2 云計算架構

云計算的架構可以分為服務和管理這兩大部分,服務部分主要以提供用戶基于云的各種服務為主;管理部分則像公司離不開董事會一樣,提供核心管理。

2.1 服務部分

服務部分共包含3個層次。其一是軟件即服務(SaaS),這層的作用是將應用主要以基于Web的方式提供給客戶。其二是平臺即服務(PaaS),這層的作用是將一個應用的開發和部署平臺作為服務提供給用戶。其三是基礎設施即服務(IaaS),這層的作用是將各種底層的計算和存儲等資源作為服務提供給用戶。從用戶角度而言,這3層服務是獨立,但從技術角度而言,這三層則有一定依賴關系。比如一個SaaS層的產品和服務不僅需要用到SaaS層本身的技術,而且還依賴PaaS層所提供的開發和部署平臺或者直接部署于IaaS層所提供的計算資源上,而PaaS層的產品和服務也很有可能構建于IaaS層服務之上。可以通過圖1窺其一斑:

2.2 管理部分

雖然和前面云服務的三層相比,熟悉云管理層的人非常少,但是它確實是云最核心的部分,猶如人的首腦一般。與過去的數據中心相比,云最大的優勢在于云管理的優越性。云管理分成3層9個模塊,分別是用戶層:用戶管理模塊、客戶支持模塊、服務管理模塊、計費管理模塊;機制層:運維管理模塊、資源管理模塊、安全管理模塊、容災管理模塊;檢測層:監控系統。

3 云計算關鍵技術

云計算孕育在近年半導體、存儲技術、網絡技術快速發展基礎上,而摩爾定律促使硬件價格以指數級速度下降,加速了大規模部署硬件基礎設施。云計算的關鍵技術,如虛擬技術、數據存儲技術、并行計算、分布式計算等也經過長期發展與完善,逐步具備規模化商用條件。并行計算夯實了云計算松、緊耦合相結合的技術基礎;分布式計算通過軟件的方式來實現可用性、可靠性和可擴展能力,降低了硬件需求;虛擬化技術則從軟件發展到軟、硬件配合,效率更高。上述技術的逐步成熟驅動云計算快速發展。

3.1 虛擬技術

虛擬技術即服務器虛擬化,是云計算底層架構的重要基石。在服務器虛擬化中,虛擬化軟件需要實現對硬件的抽象,資源的分配、調度和管理,虛擬機與宿主操作系統及多個虛擬機間的隔離等功能,目前典型的實現(基本成為事實標準)有Citrix Xen、VMware ESX Server 和Microsoft Hype—V等。

3.2 數據存儲技術

云計算系統需要同時滿足大量用戶的需求,并行地為大量用戶提供服務。因此,云計算的數據存儲技術必須具有分布式、高吞吐率和高傳輸率的特點。目前數據存儲技術主要有Google的GFS(Google File System,非開源)以及HDFS(Hadoop Distributed File System,開源),目前這兩種技術已經成為事實標準。

3.3 數據管理技術

云計算的特點是對海量的數據存儲、讀取后進行大量的分析,如何提高數據的更新速率以及進一步提高隨機讀速率是未來的數據管理技術必須解決的問題。云計算的數據管理技術最著名的是谷歌的BigTable數據管理技術,同時Hadoop開發團隊正在開發類似BigTable的開源數據管理模塊。

3.4 分布式編程與計算

為了使用戶能更輕松的享受云計算帶來的服務,讓用戶能利用該編程模型編寫簡單的程序來實現特定的目的,云計算上的編程模型必須十分簡單。必須保證后臺復雜的并行執行和任務調度向用戶和編程人員透明。當前各IT廠商提出的“云”計劃的編程工具均基于Map—Reduce的編程模型。

4 云計算商業模式

對于電信運營商而言,寬帶用戶不斷增長的內容訪問需求對電信網絡的出口和傳輸的壓力迅速增加,構建內容中心已經成為業內的普遍共識。相較于傳統內容中心服務器,云服務器可以降低硬件維護和整體的運維成本;可根據不同服務器應用的不同,分配不同配置的云服務器指標。做到物理資源合理分配,提高利用率;物理服務器與現網絡中的各個區域實現物理連接,可以在宿主機內分配不同區域的云服務器;可方便對云服務器文件進行備份,云服務器出現故障時遷移也很方便,故障幾分鐘即快速恢復;低能耗,綠色環保,單物理服務器上運行多個云服務器,降低了物理服務器的使用數量,服務器能耗降低、制冷能耗降低,既綠色環保,又符合當前提倡的低碳經濟。

基于上述的優勢,構建基于云計算的內容中心將成為云計算的重要應用模式。關于云計算,雖然人們談論最多的莫過于以Amazon EC2和Google App Engine為代表的公有云,但是對許多大中型企業而言,因為很多限制和條款,它們在短時間內很難大規模地采用公有云技術,可是它們也期盼云所帶來的便利,所以引出了私有云這一云計算模式。私有云主要為企業內部提供云服務,不對公眾開放,在企業的防火墻內工作,并且企業IT人員能對其數據、安全性和服務質量進行有效地控制。與傳統的企業數據中心相比,私有云可以支持動態靈活的基礎設施,降低IT架構的復雜度,使各種IT資源得以整合和標準化。在私有云領域,主要有兩大聯盟:其一是IBM與其合作伙伴,主要推廣的解決方案有IBM Blue Cloud和IBM CloudBurst;其二是由VMware、Cisco和EMC組成的VCE聯盟,它們主推的是Cisco UCS和vBlock。

電信運營商在構建云計算內容中心時,從其企業管理、安全等方面出發,私有云是必然選擇。可以通過購買商業解決方案,如購買Cisco的UCS和IBM的Blue Cloud等方案來一步到位。通過云計算、云存儲等技術構建集約化的運營商級綜合內容服務平臺,通過虛擬機技術建立統一的服務接口,通過業務管理平臺實現業務的運營管理,借此大幅緩解電信運營商的互聯網出口成本壓力,短期內以低成本極大豐富網內內容資源,改善用戶服務質量,提高客戶滿意度。

綜合內容服務平臺根據用戶需求與資源情況,對互聯網主要內容應用進行緩存,減少重復內容(流量)對網絡出口的占用,平臺對外網資源的復制由單一服務節點一次完成,服務節點間的復制時機與數量,要根據內容請求頻率、文件大小、存儲空間與帶寬條件進行綜合權衡。緩存內容通過平臺對用戶進行就近服務,在網絡帶寬、機房環境等資源條件滿足要求的情況下,盡量靠近最終用戶,可以采用省公司核心機房作為云虛擬機的節點機房就近部署,提高用戶的網絡服務體驗。在發展基于云計算的內容中心時,還應關注建立健全完整的業務模式,整合存儲、計算、網絡、用戶、渠道、計費、收費資源。通過開放的API,為內容服務商提供統一、標準、便捷的增值業務開發接口,使其可以容易的使用整合后的資源開發業務,其只需考慮內容服務的創意,其他資源由運營商提供的標準API提供,進而提升電信網絡的價值和主導地位。

第2篇

關鍵詞:高校圖書館;云計算;模式架構;云服務平臺;圖書館建設

中圖分類號:G252 文獻標識碼:A 文章編號:1009-3044(2017)04-0145-03

The University Library Construction Based on Cloud Computing

XIANG Rong

(Huainan Vocational Technical College, Huainan 232001, China)

Abstract: With the development of big data, the amount of data in University Libraries increase rapidly, there is a serious data redundancy and overload. Thus, the data storage service, management service and data security service of the university library platform are higher. The use of cloud computing technology and data processing capabilities to integrate information resources to build university libraries, will greatly improve the plight of university libraries.

Key words: university library; cloud technology; schema architecture; cloud service platform; library construction

1 引言

在全球信息化和網絡化的迅猛發展之下,許多領域都開始拓展新的方向,高校圖書館也不例外,對于高校圖書館基礎設施的建設以及工作模式的轉換都在發生著巨大的變化,服務理念以及技術手段也在不斷更新。但目前我國各大高校圖書館科學數據共享平臺卻還是自行管理以及獨立運行的模式,對于用戶而言,每個平臺的功能和信息量太過孤立,有時為了尋找所需的信息則需要訪問多個資源共享平臺,因此傳統模式下的高校圖書館科學數據共享模式還有很多需要改進的地方 [1]。尤其在高校圖書館平臺的數據存儲服務、管理服務以及數據安全方面的要求嚴重制約著高校圖書館的發展與建設。隨著互聯網技術的發展――云計算技術的出現,為高校圖書館的建設提供了諸多的便利,基于云計算的云技術具有強大的計算能力與數據處理能力,利用云計算可以很好地解決大數據環境下資源共享平臺的各種技術難題,因此建立基于云計算的高校圖書館尤為重要[2]。

2 云計算的概念

云計算最早由IBM公司與2007年的“云計算計劃”報告中提出的,此后,許多軟件公司都緊隨著IBM的腳步投入到云計算這一商業領域,提供商業服務,如微軟、Google、雅虎等。云計算技術是應多媒體技術、互聯網技術等技術的發展要求而產生的,云計算是分布式處理、并行處理以及網格計算的新發展,或者說是這些計算機科學概念的商業實現[3]。云計算主要是服務的提供方和使用方的形式,用戶可以通過“云”按照某種方式得到自己所需要的服務。該技術的核心是把所有連接到網絡的各種資源統一運用和處理,形成一個資源管理庫,對每個用戶提供個性化的服務。

云計算由廣義和狹義兩種定義。狹義的云是針對基礎設施而言,主要指通過網絡采取分布式計算和虛擬化技術搭建數據中心模式使用所需的基礎設施資源,即基礎設施的使用模式。提供資源的網絡被稱為云。云中的資源規模龐大,“云”能賦予用戶前所未有的計算能力,并且可以按使用量付費、任意獲取、高通用性、隨時擴展。廣義的云則是指通過建立網絡服務器群,向各種類型的客戶提供在線軟件服務、硬件租借、數據存儲、計算分析等服務,這種服務是和互聯網技術、軟件技術相關的,也可以是任意其他的服務[4]。

3 云計算的特點

3.1快捷高效性

在云計算的環境下,可以實現互聯網資源的互聯,用戶不需要對終端的各種系統和軟件資源進行配置,降低了用戶IT專業知識的依賴,其只需要通過客戶端發送服務請求,繼而訪問云端的各種資源,實現資源的方便、快捷、高效地利用,從而可以更好地為用戶對各種資源的需求服務。

3.2強大的運算能力

云計算是將分布在各個服務器的資源進行統一調度,這些服務器數量龐大,分布在全球各個地區,為云計算提供了強大的運算處理能力,同時也為云存儲提供了強大的后備存儲能力。

3.3海量的數據存儲

在云計算中,數據存儲在云中,用戶不必為數據存儲空間而煩惱,只需要在使用時發送請求服務即可。同時云計算服務商也提供了安全的存儲中心,有著專業人員對用戶的數據進行管理。

3.4 高可靠性

云計算由處于各個節點上的分布式服務器通過網絡提供服務,每一臺服務器可視為一個數據中心,云計算使用的多副本容錯、計算節點同構互換等措施可以自動檢測并排除失效節點,保證用戶的需求得到及時快速地響應。

3.5 按需付費

在云計算環境下,用戶只需要通過云端龐大的資源庫搜索所需要的服務,按照使用量支付一定的費用,不必花費大量的資金購買軟硬件,就像水、電以及煤氣一樣的方式計費。

4 高校圖書館云服務的可行性

隨著互聯網技術的發展以及圖書館學科研究的不斷深入的情況下,新技術在高校D書館服務平臺中的應用也逐漸加強,從技術、安全以及管理等三方面來看,高校圖書館的云服務是具有可行性的。

4.1技術方面

三類云服務提供商為高校圖書館實現云服務提供了技術方面的可行性,這三類云服務提供商分別為數據庫生產商、技術開發商以及系統開發商。數據庫生產商在組建云服務器時,可以同步上傳各類數字資源,并且在云端進行數據的維護、更新等操作,省去了高校圖書館購買存儲設備以及建設數據庫的費用。技術開發商提供的服務系統,能夠對高校圖書館的各類資源進行計算、存儲與處理,并上傳至云服務器,這樣客戶端不用存儲任何信息,降低了對用戶所持終端設備的要求。系統開發商可以根據高校圖書館云服務的需求,結合圖書館的業務流程,開發與高校圖書館各項功能需求相匹配的軟件,并將這些軟件上傳至云端,以供高校圖書館下載使用[5]。

4.2 安全方面

云計算數據存儲方面提供了身份認證、訪問控制、加密、安全刪除、完整性檢測以及數據屏蔽等技術,基于以上方面的安全性技術控制,可以保證用戶在使用云計算獲取“云”中的各類資源不受到安全方面的威脅。

4.3管理可行性

近年來,高學歷高層次的技術人才逐漸加入高校圖書館工作中,他們有著專業的知識和技術,各大高校圖書館陸續設立服務部、技術部、網絡部等職能部門來管理有關技術的實施,同時更有國內外先進的管理經驗可以借鑒引用。

5 高校圖書館云服務平臺架構

基于云計算技術的高校圖書館云服務模式的架構,以圖書館資源和軟硬件為基礎,充分利用分布式技術、集群技術以及虛擬化技術等技術作為技術支撐,對數據和信息資源的統一調度和分配。高校圖書館的建設包括信息資源、存儲空間、計算資源、應用系統以及操作界面等[6]。根據云技術的特點結合當前構建高校圖書館的需求情況,可以將高校圖書館的體系結構自下而上劃分為基礎設施層、數據層、管理平臺層以及應用層等4個層次,如圖1所示。

5.1 基礎設施層(Iaas)

基礎設施層是整個云服務平臺體系的基礎層,即基礎設施即服務(Infrastructure as a service, Iaas),它決定了高校圖書館的服務水平與服務范圍。基礎設施層對分布節點的硬件資源進行虛擬化(如虛擬主機、存儲設備、數據庫管理以及網絡等資源),使其成為一個配置有安全管理模塊的邏輯資源,這類服務可以由第三方服務商提供,也可以由自己的云服務平臺提供。基礎設施層通過嵌入式云端技術及虛擬化技術,將分布在各個節點上的資源接入到網絡中,進行統一調度管理及集中處理,實現各類節點資源的全面互聯,從而實現各類資源的共享服務及優化配置,以滿足不同用戶的各類需求服務。

5.2 數據層(Daas)

數據層利用數據即服務(Data as a service, Daas)來構建和整合文獻資源數據,其主要功能是對分布于各節點的圖書館數據資源進行統一調度管理與分配、壓縮數據、刪除重復數據、及數據的加密與備份等。數據層利用數據庫的虛擬化技術及中間件技術等將分布于不同節點的云圖書館元數據進行采集,并定期檢測更新表單數據信息,從而保證用戶所取的數據的準確性及新穎性。用戶首先通過客戶端的Web頁面發送服務請求,云服務平臺接收到用戶的服務請求后對用戶的請求進行分析、處理,并在高校圖書館平臺的節點上檢索用戶所需的信息,將檢索到的信息再進行合理地組織排列,最后應答用戶的請求,將滿足用戶需求的信息反饋給用戶。

5.3 管理平臺層(Paas)

管理平臺層利用平臺即服務(Platform as a service, Paas)來構建高校圖書館的云服務平臺的應用環境。該平臺層是高校圖書館云服務平臺的核心部分,其主要負責節點圖書館資源的訪問、認證、遠程管理、監控管理、并發控制以及服務質量管理等,對云服務中各節點資源負載進行動態平衡,并監控各節點運行情況,當某個節點出現故障,將立即被恢復或暫時過濾。管理平臺層也提供開發環境、結構化數據的分布式存儲管理系統以及應用云計算的其他系統工具,如高校圖書館云服務平臺中資源的部署和分配等。

5.4 應用層(Saas)

應用層利用云計算技術的軟件即服務(Software as a service, Saas)來構建高校云圖書館的關系系統、信息檢索平臺以及其他應用軟件。應用層是整個平臺的最高層,該層直接面向用戶,向用戶提供操作簡單、美觀的應用界面,用戶可以根據自己的喜好設置個性化的應用服務軟件的外觀,用戶在這里可以進行注冊、登陸與登出等操作。高校圖書館云服務平臺以Web形式向用戶提供服務界面,并可以應用云計算技術向不同用戶提供與服務相對應的鏈接接口、數字化管理、權限管理、安全性驗證等管理服務[6-7]。

6 高校圖書館云服務平臺運行流程與管理機制

6.1高校圖書館云服務平臺運行流程

高校圖書館云服務平臺用戶使用該服務平臺獲得需求的信息資源的過程可以簡單概括為以下幾個步驟,如圖2所示:(1)信息資源描述,高校圖書館云服務平臺根據用戶的請求指令,準確地進行翻譯,使用規范化的描述語言對用戶需求信息進行描述;(2)信息資源發現,用戶將所需求的信息發送給云服務平臺,云服務平臺則根據用戶的需求進行搜索發現相關信息;(3)信息資源匹配,高校圖書館云服務平臺對用戶發送的資源請求服務分析處理后,調取各節點資源進行信息的搜索、采集,根據節點平臺數據所提供的信息資源尋找與用戶需求向相匹配的信息資源;(4)信息資源調度,為了確保用戶所需要的信息資源的有效存取和并行存取,高校圖書館平臺提供了信息資源調度機制;(5)信息資源,運行在“云”中的節點將所匹配到的信息進行合理地安排調度,及時響應用戶的請求服務,將用戶所需的信息及時準確地出去。

6.2高校圖書館云服務平臺運行管理機制

高校圖書館信息Y源共享體系十分復雜,組織協調困難,必須建立完善的運行管理機制確保其正常運行。(1)科學決策機制,高校圖書館在開展云計算資源信息共享建設前,應對本館經費來源、業務能力、用戶群體及技術力量進行全面分析和評估,廣泛開展市場調研,科學確定建設模式、共享資源規模、建設步驟及實現目標等,形成較為完整的方案;(2)利益平衡機制,利益平衡機制是通過調整各信息資源共享體系下的高校圖書館的利益關系,使各館間的利益分配趨于平衡,并充分發揮和調動各館參與建設的積極性和源動力;(3)分工協調機制,由于每個高校圖書館所擅長的業務范圍不一致,并且各圖書館的技術力量、人才配置、管理經驗、服務水平以及基礎設施建設也不在同一起點上,要在共享體系下發揮每一個圖書館成員的作用和優勢,必須建立科學的分工協調機制;(4)服務評價機制,用戶對信息資源服務的評價是高校圖書館信息資源共享建設的唯一標準,因此,在信息資源共享建設的時候必須完善服務評價機制,及時了解用戶對云服務平臺的意見和建議,以促進云服務平臺朝著更好地為用戶服務的方向發展[8]。

7 云計算環境下高校圖書館的未來展望

近年來,隨著數字技術和網絡技術的迅猛發展,圖書館保存的資源不再局限于手寫和印刷版本的紙質文獻,以數字化形式存在的其他各種載體形式的資源也成為圖書館的重要保存對象。在這種情況下,存儲空間、訪問速度以及檢索結果質量都成為圖書館發展的重要難題,而云計算的出現使得這些難題得以解決。但是云計算的出現雖然解決了當前的難題,隨之而來的圖書館云服務平臺的信息安全問題也日漸凸顯[9]。

針對云服務平臺的云端信息存儲的信息安全問題,IT工作者們也提出了相應的云數據訪問安全策略。云計算訪問安全策略主要是指分級訪問權限控制,這種權限控制策略依據業務系統分類和人員職責設立,盡量保證用戶權限的最小化,做到管理員、用戶以及業務等角色相互分離,并盡可能避免將多角色權限分配給同一用戶,形成分級訪問權限控制列表[7]。

雖然云計算環境的高校圖書館發展中還存在著諸多的問題,但是我們也應看到云計算給高校圖書館平臺建設帶來的方便、快捷、高效與共享等優勢。隨著云計算的發展,勢必會將高校圖書館的建設帶來巨大的變革,推動著高校圖書館向前發展。

參考文獻:

[1] 陳明.數據密集型科研第四范式[J].計算機教育,2013(9):103-106.

[2] 孫仙閣.云環境下高校圖書館科學數據集成與共享服務平臺研究[J].圖書館學刊,2016(5):133-135.

[3]郭金婷.云計算環境下圖書館云服務模式構建[D].遼寧師范大學,2012.

[4]李蘭.基于云計算的圖書館數字參考咨詢服務模式研究[D].華中師范大學,2013.

[5]李梅珍.數字圖書館“云服務”模式的構建[J].圖書館學刊,2016(1):91-93.

[6]王佳.云計算技術在數字圖書館的應用及云服務平臺的構建策略[J].嶺南師范學院學報,2015,3(3):163-166.

[7]崇陽.基于云計算技術的數字圖書館云服務模式架構[J].電腦知識與技術,2015,11(12):3-7.

第3篇

關鍵字:云計算;物聯網;數據挖掘模式;研究

物聯網其實就是指物和物之間相互聯系的互聯網,隨著社會科學技術的不斷發展和進步,促進了互聯網的快速發展,也讓社會經濟得到了很好的發展。云計算主要就是指對相關的信息進行虛擬化的計算和存儲,對各種信息在互聯網上進行規范和整理,這樣就能夠有效的形成很多個計算中心和數據。

一、基于云計算的物聯網

物聯網其實就是一個比較大而且分布也非常廣泛的物和物的互聯網,主要作用就是對生活中的各種事物進行監控,隨著物聯網的不斷發展,現在也接入了很多的應用終端,其中就包括了湖泊、建筑物以及交通設施等。一般來說,云計算物聯網數據挖掘就是指通過對云計算來解決物聯網數據挖掘存在的問題。首先建立一個能夠全面捕捉物聯網數據的分布式時空數據庫,然后在云計算的平臺上,全面的對物聯網系統的數據進行挖掘。云計算中的數據挖掘主要就是通過對相關的數據進行分析研究,從而知道通過這種方式進行數據挖掘,物聯網進行數據挖掘的相關工作將能夠被完美的執行與完成。

二、基于云計算的數據挖掘平臺

在工作中,能夠提供高可用性和更多的動態資源池的計算機平臺,將能夠很好的實現云計算的數據挖掘。在對那些可用性比較高的應用程序進行開發的時候就可以選擇使用基于云計算的數據挖掘平臺,在利用云計算對數據進行挖掘的時候也可以采用基于云計算的數據挖掘平臺。一般情況下,可以通過軟件分層的理念,對物聯網的基于云計算的數據挖掘平臺系統進行一定的分層處理。云計算的數據挖掘系統從下而上可以分為算法層、任務層和用戶層三層。各層系統的相關工作,都需要相互配合才能夠完成。軟件中的下層可以向它的上層提供相關的服務內容,而上層在對下層的服務進行調用的時候主要就是通過上層層間的開發接口來完成的,這樣就能夠有效的保證基于云計算的數據挖掘平臺系統當中的各個層之間的功能能夠比較的獨立。采用這樣的一種設計模式主要就是為了在對系統進行二次開發的時候能夠比較的方便。

在構建基于云計算數據挖掘模式的時候主要就是通過積極的應用云計算的服務模式,那么在這樣的一種情況下建立起來的基于云計算數據挖掘平臺它們當中的每一個部分在實際提供服務的過程當中都能夠比較獨立的去完成。操作人員在使用基于云計算數據挖掘平臺的時候主要就是經過互聯網來連接數據挖掘平臺,在監控使用賬戶的管理系統時,主要就是在SaaS、PaaS以及DaaS這三個系統當中來完成的。在數據挖掘平臺當中的任何環節都是在云計算服務的模式中。在數據挖掘平臺當中的賬戶管理系統主要就是指管理使用者的實際服務情況的一個系統,它對使用者的賬戶信息有一個比較全面的記錄,它主要就是把用戶在平臺當中使用設備的情況以及服務的情況比較詳細的記錄下來形成一個賬目,這樣就能夠為使用者提供一個比較全面的數據使用的資源。在數據挖掘平臺當中的數據管理子系統主要是指管理用戶的數據資源。這個數據管理子系統主要就是在云計算中的DaaS服務模式下進行工作的,用戶在購買數據等相關活動的時候就是通過這個系統來完成的。數據管理子系統能夠對使用者的隱私起到很好的保護作用,而且使用者在處理了數據之后還能夠進行再次的出售。在數據挖掘平臺當中的子挖掘系統主要的作用就是發現用戶數據當中的知識,讓數據挖掘目標能夠有效的實現,在在數據挖掘平臺中子挖掘系統是最主要的部分,它的專業性比較的強。

三、基于云計算的物聯網數據挖掘模式

物聯網的整個環境決定了物聯網數據挖掘的模式,因為物聯網當中的數據類型比較復雜,而且物和物之間的關聯以及相關的特性也不一樣,那么這些情況可能就會使得在構建物聯網數據挖掘模式的時候就會和傳統的數據挖掘模式不相同。

在使用物聯網的過程中,常常會出現一些問題,如在發送與接收數據的時候可能出現部分或者是全部信息出錯甚至是丟失。出現這些現象的原因,可能是物聯網系統的原因,也可能是其他什么原因。那么基于云計算物聯網數據挖掘模式就應該要考慮到這種情況,在構建物聯網數據挖掘應用模型的時候,必須考慮對物與物之間的關系的表達,這樣才能有效的解決數據的錯誤與丟失。如果物與物存在間接的關系的時候,可以采用SVD模型或者是拉普拉斯變換模型進行推導。如果物與物之間存在非常重要的直接關系時,物聯網數據挖掘模式應該要具有表達出物和物之間直接關系的能力,這樣在對物和物的間接關系進行推導的時候才會比較的方便。物聯網數據挖掘模型當中的一種就是基于超圖的物聯網數據模型,在超圖當中的每一個變都能夠和很多的點進行聯接,對于物聯網當中數據之間比較復雜的關系可以通過超邊來進行標示。物聯網數據挖掘模型當中的另外一種就是基于馬爾科夫鏈的數據挖掘模型。在基于馬爾科夫鏈的數據挖掘模型中,對于進行預測未來可能會出現的現象的概率時,不需要根據以前的信息或知識,只需要根據現在的信息或知識就能夠完成。在物聯網的數據實際應用當中,這一類問題最常見的。

穩定的可外推參數模型是物聯網數據挖掘模型中的另外一種數據挖掘模型。在物聯網數據的實際應用當中,在進行物理建模的時候應該要先要了解到物和物之間的關系,然后建立起數據模型來描述數量上面的相互關系,但是因為物聯網數據的類型比較復雜,有可能會出現錯誤或者丟失的情況,所以采用傳統的方法進行物理建模會有很多的困難。

參考文獻

[1]劉茂華,史文崇. 物聯網數據處理之淺論[J]. 計算機與信息技術,2011,06:52-53.

[2]丁靜,楊善林,羅賀,丁帥. 云計算環境下的數據挖掘服務模式[J]. 計算機科學,2012,S1:217-219+237.

作者簡介:

第4篇

關鍵詞:云計算;數據安全;關鍵技術;應用

中圖分類號:TP393.08 文獻標識碼:A 文章編號:1007-9599 (2012) 21-0000-02

大量的事實證明,云計算作為軟件發展的一個重要表征和趨勢,其應用范圍極其廣泛、應用前景非常明朗,無論是國際社會還是在我國國內,都對此表現出了極大的興趣和普遍的關注[1]。這是因為,在網絡時代,用戶在進行數據存儲、數據處理和網絡傳輸時,都不可避免的要與云計算系統保持某種關聯。若想在數據存儲和應用方面獲得更為積極的功效,更是要將云計算納入到自身的發展規劃之中,否則,極有可能在競爭對手的擠壓下,失去既定的優勢。但是,不可否認的是,任何技術都不是萬能的,尤其是在開放性的環境中,維護數據的安全和信息的真實是十分困難的,需要通過行之有效的途徑對此加以保護[2]。可見,在社會需求不斷增長的情況下,云計算的應用領域越來越廣泛,其特性更是影響著社會發展的多個不同的層面。在這一過程中用戶通過網絡獲得數據,而網絡的開放性是其作為重要的特征之一,這就使得數據的使用、備份等與安全有關的問題變得非常敏感和重要。從這個角度講,最大限度的保障云中的數據安全,保護用戶的利益將會成為云計算發展中的非常關鍵的環節。本文以此為基礎,對云計算模式下數據安全的關鍵技術與應用問題進行了全面的研究,首先對云計算的應用領域與數據安全現狀進行了闡述,然后以此為基礎,討論了云計算中數據安全的關鍵技術,最后,從多個不同的側面探討了云計算環境下的數據安全技術的應用,從中得出了一些有價值的結論,希望能夠以此指導實踐。

1 云計算的應用領域與數據安全現狀

1.1 云計算的應用領域

(1)在現代市場環境中,企業的生存和發展需要依靠越來越緊缺、越來越高質量的資源。為了實現對各類、各級別資源的管理和使用,企業的信息化已經成為大勢所趨。一方面,企業的信息化能夠促進企業的生產率,提升其管理水平[3];但是,同時,也能夠為企業帶來新的成本,使企業的總成本隨之上升,比如,當企業的信息化水平獲得提高時,企業信息系統的建設和維護成本會不同程度的增長。在這種情況下,以傳統IT制造為主的企業在原有的IT架構上,對其進行了虛擬化的改造,使原本分立、專用的系統經整合后,成為彈性可以調度的IT“資源池”[4],以此來實現各應用系統間的資源共享和充分利用。

(2)在互聯網領域,隨著社會行為的復雜程度逐漸加深,來自于互聯網和指向互聯網的數據量呈現出前所未有的增長趨勢,一些大型的互聯網公司每日需要處理的數據量更是達到了男難以負載的程度。在這種情況下,互聯網公司不但要對大量的數據進行存儲、檢索和傳遞,只有這樣才能最大限度的滿足用戶的需求;同時,龐大的數據量也是一個重要資源或者機會,在其中往往蘊藏著意想不到的商業機會,如果對其進行深入的挖掘,將會得到一定的利益回報,而云計算為此提供了能夠實現的前提條件。

(3)在當今社會,無論是中小企業、小微企業還是個人用戶,能夠通過互聯網使用“公共云計算”服務商提供的廉價IT服務都被看作是一種明智的選擇[5]。同時,通過對公共云服務的利用,中小企業、小微企業和個人用戶能夠在很大程度上使專有設備和軟件的束縛降至最低。并且在云計算模式下,能夠實現對資源或應用的按需使用,成本會明顯降低。

1.2 云計算模式下數據安全的現狀

(1)在通常情況下,用戶除了要關注數據的數量和質量外,還會對數據的提供者或者保存者予以關注。因為云計算服務的提供商并不是唯一的,不同的提供商在性質上和規模上往往是不一致的,更為重要的是,不同的提供商抵御風險的能力不同,部分提供商會在內外部因素的影響下逐漸的或者突然的退出市場,這樣一來,用戶存放在服務商那里的數據將會面臨極為復雜的處理問題。

(2)用戶在使用云服務時,更為看重的是其服務的安全性,也就是說,用戶要求云服務的提供商應該在其內部擁有一套足夠強大的安全防范體系,無論在技術層面,還是在監管制度層面,都應該具有較高的保障系數[6]。但是,到目前為止,市場上依然缺乏具有公信力的對云計算提供商進行安全方面的監管的第三方,相應的法律、法規也并不健全,至于云計算服務提供商要通過什么樣的手段,在多大程度上,利用什么樣的人員,也就無標準可言了。

(3)在云計算領域,云端的環境是不受地域限制的,因此,數據的存儲就不會有特定的位置或者環節,在世界各地的任何地方、任何角落,都有可能成為數據存儲的中心。這種狀況的存在實際上是存在較大的風險的,其安全性問題不容忽視。首先,在法律層面上,數據安全的管轄權并不明確,如果數據被存放在了其他國家,那么這些數據就極有可能被他人或者機構占據。其次,當用戶的重要數據被占有、取消或者丟失時,難以通過法律工具進行訴訟或者獲得相應的賠償,如果被盜取的是重要的商業機密,情況會更加糟糕。

2 云計算中數據安全的關鍵技術

2.1 數據傳輸安全

在云計算模式下,用戶在將數據通過網絡傳遞到云計算服務商,要求其對數據進行處理時,數據傳輸的安全問題是十分重要的。為此,云計算中需要對以下問題繼續擰處理:確保用戶的數據在網絡傳輸的過程中,能夠被嚴格的加密,而不被竊取;使云計算服務商在獲得了用戶發送的數據后,能夠按照行業的規范妥善的保存數據,而不是將其有意或者無意的泄露出去[7];云計算服務商在存儲數據時,應該保證用戶在權限認證之后獲得合法的數據訪問,并且訪問的對象應該直接指向自身的數據。

2.2 數據存儲安全

在云計算模式下,數據存儲依據的是資源共享的模式,為此,云計算服務商要通過必要的方式,使不同的數據之間能夠進行有限的隔離;此外,即便用戶對數據存放的服務器的位置十分的了解,云計算的服務商也要為此作出承諾,保證對所托管的數據進行了及時有效的備份,保證重大事故不會出現,最大限度的避免用戶的數據無法恢復到初始狀態[8]。當然,在云計算環境中,數據殘留是最容易泄露敏感信息的,所以,云服務提供商同樣需要在這方面為用戶提供數據的安全保證。

2.3 數據審計安全

在云計算環境下,云計算服務商需要確保在對用戶提供必要的信息支持的同時,不對其他用戶的數據計算產生潛在的風險。此外,云計算提供商還要協助第三方機構,確保數據審計安全,即對數據進行安全性、準確性的審計,以此保證用戶的數據安全,也能夠在一定程度上,促進云計算服務商的可持續性發展。

3 云計算環境下的數據安全技術的應用

在云計算環境下,用戶的數據安全問題一直被人關注,如何應用其關鍵技術保護數據的安全就成為當務之急。一般而言,數據安全技術主要在以下方面得到應用:

3.1 在數據加密中的應用

在數據加密的過程中,要通過一個對稱加密算法密鑰生成器完成,其原理是首先隨機生成一個包含校驗信息的密鑰,然后,將該密鑰通過非對稱加密算法進行加密。最后,要對加密算法處理后的數據信息和對稱加密算法的密鑰的密文進行處理——將其作為一個數據包保存到云端。然后,一直重復上述過程,直到加密并發送完所有的數據包為止。當然,在對上述數據進行加密的過程中,需要對數據量巨大的用戶的數據通過對稱算法進行,而對數據量相對較小的要進行非對稱算法加密,這兩種(加密鑰和密文數據)要同時存儲到云端,對用戶來說,只需保存非對稱加密算法和解密密鑰即可。

3.2 在數據解密中的應用

在對數據進行解密時,解密的一方首先要對對稱加密算法的密鑰進行解密,使用的工具是非對稱加密算法的解密鑰,然后,要依據密鑰利用對稱加密算法對數據包進行解密,以此來還原原文。這樣,就完成了一次對數據包的解密。最后,再重復以上過程,直到所有數據包的解密工作都完成為止,這樣一來,加密前的原始數據就被全部還原了。通過這一過程,對稱加密算法密鑰管理問題就得到了完好的解決,即使非對稱加密算法的運算量較大,也不影響這一工作的進行。

3.3 在數據認證中的應用

從現實的情況看,認證技術在數據的訪問控制方面經常被使用,它一般采用基于身份認證權限控制的方式,對身份、權限認證和證書檢查進行實時的監控,以此來阻止用戶間的非法越權訪問問題出現。目前,常見的認證技術包括PIK技術、動態口令技術、矩陣卡技術以及一次性密碼技術等。

4 結束語

作為一種新的計算模式,云計算正在改變著IT產業的發展模式,也在改變著學術界對相關領域的已經形成的看法。同時,作為效能工具,云計算能夠將軟件作為服務的模式,在為用戶提供高性能計算服務的同時,還能夠實現低成本運作、快速反應和靈活調整以及規模經濟,這對當前競爭激烈的各個產業來說,選擇云計算是一個明智的選擇。本文從這一視角出發,對云計算模式下的數據安全問題、數據安全的關鍵技術與應用問題進行了系統的分析。但是,本文的研究畢竟是初步的,因為,云計算技術的發展前景不但極為廣闊,其發展速度也是信息產業的發展歷史中前所未有的。

參考文獻:

[1]胡光永.基于云計算的數據安全存儲策略研究[J].計算機測量與控制,2011,10:2539-2541.

[2]張啟云.云計算中數據安全問題的研究[J].計算機光盤軟件與應用,2012,6:25-26.

[3]劉新華,胡純蓉.云計算中數據安全關鍵技術和解決方案[J].計算機科學,2011,7:103-104.

[4]WANG Li-zhe,TAO Jie,KUNZE M.Scientific cloud computing:early definition and experience [C].Pro of the 10th IEEE International Confere- nce on High Performance Computing and Communications,2008: 825-830.

[5]張建勛,古志民,鄭超.云計算研究進展綜述[J].計算機應用研究,2010,2:430-433.

[6]郭春梅,畢學堯,楊帆.云計算安全技術研究與趨勢[J].信息網絡安全,2010,4:16-17.

第5篇

關鍵詞:云計算;分布存儲;關鍵技術

中圖分類號:TP333 文獻標識碼:A 文章編號:1007-9416(2017)04-0104-01

云計算本身具備著數據處理效率較高、數據存儲量較大的特點,但由于其本身的數據缺乏實時性,這就使得云計算的實際效用發揮受到了一定影響,而云計算在分布存儲技術中的應用就能夠較好化解這一影響,這樣云計算就能夠更好實現自身在各領域的廣泛應用。

1 云計算環境下的分布存儲關鍵技術的基本結構

為了較好完成本文就云計算環境下分布存儲關鍵技術展開的研究,我們首先需要明晰這一關鍵技術的基本結構,而結合相關文獻資料與自身實際認知,本文將這一基本結構劃分為以服務器為中心的結構、以交換機為中心的結構、服務器與交換機相結合的結構三類。

1.1 以服務器為中心的結構

對于以服務器為中心的結構來說,這一結構通過網絡線路實現服務器網卡的相連,服務器就能夠由此實現同一網絡體系下的互聯,Cam Cube數據中心網絡結構就屬于這一結構的代表。在云計算環境下分布存儲關鍵技術的基本結構中,以服務器為中心的結構本身的結構較為簡單,這就使得樹型結構中單點瓶頸問題往往較難出現,不過以服務器為中心結構常常出現的線路運行補償影響設備的安全穩定運行問題,卻必須引起我們重視[1]。

1.2 以交換機為中心的結構

對于以交換機為中心的結構來說,這一結構本身屬于傳統型分布存儲技術,不過雖然該結構具備著結構簡單、連接便捷的優點,但隨著我國信息化水平的不斷提升,以交換機為中心的結構已經不能較好滿足使用者需要,這就使得近年來云計算環境下分布存儲關鍵技術基本結構中以交換機為中心的結構數量不斷下降[2]。

1.3 服務器與交換機相結合的結構

除了上述兩方面外,服務器與交換機相結合的結構同樣屬于典型的云計算環境下的分布存儲關鍵技術基本結構,而結合上文中對以服務器為中心的結構、以交換機為中心的結構的論述我們不難發現,兩種結構都存在著各自的問題,而為了保證云計算環境下的分布存儲關鍵技術效用得以實現更好發揮,兩種結構開始了結合的嘗試。對于服務器與交換機相結合的結構來說,該結構在可擴展性、路由費用、網絡結構等方面都存在著較強的優勢,這些優勢就使得該結構能夠較好實現工作流程的簡化、存儲工作效率與質量提升、系統運行效益的提高[3]。

2 云計算環境下的分布存儲關鍵技術的應用

2.1 數據容錯技術

數據容錯技術本身屬于云計算環境下分布存儲的關鍵技術之一,該技術能夠實現系統設備可用性、海量信息數據訪問率的大幅提升,這就使得云技術分布存儲將在數據容錯技術的支持下始終為用戶提供優質信息服務,由此可見該技術的重要性。對于數據容錯技術來說,其本身可以細分為糾刪碼容錯技術與復制容錯技術,其中糾刪碼容錯技術本身屬于借助信道實現傳輸的編碼技術,這一技術通過實現對信息數據塊丟失的容忍實現數據容錯,不過該技術很容易引起數據失真問題,這點需要引起我們重視;而對于復制容錯技術來說,該技術主要通過相同模塊的創建實現數據容錯,這一技術本身具備著簡單易用的特點,但這種技術本身對于存儲空間提出的較高要求需要引起我們重視[4]。

2.2 節能技術

節能技術同樣屬于云計算環境下分布存儲的關鍵技術之一,該技術的應用主要是為了降低存儲系統能耗,其本身可以細分為軟件節能技術與硬件節能技術兩類,其中軟件節能技術主要通過云計算環境下的閑置計算機自動化關閉狀態進入實現,這自然就使得各方面的能耗率由此實現較好降低;而對于硬件節能技術來說,這一技術主要運用高性能設備取代低性能設備的方式實現云計算環境下的分布存儲節能,而全面替換高能耗結構并應用新型體系結構,就能夠極大程度上實現云計算環境下分布存儲的節能目標。

3 結語

在本文基于云計算環境下的分布存儲關鍵技術展開的研究中,筆者詳細論述了云計算環境下的分布存儲關鍵技術的基本結構與具體應用,而將結合這一系列論述內容我們能夠發現,“經濟、社會、生態”效益的取得是云計算環境下分布存關鍵技術具體發展目標,而相關技術人員也將由此認識到降低系統設備的故障發生率、運營成本,提高運營效益的重要性。

參考文獻

[1]趙鑫.基于云計算環境下的分布存儲關鍵技術分析[J].電子技術與軟件工程,2015,05:211.

[2]查楊.分析云計算環境下的分布存儲關鍵技術[J].電子技術與軟件工程,2016,02:190.

第6篇

關鍵詞:高校;信息化建設;云計算;關鍵技術;應用

中圖分類號:TP311 文獻標識碼:A 文章編號:1009-3044(2015)23-0005-02

隨著計算機技術的不斷發展,人們的學習、工作和生活變得越來越便利。而云計算作為一種新型的網絡架構模式,已成為如今網絡發展的主流趨向。對高校而言,云計算為高校推進信息化建設提供有利條件,也極大地提高了高校信息化建設水平,推動了高校事業的發展。研究云計算技術在高校信息化建設中應用策略已成為當下高校信息化建設領域的重要課題。

1 云計算技術的概述

1.1云計算的定義

關于云計算定義,一般可從廣義和狹義兩個角度來理解。其中,從廣義上講云計算是指服務的交付和使用方式,這里所指的服務包含與IT相關,與軟件相關的各種服務;而狹義的云計算主要是指通過網絡以按照需要、已擴展的方式來獲取所需要的軟件、硬件、平臺等資源。其中,提供這些資源的網絡稱之為“云”。隨著云計算技術的不斷發展和日趨成熟,已被廣泛應用于政府、企業、高校等企業事業單位,發揮著重要的作用。

1.2云計算的特征

云計算的特征主要體現為:超大規模、可靠性、虛擬化、通用性、成本低。具體如下:

1)超大規模。云計算為滿足用戶的各種需求,需要為用戶提供大量資源。而為保證資源充足和訪問速度快,必須依賴于數以千計、萬計的服務器組成。這些服務器共同構成計算機群。正是依賴超大規模服務器,賦予了用戶無盡的計算能力。

2)可靠性。可靠性是云計算技術的顯著特點。云計算通過多節點,多副本的為用戶提供服務,且用戶的數據被存儲在服務器之中,服務器可以依據不同的服務類型為不同的用戶提供服務。同時,由于數據被多節點、多副本的存儲,更加確保了數據的安全性和服務的穩定性,如果某一個節點出現問題,其他節點將會代替他進行服務。對用戶而言,通過安全的云備份可以不用擔心電腦硬件損毀或數據丟失等問題。

3)虛擬化。虛擬化主要體現在用戶對基礎設置的管理與應用上。用戶可以不受地點限制的使用計算機資源、存儲資源和軟件資源等。

4)通用性。云計算環境下,可以構造出不同的應用,且不同的應用可以均可以在“云”中運行。正是這種通用性,保證了其正常運行,一些新的計算不斷加入資源池,而一些故障節點排出后重新投入使用。

5)成本低。云計算的經濟性主要體現在其管理成本上,由于云具有較高的自動化和較強的通用性,其在使用過程中無需進行過多管理便可在短時間內完成多項工作,利用效率極大提升,具有成本低的優勢。

2 云計算對高校信息化建設的重要意義

對高校信息化建設而言,運用云計算技術的重要意義集中體現在如下幾個方面:

2.1 充分保證高校數據安全,實現高校數據的集中管理

隨著高校信息化建設進程的推進,越來越多的高校核心數據資源需要進行存儲。而依靠云計算技術的我可靠性、安全性特點,無疑是存儲高校核心數據資源的最好方式。同時,云技術服務實現了高校網絡服務資源的虛擬化,用戶無需擔心云的內部實現問題,只需要將數據存儲到云端。而其他的服務資源會由專人進行維護、管理和調度。高校核心數據在云端是通過快速加密方式進行存儲的,也正是因為在云端存儲可以避免硬件傷害,且數據加密可以極大地提高數據的安全性,用戶無需擔心數據的安全性、病毒以及黑客入侵等問題。

2.2 基礎架構建設成本較低,無需多次投入維護和升級

云計算的基礎架構耗費成本較低,不需要用戶購置昂貴設備,只需有可上網的接入設備、瀏覽器以便可以實現訪問云端。而云端通過基礎架構對外提供服務。云端用戶不需要購置昂貴硬件,也不需要進行相應的維護升級。高校在信息化建設中,只需要高校來進行軟硬件設備的投入,而用戶采用普通的電腦便可以接入云端,這為極大地降低了高校的軟硬件投入成本。

2.3 為高校教學提供靈活接入方式,方便教學活動開展

云計算技術為高校教學提供了靈活的接入方式,師生可以通過手機、PC端電腦、Ipad等各種終端接入云服務,且可以通過云服務觀看教學視頻、在線提交作業、與師生進行在線交流、參加網上考試等。學生通過各種終端都可以訪問云端,方便利用。而教師可以通過電子教案,在線答疑以及評閱學生作業等。

2.4 基礎架構及應用模式規范,方便實現教育資源共享

云計算技術的基礎架構及應用模式較為規范,通過基礎架構提供對外公共服務,通過云應用平臺為客戶提供私有云服務。通過云平臺實現了多種信息資源的整合和挖掘,同時依賴于云計算技術強大的協同能力,實現教育信息資源的共享和共建。這不僅有效地提高了高校信息化建設的效率,更提升了資源的利用率,減少了資源的重復性建設,保證了數據的一致性。

3 高校信息化建設中云計算技術運用的關鍵問題

高校積極運用云計算技術解決信息化發展中的問題,并分步驟,有條不紊的建設高校信息化云支撐平臺,逐步制定起PaaS,IaaS 和SaaS的演進路線,最終實現在高校范圍內各種教育、圖書等信息資源的快速配給、共享以及集中維護。這是高校信息化建設的發展趨勢。目前,高校在信息化建設過程中取得了很多豐碩的成果,也遇到了一些不適應的問題。這些問題必須充分借助云計算技術來解決。在高校信息化建設中運用云計算技術時,應注意如下幾個關鍵問題:

3.1 高校信息化建設中存在的問題分析

目前,高校信息化建設方面的問題主要體現在如下兩個方面:

一是,在基礎設施建設方面缺乏對軟件和硬件的合理規劃

高校在推動信息化建設過程中,普遍存在重視硬件,忽視軟件的問題,最終導致高校雖然投入了巨大的彩禮,但取得的效果甚微。云計算平臺不同是以穿件為基礎的,而高校在這方面先對缺失,最終造成高校硬件投入成本增加與硬件閑置之間的矛盾發生,耗費了自己,卻沒有實現基礎設施的合理規劃。

二是,在管理信息系統集成缺乏統一規劃,重復性建設嚴重

在建設高校信息化建設中,由于各部門對信息服務的需求存在差異,且他們過多的從自身的需求出發,影響高校信息化建設的整體性。這需要高校必須對各部門的需求進行匯總,通過協調統一,實現各部門之間信息的集合,減少各部門之間的分離,避免資源建設方面出現重復性。

目前高等學校信息化建設取得了很大的成果,但還存在一些與需求不相適應的問題,這就需要借助云計算技術加以解決,從而提高高校信息化建設的應用水平和效率。通過分析高校信息化建設中存在的問題,有利于更好的促進云計算技術在高校信息化建設中的應用。

3.2 高校數字化建設中運用云計算的關鍵技術

目前,在高校信息化建設中,應從如下幾方面入手:

一是,高校信息化基礎設施建設。從基礎設施層面建設,應對校園網絡進行統一規劃和建設,保證基礎設置的安全性和可靠性,減少資源的重復建設,從而最大程度提升基礎設施的利用效率。在校園網中,通過軟件和硬件架設起GFS體系結構。GFS體系結構由master和眾多chunk服務器否出,GFS的文件塊大小為64MB。GFS結構下數據均按1+2的冗余方式進行備份。在校園信息系統中應用云平臺的好處在于可以避免服務器單點故障,支持海量數據、具有整體高性能等。

二是,高校信息化業務的整合。伴隨高校信息化系統的增多,重復性數據出現的頻率也越來越多,這在一定程度上造成了人力、物力、財力的浪費。因此,有必要對高校信息化業務進行整合,構建完善的業務模型。可以以信息化系統硬件及數據庫、應用服務中間件等作為基礎,然后按照SOA體系架構和實施理念來搭建一個應用信息系統開發、運行、管理、監控的應用支撐平臺。同時也可以通過一定的技術將即時通訊、目錄服務、數據交換、權限服務、報表服務、內容管理等支撐組建加入應用支撐平臺之中,為高校信息化業務的開展提供完整二開發的支撐管理平臺。

3.3 充分運用云計算平臺,實現高校間資源的共享

高校信息化建設應盡可能的朝向混合云的方向發展。一般而言,我們可以將云分為專有云、公用云和混合云。這里僅對混合云進行闡述。混合云是專用云與公有云的有機結合。在推動高校信息化建設過程中,應強調采用混合云模式,通過將不同高校的專用云加入到公共云中,通過統一的標準來進行管理,這樣可以有效彌補一些高校的在資源上存在的不足,充分利用公共云實現高校之間資源的共享和互補,不可以極大的降低高校的建設成本,且可以為高校用戶提供更高質量的信息化服務。這些都是依賴于云計算平臺才能完成的。

4 結束語

云計算技術的優勢是顯而易見的,其對高校信息化建設帶來的巨大變化也是有目共睹的。因此,我們必須充分的運用云計算技術,發揮云計算技術在高校管理領域、教育領域以及圖書館建設等領域的重要作用,實現高校信息化建設需求與云計算技術的融合,使高校信息服務的作用得到最大程度的發揮,切實解決高校用戶的實際問題,滿足高校師生的各種需求,促進高校教育事業的更好更快發展。

參考文獻:

[1] 曹泰峰,李端明.云計算在高校信息化建設中的應用研究[J]. 現代情報, 2010(8):167-170.

[2] 楊克戎,韓興順.云計算與高校信息化建設中問題的解決方案[J]. 電腦知識與技術, 2009(20):5571-5573.

[3] 張磊.淺談基于云計算的高校信息化建設[J]. 電子制作, 2014(22).

第7篇

關鍵詞:云計算;關鍵問題;圖書館;應用

中圖分類號:G250.7

在互聯網信息和各種數據高速增長的今天,商業計算和科學工程需要更加強大的數據處理和存儲技術。因此,需要對當前計算程序進行擴展,使其達到容易學習、方便使用、滿足要求的目的。在這種情況下,云計算概念被提了出來,云計算技術在一定程度上也達到了節約成本和實現可擴放性的目的。因為云計算技術強大的服務能力,使其迅速成為當前產業界和科學學術界關注研究的焦點和熱點。

1 云計算技術的相關概述

1.1 云計算的定義

當前學術界并沒有關于云計算的統一定義,總結現有的說法,可以認為云計算系統是以收費使用的形式向用戶提供各種服務的分布式計算系統。云計算系統實現信息永久存儲,在使用時也可進行緩存的計算技術。云計算技術對應的客戶端可以是筆記本、界面器、手持設備等,很大程度上滿足了動態遷移的要求。

1.2 云計算系統的特點

云計算系統的特點可以概括為四個方面:支持虛擬化、提供服務質量保證、高可靠性實用性和可擴放性、自治性。

(1)支持虛擬化。云計算系統最基本的特點就是虛擬化,虛擬化的存儲器,虛擬機的服務器等,也由此大大提高了資源的利用率。

(2)提供服務質量保證。云計算系統能夠根據用戶的要求對系統做出適當調整,保證服務質量。

(3)高可靠性、實用性和可擴放性。對用戶而言,云計算系統必須是可靠的,同時還能隨時隨地地提供用戶所需要的服務,從而保證其可靠性、實用性和可擴放性。

(4)自治性。所謂自治性是指云計算系統的管理對用戶來講是透明課件,系統的不同部分可以進行自動優化配置,從而實現按需提供服務。

2 云計算技術的關鍵問題

云計算的思想可以追溯到20世紀60年代,經過幾十年的發展,云計算技術已經有了很大的進步,在云計算技術的發展過程,所遇到的關鍵問題可以歸結為如下幾個方面。

2.1 虛擬化技術

虛擬化技術是云計算技術發展中的首要關鍵問題。云計算是虛擬的存儲服務器,同時也是通過虛擬化的存儲服務技術,支持多個虛擬機運行多個操作系統,從而大大提高了服務器的利用率,同時也由于虛擬特性,實現了靈活可變、可擴展性的平臺服務。隨著虛擬化技術的發展和應用,如何對虛擬資源進行管理逐漸成為當前研究的熱點之一。當前采用廣泛的方法是采用兩級調度的方法將VM的管理集成到批調度器中,從而向用戶提供最大限度的調度服務,缺點是不支持虛擬資源的預定服務,同時完成嚴格的預定資源服務租賃也是非常困難的。

當前的云系統如Scientific Cloud、Amazon EC2等都是采用虛擬樣機的形式來滿足用戶對計算資源和計算能力的要求,但是用戶如何根據自己的要求整合這些虛擬機使其成為一個工作群還是一個有待改進的問題。一般采用的方法是通過對虛擬機的IP地址、安全信息等上下文環境的分析,提出一種可以在多種虛擬機之間快速自動地部署上下文環境的機制,從而滿足用戶的特定要求。

2.2 網絡和安全

在計算機發展歷程中,曾經發生過的幾起信息泄露問題,無不對用戶造成了嚴重的損失。安全性永遠是用戶最關注的問題。用戶在使用云計算系統服務時,需要上傳數據并對數據進行存儲,云計算系統的安全至關重要。目前,云計算技術還處于初級發展階段,由于云計算是分布式的體系結構,不僅要進行數據的存儲,還要進行消息的傳遞、交互和共享,這就使得云計算體系的安全性問題變得更加復雜。目前有兩種較好的解決方法,一是通過減少敏感數據的傳輸,降低云計算使用的風險,要保證在不同的環境下都要減少敏感數據的傳輸與存儲;二是從網絡拓撲結構和傳輸數據堵塞控制的角度進行考慮,提出了語義控制策略語言,來描述不同客戶的存取策略,不同的客戶對于云計算需要提供的服務是不一樣的,因此需要靈活的存取機制,這也為安全提供一個途徑,通過不同的存取機制,來增強操作的靈活性和數據的安全性。

2.3 云計算系統仿真

云計算系統提供的必須是安全可靠、可擴展性的服務,因此必須對不同的基礎設施和服務進行度量和評估,以保證滿足相關協議的要求。在云計算系統的相關基礎設施搭建之前,為了確保其可行性,同時減少成本,有必要對其復雜的管理系統和運行機制進行仿真。如何開發出科學合理的仿真軟件,使其能對前期的運行機制和管理系統進行仿真,還能實現后期的追蹤和分析,這是一件極具挑戰性的問題。當前的研究中提出了不同的解決方案,例如云計算仿真軟件CloudSim、SPECI仿真工具等,都達到了很好的效果,但是還存在一定的缺陷,這是我們需要繼續堅持解決的問題。

2.4 云計算系統的成本

作為一種擁有超強數據處理能力和存儲能力的計算系統,云計算系統的經濟成本也是非常高的,這在一定程度上也阻礙了云計算系統的普及使用,因此如何制定出精確的成本模型變得尤為重要。影響成本模型的因素有很多,比如服務器、軟件、網絡元素和人為因素等不同的因素對模型的影響是不一樣。如何完整地考慮各個方面的因素,確定其不同的影響權重系數,從而制成精確的成本計算模型,對于降低云計算系統的成本是不可或缺的。

3 云計算系統在高職院校圖書館中的應用

云計算技術的超級計算和海量存儲能力,使得其成為當今數字圖書館研究的熱點問題,同時也為讀者提供了安全、高效的云個性化閱讀服務。云計算系統在高職院校圖書館中的應用主要可以從兩個方面來介紹:國外和國內的圖書館中的應用。

3.1 云計算系統在國外高職院校圖書館中的應用

國外第一個開放的圖書館自動化系統產生于1999年,它的目標客戶是小型的學校圖書館或者專業圖書館,它的出現也為后續大型的應用奠定了基礎。隨后在2006年,Amazon推出了彈性云計算EC2服務,主要的目標客戶是各種組織機構,服務內容為存儲服務和計算資源服務。目前,亞馬遜云計算服務已經得到了廣泛的應用,很多大型的圖書館都在使用,如哥倫比亞區公共圖書館。

被譽為業界最有影響的莫過于OCLC將“基于云”的概念服務引入了圖書館的系統中,這是圖書館界的第一個專業云計算服務,將會有廣泛的發展前景。

3.2 云計算系統在國內高職院校圖書館中的應用

在國內,云計算系統在高職院校圖書館中的應用還處于理論研究的階段。國內有關于“云計算和圖書館”的定期研討會表明國內的圖書館界已經開始充分重視云計算的發展,也預示著云計算系統將在圖書館界中產生重大影響

目前,已經基本建成了CALIS云服務平臺的框架,同時也在全國的多數高校中構建了分布式的數字圖書館服務平臺。借助云計算平臺,圖書館可以即時地為用戶提供最新信息,同時也簡化和壓縮了咨詢信息的服務過程,提高了圖書館的管理效率,減輕了圖書管理員的管理任務。用戶只需擁有一個可以和云計算端鏈接的終端設備,就可以輕松地獲取自己所需要的信息,大大降低了用戶獲取信息的難度和成本,因此,云計算系統在圖書館界的應用,不僅最大限度地實現了資源共享,還大大簡化了日常的信息獲取過程。

4 結束語

云計算系統具有超強計算和海量存儲的能力,同時還有方便使用、按需支付的特點,使其具有非常廣闊的應用前景,對于圖書館來說,云計算系統的能力和特點正是其所需要的,即使當前云計算在圖書館中的應用還處于理論研究階段,但是隨著相關工具和技術的不斷改善,相信云計算圖書館不久就可以更好地服務于各高職院校的學子們,服務于每個需要云計算系統的人們。

參考文獻:

[1]高婷.云計算給圖書館帶來的發展機遇[J].計算機光盤軟件與應用,2011(19):104-105.

[2]胡英俊.云計算技術在圖書館中的應用探討[J].前沿,2013(14).

[3]符嘯威.淺析云計算模式下的安全問題[J].計算機光盤軟件與應用,2012(5).

第8篇

關鍵詞:數據抽取;Hadoop;輿情

中圖分類號:TP311 文獻標識碼:A 文章編號:1009-3044(2016)15-0023-03

Abstract:The public opinion information data with massive, show data sources of unpredictability, article on the HTML page for noise reduction, sub tree construction, and then through the similarity calculation, combined with public opinion simple ontology library, the realization of the data block identification and record the data extract, finally to Hadoop platform for experimental environment and pumping out the algorithm experiment. Experimental results show that the algorithm in the public opinion data mining, automatic extraction of extraction rules has a certain reference value.

Key words:Data extraction; Hadoop; public opinions

1 概述

網絡輿情是某些社會事件發生后,在互聯網的平臺上,民眾針對其發展和變化過程的不同階段逐漸產生和發酵的社會態度,并借助于諸如論壇、博客、微博、微信、新聞跟帖等此類便捷的網絡媒體進行關注、表達或宣泄。由于網絡媒體的自由性和實時性,互聯網的便捷性和隨意性,網民針對社會過程中的各種問題,越來越多的傾向于借助網絡媒體跟帖、轉發、投票等方式暢所欲言,淋漓盡致地發表觀點,在極短時間造成內凝聚共識,并誘發行動,直接影響社會。[1]同時由于閱歷和思想認識水平的局限性,網民們往往會在短時間內難以認識事情背后復雜的社會,并認清其心理動因,從而造成非理性和過于主觀的聲音占據上風。從目前各領域內的一系列突發事件來分析,人們通過網絡媒體進行傳播爆發出的輿論能量不容小覷。各級行政機關、企事業部門都越來越重視互聯網輿情的監測,各專家學者也從不同方面對輿情進行分析研究,如從政策機制、評估體系策略[2]、用戶行為特征、網絡輿情傳播模式的研究和引導;技術上主要集中在網頁抓取、內容分析、語義識別、數據挖掘、主題識別與跟蹤等算法的研究等。在這在互聯網技術飛速發展,影響力日益巨大的時下,網絡已化身為思想文化的集散地和社會輿論的增強器,我們應充分認識以其為載體的新媒體的社會影響力。因此,對于如何快速、準確的發現互聯網上潛在輿情信息并對其進行有效監測、監控及正確引導勢在必行,本文通過對已有技術和知識進行分析總結的基礎上,引入了云計算技術,對以面對與高校相關的網絡輿情信息的數據抽取的關鍵技術進行了研究。

2 研究現狀

隨著互聯網技術的飛速發展,特別是互聯網的普及應用,我國的網民數量、網站數量以及網絡信息資源的容量以爆炸性的趨勢增長。據中國互聯網絡信息中心2016年1月的《第37次中國互聯網絡發展狀況統計報告》[3]顯示:網民通過各類移動設備進行網絡行為的用戶占全體網民總量的90.8%,規模達到了6.06億,其中手機占移動類網民的91%。同時,以互聯網為工具進行新聞獲取閱讀的用戶規模為5.55億,手機網絡新聞用戶規模為4.60億,相較于去年年底將近增長11%。如作為網絡環境下對新聞快速傳播形成熱點話題的微博、微信、來往等App應用借助于手機等無線設備,極大促進了網民對網絡輿情的接觸度和傳播速度,從而使Web成為一個以大數據為基本特征的全球化信息中心。這些在許多領域具有重要價值的海量數據具有多樣性、異構性且動態變化等特征,單純地依賴人工的方法難以及時、迅速地完成海量web信息的收集、 web輿情的發現及進一步的跟蹤。

針對網絡輿情監測迫切需要分析挖掘的這些海量數據,按其信息蘊藏的深度,可分為SurFace Web和Deep Web兩大類[4][5]。Surface Web是將各個獨立的HTML靜態網頁通過超鏈接進行連接,其內容能夠為當前的通用搜索引擎直接索引和檢索而無需與網絡數據庫進行交互;而Deep Web面向的是網絡服務器中的網絡數據庫,Deep Web的內容頁面在被查詢時才由Web服務器主動與數據庫服務器進行交互而動態按照某一特定的HTML布局生成后返回給提交查詢請求的訪問者。隨著信息化的不斷跨躍推進和互聯網技術的持續快速發展,以網絡數據庫形式存儲的資源成指數級增長,如今人們也已訪問網絡數據庫成為信息獲取的主要方式和方法。[6] Deep Web形式的數據內容分布于商業、經濟、計算機、教育、新聞媒體、娛樂等不同的領域;網絡媒體以BBS論壇、微博、微信、來往、博客、播客、新聞、跟帖等各種形式載體和展現,此類海量存儲在Deep Web背后的網絡數據庫數據已成為了供政府及企事業單位進行輔助決策的來源。但由于網絡數據庫隱藏在Web服務后端的隱蔽性,及各個Deep Web站點在網頁展現形式和表述質量的差異性,使得當前存儲DeepWeb數據的網絡數據庫搜索引擎只能實現大約33%左右覆蓋搜索,因此如何有效的、快速的且準確地在浩瀚的網絡數據庫中抽取信息資源成為當前輿情研究中首當解決的問題。

3 基于大數據的數據抽取的相關技術

3.1 數據抽取

數據抽取,也稱之為網頁信息提取,主要是從HTML源碼中去除一些如廣告、標語等噪聲信息,提取出標題、作者、正文等有用的信息。及時準確的信息提取為輿情系統提供可靠的數據源,數據抽取在web 輿情發現中至關重要,,它為輿情系統準確地發現相關信息提供基礎。信息的抽取過程按自動化程度一般可分為人工、半自動化及全自動化三種方式。網頁信息抽取是一種針對網絡數據庫中的數據通過分析、加工網頁的結構實現信息數據的提取的過程。由于網頁的復雜性、多樣性以及程序員構建過程的隨意性和習慣性,使得信息展現的模版不確定性和多樣性,針對不同的網頁模版抽取規則也不盡相同,信息抽取的方法也越來越多,按其實現原理大致可分為基于HTML結構、基于自然語言處理和基于本體幾類方式[7]。

3.2 Hadoop

Hadoop是由Apache基金會開發的一個開源的分布式系統基礎架構,其核心為實現為海量數據提供了存儲的分布式文件系統 (Hadoop Distributed File System,HDFS)和為海量數據提供了計算能力的分布式計算MapReduce。Hadoop為程序開發者提供了簡單易用的接口,用戶只需編寫 Map函數和Reduce函數即可實現分布式計算,而無需考慮諸如由Hadoop負責處理的任務調度,負載平衡和通信等問題[8]。

HDFS是能部署在廉價的機器上的分布式文件系統,用戶不需知道文件的實際存儲位置就能夠訪問分布在不同機器上的文件,具有高容錯性、高吞吐量、能自動處理失效節點的特點。HDFS包含三種類型的角色:用以實現系統命名空間的管理和客戶端文件訪問管理的Name Node,用以實現管理節點文件存儲的Data Node 和用于需要操作分布式文件系統文件應用程序的Client。MapReduce是包含一個主服務器Job Tracker和多個從服務器Task Tracker的主從式架構,Job Tracker是一個master服務,負責調度、監控和管理Task Tracker,并給空閑的Task Tracker分配Map任務和Reduce任務。

4 抽取框架

實現上主要對查詢結果列表頁和內容頁進行信息提取,提取過程中使用自建的簡單本地體庫抽取方法來實現抽取,主要過程為:數據清洗、數據塊識別,結果集抽取,抽取規則構建。

4.1 數據清洗

一般情況下,一個查詢結果頁面可能包含多個數據塊,如宣傳數據塊、數據信息數據塊、位置數據塊、導航數據塊等。其文檔中含有一些對抽取沒有價值的信息,如樣式表標簽、圖片標簽、命名空間標簽、內容標簽、表單標簽、媒體標簽、表格標簽等,直接對此類有大量無用節點的HTML代碼進行解析而生成的網頁標簽樹會十分臃腫,因此首先將列表結果頁和內容結果頁文件進行“瘦身”解析成標簽樹,并采用廣度優先遍歷方法對標簽樹中所有節點進行降噪處理,其過程如下:從根節點開始出發,直至發現表示正文開始的body標簽節點,將當前節點及其子樹提取后向下遍歷,判斷讀入節點是否是噪音節點,如果是則將該節點及其子樹刪除,循環直至到達樹末尾。經過上述過程的降噪處理,可以將網頁標簽樹中明顯的以上所提及的無用信息標簽及其間的內容刪除,從而降低了計算量,并極大簡化了后續算法的輸入。

4.2數據塊識別和數據記錄集抽取

一般情況下,每個查詢結果頁面一般只有一塊區域是用戶所關心并希望可以獲取的,這部分即為該頁面的數據信息部分,而其他的模塊則認為是對用戶數據塊信息順利的獲取的干擾因素,因此如何準確的識別出數據塊在HTML頁面的位置的至關重要。在完成對標簽樹清洗處理之后,我們需要發現并定位標簽樹中的數據塊,此數據塊包含查詢結果。分析比較多個經過清洗生成的查詢結果的標簽樹后發現:對于標簽樹中,某一父親節點T具有越多的結構相似的子樹越多,當比重超過一定的閥值,則該節點將越會是我們所關注的數據塊,針對這一思想實現如何快遞自動識別出的興趣數據塊,算法描述如下:

輸入:節點T下的兩顆子樹T1、T2

輸出:子樹T1、T2的相似度Sim(T1,T2)

算法:

1)初始化SumT1、SumT2、DisumT12;

2) 循環T節點直至遍歷所有的子節點{

3) 如果兩個節點的標簽相同{

4) Sum T1++; Sum T2++;

5) }

6) 如果兩個節點的有節點但標簽相同{

7) Sum T1++; Sum T2++; Disum T12++;

8) }

9) 如果T1節點樹有節點而 T2節點樹無節點{

10) Sum T1++; Sum T2++;Disum T12++;

11) }

12) 否則{

13) Sum T2++; Disum T12++;

14) }

15) Sim(T1,T2)=(SumT1+ SumT2- DisumT12)/( SumT1+ SumT2)

16) }

主站蜘蛛池模板: 潞西市| 科尔| 万年县| 崇义县| 东丽区| 云林县| 昆山市| 雅江县| 梁平县| 遂宁市| 呼伦贝尔市| 施甸县| 渝北区| 上饶市| 大同市| 雷山县| 闸北区| 亚东县| 利辛县| 乌恰县| 滨州市| 循化| 荣成市| 台江县| 白山市| 龙山县| 旬邑县| 洪洞县| 蒙阴县| 黑龙江省| 防城港市| 大新县| 栖霞市| 当涂县| 英山县| 固镇县| 大丰市| 金坛市| 双江| 藁城市| 长丰县|