老編近日參閱了些市場資料發現,現今聯網裝置的數量已和全球人口總數不相上下,預計到2015年還會增加一倍,其中主要的成長動力來自數十億的聯網感測器和智慧型系統,也就是大家熟知的物聯網(Internet of Things,IoT)。從智慧型手機與平板電腦等行動裝置一直到支援RFID技術的讀取機(readers)與感測器(sensors),不論是人或機器都能以飛快的速度產生資料。
事實上,英特爾近些年也做了些調查,估計全球每11秒就會產生 1petabyte的資料,據說,這樣的資料量相當於長度達13年的高解析度影片。巨量資料指的正是這種爆炸性成長的資料 – 其特徵包括龐大的資料量、多元性、以及成長速度 – 透過巨量資料分析可能帶來新的科學發現、商業模式、以及消費者經驗,讓我們的生活更精采豐富。
我想買過Intel股票的人都知道,英特爾的理念是世界上的每個人與組織都有能力善用巨量資料帶來的資訊。英特爾的目標是克服在管理、儲存、保護如此龐大資料所涉及的成本、複雜度以及保密等方面的問題。
為解決這些問題,英特爾也提供多種開放性資料管理與分析軟體平台,其中包括Intel Distribution of Apache Hadoop* (Intel Distribution)軟體,以及Intel Enterprise Edition for Lustre*軟體。
大家都很耳悉的Intel Distribution of Apache Hadoop 軟體 - Hadoop 是開放原始碼框架,用於可擴充的伺服器叢集上儲存與處理多元化資料。Intel Distribution率先提供完整的加密功能,透過在Intel XeonR處理器內的Intel 進階加密指令集(AES New Instructions)來執行加密運算。再加上Hadoop Distributed File System*分散式檔案系統支援以矽晶片執行的加密功能,讓企業能夠更安全地分析其資料集,而且處理速度絲毫不減。Intel Xeon處理器平台針對網路與IO技術進行的最佳化,造就出更上一層樓的效能。過去得花上超過四小時才能分析完1 terabyte的資料,現在只須七分鐘就能完成,這都要歸功於英特爾硬體與Intel Distribution軟體快速處理資料的能力。 還有,Intel Enterprise Edition for Lustre軟體 – Lustre是開放原始碼的平行分散式檔案系統,也是關鍵的儲存技術,它不僅把資料連結在一起,還帶來極快的存取速度。Intel Enterprise Edition for Lustre軟體是通過驗證並有供支援的Lustre軟體,內含許多管理工具,並針對Intel Distribution軟體提供新的連結程式。搭配Intel Distribution一起運作時,Intel Enterprise Edition for Lustre軟體讓Hadoop能在Lustre上運行,因此大幅縮短資料存取與分析的速度,這讓使用者能更快速地直接從全球檔案系統存取檔案,進而縮短分析時間,且更有效率地運用各種儲存資源並簡化儲存管理流程。
由於Intel致力向開放原始碼社群回饋Apache Hadoop以及Lustre的改良成果,主要目標是: 提供業界更好的基礎,藉此推升創新的極限,並實現巨量資料帶來的轉型契機。
(下期待續)