借助微軟大數據實現快速發展
本文的目的是為微軟大數據提供一個情景提要，作為在創建詳細的宣傳信息和其他市場宣傳品之前，提供快速的信息的宣傳截至。新的TDM宣傳頁已經完成制作并提供出來以幫助解決方案銷售專員(SSP)、基礎平臺專家(PPS)、以及其他面向客戶人員，來介紹微軟大數據應用相關的成功案例。最終將形成一個全新的銷售宣傳手冊，來幫助我們的客戶深入了解這一領域并從中收益。
數據新世界
所以大數據有什么了不起的呢?大數據在IT產業已經成為一個熱門話題，因為它涉及對今天的商業一個重要的挑戰話題。數據世界正在不斷變化，而且客戶面臨的挑戰是不斷增加的數據容量、種類和速度。數據存儲的容量成倍增長，要歸功于新數據源的出現，如RFID、網絡和社交媒體。根據IDC的數據，在2020年全球數據的容量將達到35 ZB(即35萬億TB)，比2009年增加了44倍!數據類型或數據種類存儲也越來越多樣化。多數分析師認為，高達85%的新數據都是非結構化的數據，如文本、網絡日志、視頻、
照片。同時，捕獲數據的速度不斷增加，客戶希望能夠做出基于數據流的實時決策。例如一個大型零售商有一個RFID流的庫存水平，并且希望能夠在數小時之內做出庫存補充和定價的決策。
隨著數據的容量、多樣性、和速度呈現爆炸式的增長，存儲和處理數據在軟件和硬件兩方面的成本顯著降低。在硬件方面，過去幾十年計算和存儲能力呈現指數級的增長，硬件的成本也因此幾乎降低為零?，F在，您可以花費不到100美元即可完成1TB容量的存儲的采購。與十年前的價格相比，整整降低了100倍。在軟件方面，新興的技術，如Hadoop和MapReduce等，可以幫助客戶在基于行業標準的硬件環境當中建立大型分布式存儲和計算機群，顯著改變數據處理和分析的經濟效益。這些改進帶來了計算機歷史上首次存儲和處理數據的成本低于從這些數據當中獲得的預期價值。例如，組織可以選擇存儲數年的網絡日志數據，即使它們并不知道將來這些數據可以被用以何種用途，而在過去，它們并不會將這些數據保存一個月以上。這種“解決一切”的方法和不斷改變的經濟影響正在迎來新一輪的機器學習和先進分析的研究熱潮，如神經網絡、基因算法、圖像分析、以及TB級的數據分析和預測模型等應用領域，正在引領客戶來不斷尋求一系列新的業務相關的問題答案。
這些新的問題包含了社交網絡分析、如我們的品牌和產品定位是怎樣的?我的在線競爭策略如何更加有效?我應該聯系誰?我該如何進行優化以吸引正確的目標讀者?需要連接到實時數據反饋的問題、如一個大型的運輸公司需要使用實施的天氣資訊和交通狀況數據，來優化他們的運送和交付線路，以實現更好的交付時間、降低運輸成本;需要先進分析的問題、如金融公司通過機器學習來構建更好的超越了簡單的業務規則的反欺詐檢測算法，通過引用支付頻率和地點、以及包括針對個人定制的購買模型等，帶來更好的客戶體驗。
這些趨勢第一次將企業的財務表現和它們的投資通過一個現代的信息管理系統建立直接的關聯。這些新的需求挑戰傳統的數據管理技術，并且需要一個新的解決方案來幫助組織有效地管理、優化、并從任意數據當中獲得內在的業務洞察。
微軟為所有的數據提供了一個端到端的平臺，并提供了最容易使用的工具來分析這些數據。微軟的數據平臺可以無縫地從任意地點(包括本地服務器或云端)、管理任意大小(GBàTBàPB)的所有數據(包括關系型、非關系型、以及流數據)，通過將世界的數據連接到一起，豐富現有的數據集合，并幫助用戶通過Microsoft Office和SharePoint等用戶熟悉、易于使用的工具，從這些數據當中獲得洞察力。
現在，客戶可以通過我們行業領先的數據庫產品—SQL Server 2012、SQL Server Parallel Data Warehouse應用系統、行業排名第一的數據集市—Azure Marketplace數據集市等來管理他們的關系型數據，以及用戶熟悉的商業智能工具，如PowerPivot for Excel和Power View for SharePoint等來管理它們的關系型數據。此外，我們支持新的功能，如通過SQL Server StreamInsight提供的流數據支持功能，我們將包含一個新的在Windows Azure平臺上的基于Hadoop分布式平臺和Windows Server來處理PB級的非結構化的數據，幫助您實現您的基于SQL Server的關系型數據庫當中的數據、以及在Hadoop當中的非結構化的數據的快速移動。
從任意地方管理任意大小的任意數據數據管理的需求已經從傳統的關系型數據存儲演變成為關系型數據和非關系數據存儲并存的時代，現代信息管理平臺要能夠支持所有類型的數據。SQL Server在支持非傳統和非結構數據類型，如 XML、blobs 和file-streams上面，已經有很長的歷史。我們將沿著這條道路繼續努力，SQL Server也將提供在企業內部服務器和云上的企業級Hadoop支持。
除了支持所有類型的數據、支持從非關系型數據存儲(如Hadoop)移出和移入數據以外、現在關系型的數據倉庫也是大數據客戶使用模式之一。例如，Yahoo，作為Hadoop應用領域的先驅之一，將其網絡日志信息存儲在一個6PB的Hadoop集群當中，并集成了一個24TB的SQL Server Analysis Services Cube來支持常用的商業智能分析工具，如Excel和PowerPivot等來進行數據分析。為了支持這一常用的使用模式，我們提供了存儲在Hadoop和現有的SQL Server數據倉庫環境—如SQL Server Parallel Data Warehouse—等之間的支持高速數據移動的連接器。
在我們推出我們的基于Hadoop的產品時，我們把Windows的可靠性、可管理性、和易用性融入到Hadoop環境當中。我們將重點關注通過集成Active Directory實現產品的安全增強，通過與System Center集成，減少打包和軟件分發時間，從而簡化運營管理并大大減少安裝和配置部署時間。這些功能改進將使得IT能夠在整個Hadoop集群當中采用一致的安全策略，并通過System Center所提供的一個單一的面板來管理它們。對于我們在Windows Azure平臺上提供的基于Hadoop的服務，我們將會繼續降低服務部署的門檻，為客戶提供以服務的方式使用大數據的功能，通過基于Web的門戶來簡化Hadoop集群的設置和配置。微軟將會成為業界唯一一家同時提供了在企業內部服務器上和云端部署可擴展的大數據解決方案的廠商，所有的產品均部署在一個通用的平臺上，提供了用戶熟悉的、功能強大的商業智能工具。
最后，我們不僅提供基于開源的Hadoop的軟件產品，而且承諾反饋我們的更新到Hadoop社區。微軟承諾對Apache Hadoop API提供100%的兼容性，所以所有基于Apache Hadoop編寫的應用程序將能夠在Windows平臺上運行。通過與Hortonworks密切協作，微軟已經正式提交了在Windows Azure和Windows Server上提供基于Hadoop的軟件方案的實現方案，并將其作為Apache基礎代碼變更的一部分。此外，我們也在同更多的功能進行協作，如Hive Connectivity，以及由微軟和Hortonworks聯合開發的JavaScript庫，并將其作為Apache Software Foundation貢獻的一部分。
通過與全世界數據連接在一起提供增強的功能
從未像今天這樣有如此豐富的外部可用的和有價值的信息，涵蓋了以下這些不同的應用領域：
l 個人數據：由我或者我的伙伴創建的數據，有相關的任務需求;
l 組織數據：是在整個組織范圍內維護和管理的數據;
l 社區數據：是來自組織外部的數據，如采集的分享到公用的公共領域的第三方的數據集，如data.gov或社交網絡數據;
世界數據：這是在全球舞臺上的所有其它數據，例如來至傳感器的數據或日志文件，
l 以及已經出現的技術，如支持大數據的Hadoop。
借助外部數據來豐富您的數據，能夠以一種過去不可能的方式來幫助您回答新的問題并提供新的價值。例如Klout，一個快速成長的創業公司，旨在幫助每個人了解和利用他們的社會影響。他們使用來自13個不同社交網絡的數據，每天處理30億的消息，來衡量和排列用戶的影響力。在幾年前，Klout整個商業模式根本不存在，因為他們沒有辦法將他們的數據連接到世界數據。通過將您需要的外部數據整合到您的數據平臺，來豐富您的數據源，從而讓您能發現、整合和優化您的數據。
l 發現數據：今天，在組織內部很難找到合適的數據，更何況在外部。一個典型的分析師花太多的時間從成千上萬信息來源搜尋正確的數據，對生產力產生負面的影響。我們將從整個世界范圍內搜尋，根據用戶是誰、從事怎樣的工作將其所需的信息提供給用戶。
我們提供專門的工具，來發現組織內部和外部數據。Azure代號為“Data Explorer”的實驗室，旨在幫助客戶通過自動提議，來發現相關數據集，例如，如果一個分析師建立一個為中小型客戶細分模型，并選擇客戶數據集，該工具就可以自動推薦相關數據集，如Dunn和Bradstreet提供有用的信用信息。另一個代號為“Data Hub”的實驗室，旨在幫助組織創建一個私有的專屬數據市場，提升組織內部的數據發現、共享和分析的模式。Azure Marketplace數據集市能夠發現和共享外部防火墻和第三方數據源。
l 聯合數據：通過Azure Marketplace，我們幫助客戶連接到數據、智能挖掘算法和在防火墻以外的人。通過聯合信息從社交媒體網站，如Twitter和Facebook，客戶可以解鎖關于他們客戶的價值信息，加強客戶關系和增加收入?；谠频膶嶒炇掖枮?ldquo;Social Analytics”的項目讓客戶集成設計媒體數據到商業應用程序。此外，Windows Azure Marketplace從受信任的第三方供應商，如：D&B、United Nations、US Census Bureau等等，提供成千上萬的數據集。它還提供第一和第三方應用程序和挖掘模式，客戶可以從他們的數據集當中獲得新的業務洞察。
優化外部數據：我們使得客戶將原始數據轉換為有意義的業務洞察，通過企業信息管理功能和先進的分析優化數據。通過SQL Server Integration Services(IS)、以及SQL Server Data Quality Services(DQS)數據清洗和SQL Server Master Data Services(MDS)數據管理等功能組件，SQL Server提供了強大的數據轉換功能。在先進分析當中，我們提供了SQL Server Analysis Services(SSAS)數據挖掘工具和支持常用第三方工具和l 框架，如‘R’ 和Mahout。
為所有用戶提供的可操作的洞察
毋庸置疑，大數據的真正價值是提供關于新數據的新的業務洞察，包括之前丟失或存檔的非結構化的數據。早期的大數據適配器只實現了這樣一種功能，如，麥肯錫指出一家全球型的飲料公司降低其庫存，并提高了其在核心市場的預測精度達5個百分點，而實現這一目標是在其庫存計劃當中整合了天氣數據(如某天的溫度、降雨量、以及日照時間等)。
要全面實現這一價值，企業需要驅動所有的用戶采用正確的工具，而不只是只有BI專家或數據科學家進行組織協作，這些正確的工具應當能夠在所有的設備上運行，以支持所有的用戶。通過熟悉的工具如PowerPivot for Excel和Power View for SharePoint，我們使得所有的用戶能夠在所有結構化和非結構化的數據上進行分析和制定決策。通過Hive Add-in for Excel和Hive ODBC Driver，我們幫助所有的終端用戶實現了到Hadoop當中的數據的簡單和直接的訪問。
對于開發人員而言，我們降低了產品所要求的技術集的門檻、通過編寫運行MapReduce作業的基于JavaScript的第一級類語言，簡化了Hadoop的編程
結論
數據世界正在經歷大的變革，客戶的期望也在相應地變化。我們同時為存儲在內部服務器上和云端的結構化的、非結構化的、以及流數據，提供了最完整的和可擴展的數據存儲功能?？蛻艨梢酝ㄟ^發現、優化和連接到位于組織外部的數據、設備、和人員，來豐富現有的數據集，并幫助所有的用戶通過熟悉的Excel和SharePoint等工具，從大數據當中獲得新的業務洞察。
特別地，微軟的大數據解決訪問提供了一個最好的端到端的平臺，幫助用戶通過我們行業領先的SQL Server 2012、SQL Server Parallel Data Warehouse應用系統來從任意地方來管理任意大小的任意數據，SQL Server StreamInsight實現了對流數據的管理，新的功能如我們在Windows Azure和Windows Server上的基于Hadoop的分布式解決方案實現了對PB級的非結構化的數據的處理。通過業界第一個數據集市—Azure Marketplace數據集市—連接世界的數據從而豐富您的數據。通過用戶熟悉的工具，如PowerPivot for Excel、以及Power View for SharePoint等，幫助用戶從任意地點利用任意設備來為所有用戶釋放可操作的業務洞察。
