自從Hadoop在2008年作為Apache開源項目發(fā)布以來，它就一直讓人備感興奮，原因在于它結(jié)合了成本低、可擴(kuò)展性佳以及無需構(gòu)建預(yù)定義模式(predefined schema)就能靈活地處理任何數(shù)據(jù)等優(yōu)點。在大數(shù)據(jù)時代，許多人寄希望于Hadoop廠商們能夠開發(fā)出成熟可靠的工具、功能和技術(shù)創(chuàng)新，以更經(jīng)濟(jì)的方式、更好的性能實現(xiàn)數(shù)據(jù)處理和分析。擁有近20年數(shù)據(jù)集成創(chuàng)新經(jīng)驗和領(lǐng)導(dǎo)才能的Informatica，擴(kuò)展了其數(shù)據(jù)集成平臺以支持Hadoop，***發(fā)布的Informatica 9.5提供了全新及擴(kuò)展功能，極好的釋放了Hadoop潛能，幫助客戶實現(xiàn)大數(shù)據(jù)***投資回報。

　　Hadoop 可幫助您實現(xiàn)什么?

　　Hadoop的***價值是什么?主要包括兩方面：一是Hadoop可以幫助降低大數(shù)據(jù)的成本;二是Hadoop能夠真正提高大數(shù)據(jù)的價值。精益原則在大數(shù)據(jù)時代比以往任何時候都有效，并且是使大數(shù)據(jù)不成為大債務(wù)的關(guān)鍵。Hadoop使企業(yè)能夠使用精益數(shù)據(jù)管理，以降低數(shù)據(jù)成本，這包括：業(yè)務(wù)成本、硬件成本、人工成本、軟件成本、存儲成本。此外，通過易訪問性、可操作性、權(quán)威性、整體性、相關(guān)性、安全性、及時性、可信性等特性，Hadoop還能幫助客戶增加數(shù)據(jù)的價值。

　　一些開路先鋒已經(jīng)投入很大精力來開發(fā)Hadoop，Hadoop取得的成功同時也促使主流市場對其穩(wěn)定性、成熟的管理等更高的需求。這個群體中有影響力的主要廠商包括Cloudera、亞馬遜、MapR、Hortonworks、DataStax、EMC、IBM、Informatica、微軟和甲骨文等。

　　采用成熟、先進(jìn)的數(shù)據(jù)集成平臺釋放Hadoop的潛能

　　在IT環(huán)境中，Hadoop不可能作為一個孤島存在。為了讓Hadoop可以跨越不同平臺并成為一種主流技術(shù)，用戶需要將Hadoop作為他們IT大環(huán)境中的一部分來管理，通過Hadoop重復(fù)使用他們的開發(fā)技巧、資產(chǎn)及數(shù)據(jù)，并統(tǒng)籌管理全部數(shù)據(jù)。Informatica 9.5 為企業(yè)帶來了他們所需的交互性、生產(chǎn)力以及可管理性，以便快速采用Hadoop并***化他們的大數(shù)據(jù)投資回報。

　　我們從數(shù)據(jù)處理的六大步驟說明Informatica怎樣來釋放Hadoop的能力。***步，是將數(shù)據(jù)攝入到Hadoop;第二步，發(fā)現(xiàn)Hadoop數(shù)據(jù)的異常、關(guān)系和域類型;第三步，在 Hadoop中解析和準(zhǔn)備數(shù)據(jù)，這對于Informatica來講是非常獨特和重要的，現(xiàn)在數(shù)據(jù)類型非常多，要對其進(jìn)行分析，首先要解析，將其變成可以工作的結(jié)構(gòu)型數(shù)據(jù);第四步，在Hadoop中轉(zhuǎn)換和清洗/標(biāo)準(zhǔn)化數(shù)據(jù)，數(shù)據(jù)一旦格式化后就可以進(jìn)行轉(zhuǎn)換、過濾、集成、分類等等;第五步，在Hadoop上調(diào)用自定義業(yè)務(wù)分析;第六步，從Hadoop上讀取數(shù)據(jù)，目前一些大的報告工具，還不能夠直接在很多平臺上運行，因此需要把計算結(jié)果提取出來放到傳統(tǒng)數(shù)據(jù)庫中。當(dāng)然，在一到六步的實現(xiàn)過程中，企業(yè)還需要管理整個過程，需要監(jiān)督、監(jiān)視系統(tǒng)發(fā)生情況。

　　Informatica 9.5已經(jīng)實現(xiàn)了上述提到的一、三、六步的功能，而二、四、五步功能則將在年底推出的Informatica 9.5.1中實現(xiàn)。下面主要介紹Informatica 9.5中已實現(xiàn)的功能。

　　Hadoop 的數(shù)據(jù)輸入和輸出

　　在大數(shù)據(jù)時代，每小時要移動數(shù)十TB的交易數(shù)據(jù)、交互數(shù)據(jù)和流數(shù)據(jù)，我們希望能夠提供不同的方法來提取和裝載數(shù)據(jù)。Informatica PowerExchange for Hadoop可提供與HDFS和Hive適配器高性能連接，企業(yè)能夠向Hadoop輸送所有數(shù)據(jù)以便集成和處理大數(shù)據(jù)，通過與包括大型機(jī)、數(shù)據(jù)庫及應(yīng)用程序在內(nèi)的所有數(shù)據(jù)(無論企業(yè)內(nèi)部還是云中)的統(tǒng)一連接，可以輕松地以批量或?qū)崟r方式在Hadoop系統(tǒng)中取送數(shù)據(jù)。

　　PowerExchange for Hadoop具備了易于使用和管理的開發(fā)環(huán)境，其元數(shù)據(jù)驅(qū)動方法為快速設(shè)計和開發(fā)提供了便利。該軟件與Informatica PowerCenter全面集成，能夠輕松地部署、排除故障和升級，圖形化設(shè)計環(huán)境則使之易于在預(yù)加載和后處理階段解析、轉(zhuǎn)換及清洗數(shù)據(jù)。此外，它還能對HDFS連接以及加載時間等操作統(tǒng)計數(shù)據(jù)進(jìn)行管理和監(jiān)控。

　　在 Hadoop 上解析和準(zhǔn)備數(shù)據(jù)

　　Informatica HParser是***款Hadoop環(huán)境下的數(shù)據(jù)編譯轉(zhuǎn)換解決方案，能把任何非結(jié)構(gòu)和半結(jié)構(gòu)數(shù)據(jù)--諸如網(wǎng)絡(luò)記錄、社交媒體數(shù)據(jù)、通話詳細(xì)記錄以及其他數(shù)據(jù)格式--轉(zhuǎn)換為更具結(jié)構(gòu)性的格式，可以得到更快速的使用和生效，從而驅(qū)動業(yè)務(wù)發(fā)展、提高運營效率。利用Informatica HParser這一覆蓋了大范圍數(shù)據(jù)格式、基于引擎的解決方案，用戶能大大簡化并加快數(shù)據(jù)分析過程，有效避免處理過程中的風(fēng)險并削減定制編譯腳本的成本。

　　用于創(chuàng)建和維護(hù)轉(zhuǎn)換的HParser可視化集成開發(fā)環(huán)境(IDE)可以加速開發(fā)過程，并提高開發(fā)者生產(chǎn)力。HParser還將開發(fā)中的多層次及關(guān)系轉(zhuǎn)化為更為扁平、易于使用的格式，并允許業(yè)務(wù)規(guī)則進(jìn)行確認(rèn)。HParser支持靈活高效地處理Hadoop里面的任何文件格式，為Hadoop開發(fā)人員提供了即開即用的解析功能，以便處理復(fù)雜而多樣的數(shù)據(jù)源，包括日志、文檔、二進(jìn)制數(shù)據(jù)或?qū)哟问綌?shù)據(jù)，以及眾多行業(yè)標(biāo)準(zhǔn)格式(如銀行業(yè)的NACHA、支付業(yè)的SWIFT、金融數(shù)據(jù)業(yè)的FIX和保險業(yè)的ACORD)。利用HParser，開發(fā)者可以創(chuàng)建MapReduce中的應(yīng)用邏輯及數(shù)據(jù)源之間的抽象層，該特性允許應(yīng)用邏輯一經(jīng)創(chuàng)建便可實施在多種不同數(shù)據(jù)源中，這樣可以允許項目便捷地延展。利用相同的集成開發(fā)環(huán)境，設(shè)計組件可以拓展到企業(yè)的其他部分，而不僅僅限于Hadoop項目。

　　作為全球領(lǐng)先的企業(yè)數(shù)據(jù)集成軟件提供商，Informatica一直以來都是各大廠商進(jìn)軍大數(shù)據(jù)領(lǐng)域爭搶的對象，不只是因為全球近5000家企業(yè)依賴Informatica方案管理其在本地的、云中和社交網(wǎng)絡(luò)上的信息資產(chǎn)，還因為它在數(shù)據(jù)方面強大的技術(shù)能力。Informatica旨在提供一款單一平臺，借助統(tǒng)一的環(huán)境和方法，全面滿足數(shù)據(jù)管理和數(shù)據(jù)集成方面的要求。