【51CTO 11月15日外電頭條】企業(yè)對(duì)Hadoop以及大數(shù)據(jù)相關(guān)技術(shù)的興趣日益高漲，這同時(shí)也讓大數(shù)據(jù)技術(shù)方面的專(zhuān)家成為炙手可熱的人才。

在本周于紐約舉行的Hadoop全球大會(huì)上，眾多分析師與IT管理者一再?gòu)?qiáng)調(diào)目前企業(yè)所面臨的主要挑戰(zhàn)之一就是在部署Hadoop方面人才匱乏。他們甚至表示，只要技術(shù)嫻熟、堪當(dāng)重任，企業(yè)愿意為這類(lèi)員工繳納健康保險(xiǎn)。

目前相關(guān)人才之短缺從以下事例中可見(jiàn)一斑：來(lái)自JP摩根大通公司以及eBay的IT高管們?cè)跁?huì)上發(fā)展主題演講，以借機(jī)匯集觀眾。

eBay公司體驗(yàn)、搜索與平臺(tái)部門(mén)副總裁Hugh Williams向觀眾們表示，目前他們正在誠(chéng)意招聘Hadoop專(zhuān)業(yè)人員，并熱情邀請(qǐng)感興趣的朋友與他面對(duì)面進(jìn)行交流。

而JP摩根大通公司總經(jīng)理Larry Feinsmith則半開(kāi)玩笑地聲稱(chēng)，他們不僅樂(lè)意雇用合格的專(zhuān)業(yè)人士，更會(huì)提供比eBay高出10%的優(yōu)厚待遇。

在企業(yè)內(nèi)部，“Hadoop可謂次世代的數(shù)據(jù)倉(cāng)庫(kù)，應(yīng)該被看作新型數(shù)據(jù)源，”Forrester研究公司分析師James Kobielus如是說(shuō)。“能夠熟練使用Hadoop的人才理應(yīng)獲得更理想的薪酬，”因?yàn)樗麄儗?duì)企業(yè)的幫助極為巨大。

比起當(dāng)下常用的傳統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)，Hadoop使得企業(yè)可以存儲(chǔ)并管理更為龐大的結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)卷。

越來(lái)越多的企業(yè)開(kāi)始試探性地摸索這一技術(shù)，旨在為像博客、點(diǎn)擊流數(shù)據(jù)以及社交媒體內(nèi)容這樣數(shù)據(jù)量甚巨的服務(wù)提供存儲(chǔ)及分析功能，以期獲得更進(jìn)一步的客戶及業(yè)務(wù)洞察能力。

Kobielus認(rèn)為，隨著企業(yè)部署量的增加，此類(lèi)分析技術(shù)人才的身份也必然要水漲船高。而且很多領(lǐng)域的專(zhuān)業(yè)人士都有潛力在Hadoop上大顯身手，例如具備多元統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、預(yù)測(cè)建模、自然語(yǔ)言處理、內(nèi)容分析、文本分析以及社交網(wǎng)絡(luò)分析等職業(yè)背景的技術(shù)人員。

“更加廣義的大數(shù)據(jù)——特別是在Hadoop當(dāng)中——需要管理者具備高級(jí)分析領(lǐng)域的工作經(jīng)驗(yàn)，例如使用像MapReduce及R這樣的新生代方案處理預(yù)測(cè)及統(tǒng)計(jì)建模，”他說(shuō)道。他同時(shí)補(bǔ)充說(shuō)，以上這些正是數(shù)據(jù)分析師或數(shù)據(jù)科學(xué)家在Hadoop環(huán)境中經(jīng)常要應(yīng)對(duì)的結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)，在它們的幫助下企業(yè)能夠顯著提升洞察力及商務(wù)智能性。

Hadoop贏得的廣泛關(guān)注也給企業(yè)帶來(lái)了對(duì)Hadoop平臺(tái)管理專(zhuān)家的剛性需求，Kobielus表示。他們工作是負(fù)責(zé)Hadoop集群、安全及管理，并對(duì)其進(jìn)行優(yōu)化以確保集群對(duì)企業(yè)的可用性。Hadoop應(yīng)用程序之所以能夠順暢工作，靠的是“這些專(zhuān)家為其搭建及優(yōu)先的運(yùn)行平臺(tái)”，他說(shuō)道。

“原先負(fù)責(zé)管理Teradata及甲骨文Exadata的數(shù)據(jù)庫(kù)管理員往往正是意圖向Hadoop集群管理進(jìn)發(fā)的主要群體，”他說(shuō)。“他們會(huì)意識(shí)到這是一片全然不同的天地。”此外，存儲(chǔ)管理專(zhuān)家也不可或缺，他們所做的工作能夠幫助Hadoop環(huán)境與現(xiàn)有傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)相結(jié)合。

目前對(duì)Hadoop專(zhuān)業(yè)人員的需求主要分三大類(lèi)：數(shù)據(jù)分析師（又稱(chēng)數(shù)據(jù)科學(xué)家）、數(shù)據(jù)工程師以及IT數(shù)據(jù)管理專(zhuān)家，Martin Hall如是說(shuō)。他是Karmasphere公司總裁，該公司的主要經(jīng)營(yíng)項(xiàng)目正是為Hadoop環(huán)境開(kāi)發(fā)軟件產(chǎn)品。

Hall認(rèn)為，數(shù)據(jù)管理專(zhuān)家的職責(zé)在于選擇、安裝、管理、規(guī)范以及擴(kuò)展Hadoop集群。正是這些專(zhuān)家決定了Hadoop是應(yīng)該立足于云還是采取預(yù)置模式，包括供應(yīng)商該如何選擇、使用哪一款Hadoop分布方案、集群規(guī)模以及被用于運(yùn)行生產(chǎn)應(yīng)用程序還是用于進(jìn)行質(zhì)量測(cè)試等。這一職位應(yīng)該具備的技能，與負(fù)責(zé)傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)與數(shù)據(jù)庫(kù)環(huán)境類(lèi)的任務(wù)頗為相似，他指出。

同時(shí)，Hadoop數(shù)據(jù)工程師還要負(fù)責(zé)創(chuàng)建數(shù)據(jù)處理工作以及建立分布式MapReduce算法，以供數(shù)據(jù)分析師使用。那些在Java和C++等領(lǐng)域技能水平較為突出的專(zhuān)業(yè)人士能夠在企業(yè)大規(guī)模部署Hadoop的浪潮中尋得更多機(jī)會(huì)，他說(shuō)道。

第三類(lèi)專(zhuān)業(yè)需求則是在SAS、SPSS以及以R為代表的編程語(yǔ)言等方面具備豐富經(jīng)驗(yàn)的數(shù)據(jù)科學(xué)家，Hall指出。此類(lèi)專(zhuān)業(yè)人士能夠?qū)⒔ⅰ⒎治觥⒐蚕硪约爸悄苷霞右约校⒋鎯?chǔ)于Hadoop環(huán)境當(dāng)中。

就目前來(lái)看，Hadoop領(lǐng)域的人才短缺意味著企業(yè)會(huì)更加依賴(lài)于服務(wù)供應(yīng)商提供的部署技術(shù)。支撐這一論點(diǎn)的一大跡象是，在專(zhuān)業(yè)的咨詢(xún)及系統(tǒng)集成行業(yè)內(nèi)，專(zhuān)攻Hadoop實(shí)際應(yīng)用帶來(lái)的收入要遠(yuǎn)遠(yuǎn)大于Hadoop產(chǎn)品銷(xiāo)售所帶來(lái)的收入，Kobielus如是說(shuō)。

像Cloudera、MapR、Hortonworks以及IBM這樣的企業(yè)如今已經(jīng)在提供Hadoop的相關(guān)培訓(xùn)課程，我們應(yīng)該充分利用這些資源，通過(guò)建立Hadoop卓越中心使自己的企業(yè)獲得最大收益，他提醒道。

原文：Tech job-seekers: Hadoop skills are in high demand

【編輯推薦】

1. Ubuntu 11.10加速企業(yè)安裝Hadoop
2. Hadoop實(shí)戰(zhàn)
3. 轉(zhuǎn)折點(diǎn)決策：微軟為什么支持Hadoop？