Hadoop

Hadoop是什么？Hadoop是一個(gè)開(kāi)發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái),是Appach的一個(gè)用java語(yǔ)言實(shí)現(xiàn)開(kāi)源軟件框架，實(shí)現(xiàn)在大量計(jì)算機(jī)組成的集群中對(duì)海量數(shù)據(jù)進(jìn)行分布式計(jì)算.

告訴你Hadoop是什么

2012-07-03 16:56:12

Facebook的Hadoop應(yīng)用與故障轉(zhuǎn)移方案

我們知道，F(xiàn)acebook使用Hadoop來(lái)進(jìn)行大數(shù)據(jù)的處理，但Facebook又是如何保障頻繁、龐大的數(shù)據(jù)請(qǐng)求等高壓環(huán)境下不發(fā)生故障的呢？我們一起來(lái)了解一下Facebook內(nèi)部的Hadoop使用情況以及其NameNode故障轉(zhuǎn)移技術(shù)。

2012-07-03 11:38:32

Facebook Hadoop

Hadoop核心機(jī)制詳細(xì)解析

Hadoop的核心機(jī)制是通過(guò)HDFS文件系統(tǒng)和MapReduce算法進(jìn)行存儲(chǔ)資源、內(nèi)存和程序的有效利用與管理。在現(xiàn)實(shí)的實(shí)例中，通過(guò)Hadoop，可以輕易的將多臺(tái)普通的或低性能的服務(wù)器組合成分布式的運(yùn)算-存儲(chǔ)集群，提供大數(shù)據(jù)量的存儲(chǔ)和處理能力。

2012-07-03 10:57:54

Hadoop 核心機(jī)制

Hadoop集群系列8：Eclipse開(kāi)發(fā)環(huán)境設(shè)置

本文為Hadoop集群系列第八篇，今天我們講講Hadoop條件下，Eclipse開(kāi)發(fā)環(huán)境設(shè)置。

2012-07-03 08:37:24

Hadoop集群系列7：WordCount運(yùn)行詳解

本文為Hadoop集群系列第七篇，單詞計(jì)數(shù)是最簡(jiǎn)單也是最能體現(xiàn)MapReduce思想的程序之一，可以稱為MapReduce版"Hello World"。

2012-06-29 10:58:27

大數(shù)據(jù)計(jì)算：Hadoop的前世今生

大數(shù)據(jù)計(jì)算我們把它理解成為一個(gè)什么事情呢?目前現(xiàn)在這個(gè)時(shí)代通信、網(wǎng)絡(luò)等等這些電子信息技術(shù)發(fā)展，使數(shù)據(jù)規(guī)模得到了極大的增加。

2012-06-29 09:19:39

大數(shù)據(jù)

了解關(guān)于Hadoop的12個(gè)事實(shí)

本文中，分析師給出了關(guān)于Hadoop的12點(diǎn)事實(shí)，幫助您認(rèn)識(shí)一個(gè)真實(shí)的Apache Hadoop生態(tài)系統(tǒng)。

2012-06-28 15:57:08

Hadoop集群6：JDK和SSH無(wú)密碼配置

本文為Hadoop集群系列第六篇，包括JDK和SSH無(wú)密碼配置。如果你的計(jì)算機(jī)僅僅作為開(kāi)發(fā)使用時(shí)推薦使用這種方法，因?yàn)樗杏脩舻膕hell都有權(quán)使用這些環(huán)境變量，可能會(huì)給系統(tǒng)帶來(lái)安全性問(wèn)題。

2012-06-28 10:52:06

Hadoop 2.0預(yù)計(jì)將在一年內(nèi)面世

Hadoop 1.0于2011年年底發(fā)布，具有強(qiáng)大的Kerberos身份驗(yàn)證功能，并支持HBase數(shù)據(jù)庫(kù)，但該版本由于MapReduce的限制，讓個(gè)人用戶無(wú)法卸載集群。新的Hadoop 2.0即將面世，HortonWorks公司(該公司一直是Apache Hadoop的貢獻(xiàn)者)首席技術(shù)官Eric Baldeschwieler透露了即將發(fā)布的2.0中包含的功能。

2012-06-26 15:20:30

Hadoop 2.0

快速部署Hadoop基礎(chǔ)架構(gòu)

據(jù)國(guó)外媒體消息，為應(yīng)對(duì)海量數(shù)據(jù)浪潮，VMware啟動(dòng)Serengeti開(kāi)放原始碼計(jì)劃，便于企業(yè)在VMware vSphere虛擬化平臺(tái)上快速部署與管理Apache Hadoop集群，部署虛擬化技術(shù)與分布式計(jì)算混用的基礎(chǔ)架構(gòu)。

2012-06-26 15:13:50

Hadoop 數(shù)據(jù)架構(gòu)

Hadoop集群系列5:Hadoop安裝配置

本文為Hadoop集群系列第五篇，SecureCRT是一款支持SSH（SSH1和SSH2）的終端仿真程序，同時(shí)支持Telnet和rlogin協(xié)議。

2012-06-25 10:30:06

VMware的Hadoop大數(shù)據(jù)戰(zhàn)略：精明還是錯(cuò)誤？

虛擬基礎(chǔ)架構(gòu)云上的Hadoop消除了可靠性問(wèn)題;通過(guò)vSphere,Hadoop應(yīng)用如果節(jié)點(diǎn)失敗能夠自動(dòng)重啟。此外，虛擬化巨鱷也正致力于同Hadoop社區(qū)成員合作，包括Cloudera Inc.、Greenplum、Hortonworks、IBM,繼續(xù)致力于ASF的可擴(kuò)展性，這也是Hadoop“虛擬化感知”的要害所在。

2012-06-21 09:56:50

VMware 大數(shù)據(jù)

Hadoop集群系列4:SecureCRT使用

本文為Hadoop集群系列第四篇，SecureCRT是一款支持SSH（SSH1和SSH2）的終端仿真程序，同時(shí)支持Telnet和rlogin協(xié)議。

2012-06-20 09:19:19

本文為Hadoop集群系列第三篇，VSFTP是一個(gè)基于GPL發(fā)布的類Unix系統(tǒng)上使用的FTP服務(wù)器軟件，它的全稱是Very Secure FTP。

Hadoop集群系列3:VSFTP安裝配置

2012-06-19 15:51:22

集群系列2

Hadoop，有所為而有所不為譯文

但是盡管Hadoop頗具吸引力，想了解Hadoop能夠?yàn)槠髽I(yè)扮演什么角色、如何最有效地部署它，仍要面臨一條很陡的學(xué)習(xí)曲線。換句話說(shuō)，學(xué)起來(lái)很費(fèi)勁。只有明白了Hadoop的有所為而有所不為，你才能更清楚地了解如何才能最有效地把它部署到你自己的數(shù)據(jù)中心或云環(huán)境。然后，才可以為部署的Hadoop落實(shí)最佳實(shí)踐。

2012-06-19 09:28:46

本文為Hadoop集群系列第二篇，講述如何采用4臺(tái)安裝Linux環(huán)境的機(jī)器來(lái)構(gòu)建一個(gè)小規(guī)模的分布式集群。

Hadoop集群系列2:機(jī)器信息分布表

2012-06-19 09:28:33

HDFS和MapReduce只是打造Hadoop平臺(tái)最基本的核心套件，在Apache基金會(huì)的網(wǎng)站中還有其他的相關(guān)開(kāi)源套件，共同組成了一個(gè)Hadoop體系（Hadoop Ecosystem）。

Hadoop體系的強(qiáng)大工具組合

2012-06-15 14:38:29

Hadoop 分布式文件系統(tǒng)

Facebook分享：解決Hadoop的單一故障點(diǎn) 譯文

Facebook的工程師們開(kāi)發(fā)出了一種方法，以規(guī)避Hadoop數(shù)據(jù)分析平臺(tái)的一個(gè)根本缺點(diǎn)：只依賴單單一臺(tái)名稱服務(wù)器來(lái)協(xié)調(diào)所有運(yùn)營(yíng)。Facebook估計(jì)，如果可以克服這個(gè)缺點(diǎn)，就能將其數(shù)據(jù)倉(cāng)庫(kù)的停機(jī)時(shí)間縮短幾乎一半。為了解決這個(gè)問(wèn)題，F(xiàn)acebook開(kāi)發(fā)出了一款名為Avatarnode的軟件：萬(wàn)一主名稱節(jié)點(diǎn)由于某種原因而失效，該軟件就會(huì)切換至備用名稱節(jié)點(diǎn)。

2012-06-15 09:54:19

Facebook Hadoop

VMware推Serengeti項(xiàng)目支持Hadoop虛擬化

VMware于美國(guó)時(shí)間本周三宣布了Serengeti開(kāi)源項(xiàng)目，旨在為Hadoop在VMware虛擬化環(huán)境中的使用進(jìn)行優(yōu)化。

2012-06-15 09:22:56

VMware

Hadoop集群系列1:CentOS安裝配置

本文為Hadoop集群系列第一篇，CentOS安裝配置。CentOS是一個(gè)基于Red Hat企業(yè)級(jí)Linux提供的可自由使用的源代碼企業(yè)級(jí)的Linux發(fā)行版本。

2012-06-13 09:56:53

SQL Server 2012將與Hadoop無(wú)縫集成

SQL Server 2012致力提供大規(guī)模且低成本的分析數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)解決方案，并保證實(shí)現(xiàn)規(guī)模化和靈活性。在大數(shù)據(jù)時(shí)代Microsoft也做出了一些完善：SQL Server 2012將與Hadoop無(wú)縫集成。

2012-06-08 10:00:01

SQL Server Big Data Hadoop

IT企業(yè)利用云計(jì)算平臺(tái)Hadoop的10種方式

如果你是世界上廣大Hadoop用戶的一員，你肯定知道Google曾經(jīng)靠著分布式計(jì)算技術(shù)（Hadoop），在搜索引擎和廣告方面取得了舉世矚目的成就。而今天我們要探討的是，Hadoop 作為基礎(chǔ)云計(jì)算平臺(tái)，除了廣告，IT公司還用哪些方式在利用Hadoop。

2012-06-07 13:39:20

Hadoop 云計(jì)算

IT企業(yè)利用云計(jì)算平臺(tái)Hadoop的10種方式

如果你是世界上廣大Hadoop用戶的一員，你肯定知道Google曾經(jīng)靠著分布式計(jì)算技術(shù)(Hadoop)，在搜索引擎和廣告方面取得了舉世矚目的成就。今天我們要探討的是，Hadoop 作為基礎(chǔ)云計(jì)算平臺(tái)，除了廣告，IT公司還用哪些方式在利用Hadoop。

2012-06-07 09:28:41

云計(jì)算 Hadoop

Hadoop也需要有數(shù)據(jù)生命周期管理

我們希望讓Hadoop來(lái)承載海量結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，以及部分的數(shù)據(jù)加工，也許以后還會(huì)通過(guò)HIVE或者PIG的方式承載一些高端的即席查詢?nèi)蝿?wù)。這種混合而不是單一的任務(wù)注定了也需要實(shí)施生命周期管理，因?yàn)閿?shù)據(jù)加工通常是對(duì)近段時(shí)間的數(shù)據(jù)進(jìn)行，而數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)查詢則需要對(duì)歷史數(shù)據(jù)進(jìn)行。

2012-06-06 15:55:36

Hadoop 數(shù)據(jù)

分散處理 Hadoop架構(gòu)服務(wù)器角色

在Hadoop運(yùn)算集群架構(gòu)中，先分解任務(wù)，分工處理再匯總結(jié)果這些服務(wù)器依據(jù)用途可分成Master節(jié)點(diǎn)和Worker節(jié)點(diǎn)，Master負(fù)責(zé)分配任務(wù)，而Worker負(fù)責(zé)執(zhí)行任務(wù)，如負(fù)責(zé)分派任務(wù)的操作，角色就像是Master節(jié)點(diǎn)。

2012-06-05 08:59:35

Hadoop架構(gòu)服務(wù)器

給Hadoop一個(gè)支點(diǎn)：撬動(dòng)大數(shù)據(jù)

大數(shù)據(jù)大概是繼云計(jì)算之后，最熱門(mén)的科技名詞了。一些科技廠商不約而同，紛紛打出大數(shù)據(jù)口號(hào)，情況就像云計(jì)算熱潮一樣。那么大數(shù)據(jù)到底是怎么回事？

2012-06-01 16:13:09

Hadoo 大數(shù)據(jù)

如何使用Hadoop進(jìn)入大數(shù)據(jù)庫(kù)時(shí)代？

Hadoop有多火？從業(yè)界的一系列舉動(dòng)就可以看出來(lái)。包括甲骨文、微軟、Sybase在內(nèi)的主流數(shù)據(jù)庫(kù)廠商都紛紛發(fā)布了Hadoop連接器產(chǎn)品，為的就是讓用戶可以在傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)與開(kāi)源分布式處理系統(tǒng)之間更輕松地傳輸信息。

2012-05-31 15:56:23

大數(shù)據(jù)與Hadoop之間的關(guān)系

大數(shù)據(jù)，一種新興的數(shù)據(jù)挖掘技術(shù)，它正在讓數(shù)據(jù)處理和分析變得更便宜更快速。大數(shù)據(jù)技術(shù)一旦進(jìn)入超級(jí)計(jì)算時(shí)代，很快便可應(yīng)用于普通企業(yè)，在遍地開(kāi)花的過(guò)程中，它將改變?cè)S多行業(yè)業(yè)務(wù)經(jīng)營(yíng)的模式。但是很多人對(duì)大數(shù)據(jù)存在誤解，下面就來(lái)縷一縷大數(shù)據(jù)與Hadoop之間的關(guān)系。

2012-05-31 14:54:59

Hadoop并非大數(shù)據(jù)處理的一切

Hadoop作為一個(gè)重量級(jí)的分布式處理開(kāi)源框架已經(jīng)在大數(shù)據(jù)處理領(lǐng)域有所作為，企業(yè)希望利用Hadoop來(lái)規(guī)劃其自身未來(lái)數(shù)據(jù)處理的藍(lán)圖。從EMC、Oracle到Microsoft，幾乎所有高科技廠商都在過(guò)去幾個(gè)月中宣布了自己以Hadoop為基礎(chǔ)的大數(shù)據(jù)戰(zhàn)略。然而Hadoop并非大數(shù)據(jù)處理的一切。

2012-05-31 14:37:10

既然“心跳”是Datanode主動(dòng)給Namenode發(fā)送的。那Datanode是怎么樣發(fā)送的呢？本文作者將對(duì)Hadoop的心跳機(jī)制進(jìn)行詳細(xì)的分析，詳細(xì)請(qǐng)看內(nèi)容

Hadoop源碼分析之心跳機(jī)制

2012-05-31 02:54:07

Hadoop Java

如何利用Hadoop降低大數(shù)據(jù)分析成本

大數(shù)據(jù)將成為代替云計(jì)算的新一代熱門(mén)話題。這是必然的結(jié)果：隨著時(shí)間的推移，企業(yè)產(chǎn)生的數(shù)據(jù)量已經(jīng)越來(lái)越大了，這些數(shù)據(jù)包括客戶購(gòu)買(mǎi)偏好趨勢(shì)、網(wǎng)站訪問(wèn)和習(xí)慣、客戶審查數(shù)據(jù)等等;那如何利用Hadoop降低大數(shù)據(jù)分析成本呢?

2012-05-30 11:29:14

Hadoop 作為MR 的開(kāi)源實(shí)現(xiàn)，一直以動(dòng)態(tài)運(yùn)行解析文件格式并獲得比MPP數(shù)據(jù)庫(kù)快上幾倍的裝載速度為優(yōu)勢(shì)。不過(guò)，MPP數(shù)據(jù)庫(kù)社區(qū)也一直批評(píng)Hadoop由于文件格式并非為特定目的而建，因此序列化和反序列化的成本過(guò)高[7]。本文介紹Hadoop目前已有的幾種文件格式，分析其特點(diǎn)、開(kāi)銷及使用場(chǎng)景。希望加深讀者對(duì)Hadoop文件格式及其影響性能的因素的理解。

淺析Hadoop文件格式

2012-05-29 09:48:21

Hadoop 作為MR 的開(kāi)源實(shí)現(xiàn)，一直以動(dòng)態(tài)運(yùn)行解析文件格式并獲得比MPP數(shù)據(jù)庫(kù)快上幾倍的裝載速度為優(yōu)勢(shì)。本文介紹Hadoop目前已有的幾種文件格式，分析其特點(diǎn)、開(kāi)銷及使用場(chǎng)景。希望加深讀者對(duì)Hadoop文件格式及其影響性能的因素的理解。

Hadoop文件格式解讀

2012-05-29 09:06:32

Hadoop 文件格式

Big Data, Hadoop and StreamInsight

微軟的首席StreamInsight™ 項(xiàng)目經(jīng)理發(fā)布的一篇博客 Big Data, Hadoop and StreamInsight™，微軟的大數(shù)據(jù)解決方案中包含 Microsoft StreamInsight™ 和微軟的 Hadoop-based Services for Windows。

2012-05-28 13:58:36

Apache Hadoop 2.0 Alpha 發(fā)布

Hadoop并不僅僅是一個(gè)用于存儲(chǔ)的分布式文件系統(tǒng)，而是設(shè)計(jì)用來(lái)在由通用計(jì)算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架。

2012-05-28 09:23:40

Java Hadoop Apache

如何使用Linux、Hadoop進(jìn)行分布式計(jì)算

Hadoop 的一個(gè)應(yīng)用是并行索引 Internet Web 頁(yè)面。Hadoop 是一個(gè)受到 Yahoo!、Google 和 IBM 等公司支持的 Apache 項(xiàng)目。本文將介紹 Hadoop 框架，并展示它為什么是最重要的基于 Linux® 的分布式計(jì)算框架之一。

2012-05-21 16:28:29

Linux Hadoop

基于Hadoop的云計(jì)算模型研究

云計(jì)算是在網(wǎng)格計(jì)算基礎(chǔ)上新興的計(jì)算模型，是互聯(lián)網(wǎng)公司爭(zhēng)相追逐的新技術(shù)。云計(jì)算作為一種商業(yè)計(jì)算模型，可以把任務(wù)分布在大量的計(jì)算機(jī)構(gòu)成的資源池上。介紹了云計(jì)算的關(guān)鍵技術(shù)，這些技術(shù)包含虛擬機(jī)和計(jì)算模型等，還基于Hadoop對(duì)云計(jì)算模型進(jìn)行了研究。

2012-05-21 16:08:07

Hadoop 云計(jì)算

如何用Hadoop搭建大型分布式應(yīng)用？

在去年Techonomy會(huì)議上參加討論時(shí)，谷歌CEO Eric Schmidt引用一個(gè)驚人的事實(shí)指出，我們現(xiàn)在每?jī)商靹?chuàng)造的信息和2003年以來(lái)整個(gè)歷史上所創(chuàng)建的信息一樣多。信息泛濫帶來(lái)了一系列的技術(shù)突破，這讓企業(yè)的數(shù)據(jù)存儲(chǔ)擴(kuò)展到數(shù)千億字節(jié)甚至是數(shù)拍字節(jié)。谷歌在此領(lǐng)域的貢獻(xiàn)是尤其值得注意，包括它在MapReduce上的工作，它是一種大型分布式數(shù)據(jù)處理的方法，谷歌采用此方法來(lái)記錄位于索引資源（映射這些數(shù)據(jù)）收藏里的關(guān)鍵字或短語(yǔ)，接著再把這些位置的記錄和清單返回給用戶（將映射數(shù)據(jù)減少到緊密相關(guān)的結(jié)果）。映射和減少操作可以涵蓋模式識(shí)別、圖解

2012-05-21 10:19:31

我們將介紹如何用三臺(tái)主機(jī)建立Hadoop小集群，先用VMWare安裝三臺(tái)虛擬機(jī)（可以先安裝一臺(tái)，然后clone兩臺(tái)），按照節(jié)點(diǎn)安排及網(wǎng)絡(luò)拓?fù)渑渲镁W(wǎng)絡(luò)。

三臺(tái)主機(jī)建立Hadoop小集群

2012-05-21 09:42:12

Hadoop是一個(gè)值得信賴的推動(dòng)引擎

2011年，對(duì)Hadoop來(lái)說(shuō)注定是載入史冊(cè)的一年：Yahoo!與風(fēng)險(xiǎn)投資公司BenchmarkCapital聯(lián)合建立獨(dú)立公司Hortonworks，接手Yahoo!開(kāi)源軟件平臺(tái)ApacheHadoop；Hadoop海量數(shù)據(jù)分析平臺(tái)Datameer、Karmasphere和Hadapt分別獲得千萬(wàn)美元級(jí)別投資；一向?qū)﹂_(kāi)源趨勢(shì)不屑一顧的微軟轉(zhuǎn)投Hadoop懷抱；Hadoop之父DougCutting第一次蒞臨中國(guó)，布道Hadoop0.23……

2012-05-10 16:32:01

IDC：Hadoop、MapReduce相關(guān)收入預(yù)計(jì)將暴漲

2012-05-09 09:13:29

IDC Hadoop MapReduce

分布式計(jì)算平臺(tái)Hadoop發(fā)展現(xiàn)狀亂而穩(wěn)定的解讀

雅虎開(kāi)發(fā)者Doug Cutting六年前創(chuàng)建了一個(gè)用于管理，存儲(chǔ)和分析大量數(shù)據(jù)的平臺(tái)，用他兒子的玩具大象命名，并把它交給阿帕奇軟件基金會(huì)。鑒于圍繞Hadoop建立的整個(gè)行業(yè)的迅速，這會(huì)使某些人覺(jué)得非常驚訝，那就是阿帕奇軟件基金會(huì)最近才推出了Apache Hadoop 1.0——被認(rèn)為是足夠穩(wěn)定而成為“企業(yè)就緒”的第一個(gè)版本。

2012-05-08 10:46:38

Hadoop 解讀

Hadoop在MapReduce中使用壓縮詳解

Hadoop對(duì)于壓縮格式的是透明識(shí)別,我們的MapReduce任務(wù)的執(zhí)行是透明的，Hadoop能夠自動(dòng)為我們將壓縮的文件解壓，而不用我們?nèi)リP(guān)心。

2012-04-23 10:30:38