51CTO首頁

AI.x社區(qū)

博客

學(xué)堂

精品班

公眾號矩陣

移動端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考信創(chuàng)認(rèn)證華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項目管理免費(fèi)題庫

在線學(xué)習(xí)

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設(shè)置退出

Spark

353內(nèi)容??

關(guān)注

涵蓋Spark相關(guān)研究熱點(diǎn)、技術(shù)難點(diǎn)與應(yīng)用場景，讓用戶更加了解這一為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎。

文章博文

共 353 條

什么是Apache Spark？數(shù)據(jù)分析平臺如是說

Spark 可以用多種方式部署，它為 Java、Scala、Python，和 R 編程語言提供了本地綁定，并且支持 SQL、流數(shù)據(jù)、機(jī)器學(xué)習(xí)，和圖處理。你將會發(fā)現(xiàn)它被銀行、電信公司、游戲公司、政府，和所有如 Apple、Facebook、IBM，和 Microsoft 等主要的科技巨頭公司使用。

2017-11-29 12:45:37

Apache Spar 大數(shù)據(jù)數(shù)據(jù)分析

大數(shù)據(jù)架構(gòu)師必看：常見的七種Hadoop和Spark項目案例

如果你的Hadoop項目將有新的突破，那么它必定與下邊介紹的七種常見項目很相像。有一句古老的格言是這樣說的，如果你向某人提供你的全部支持和金融支持去做一些不同的和創(chuàng)新的事情，他們最終卻會做別人正在做的事情。

2017-11-27 14:12:34

大數(shù)據(jù)Hadoop 數(shù)據(jù)分析

深度解析：Spark優(yōu)于Hadoop嗎？

對于任何一個進(jìn)入大數(shù)據(jù)世界的人來講，大數(shù)據(jù)和Hadoop 就成了同義詞。隨著人們學(xué)習(xí)了大數(shù)據(jù)生態(tài)系統(tǒng)及其工具和運(yùn)作原理，他們更能理解大數(shù)據(jù)的實(shí)際意義以及Hadoop 在生態(tài)系統(tǒng)中所扮演的角色。

2017-11-13 13:39:24

Spark Hadoop 大數(shù)據(jù)

微軟開源用于Spark的深度學(xué)習(xí)庫MMLSpark

微軟開源了MMLSpark，用于Apache Spark的的深度學(xué)習(xí)庫。MMLSpark可以與微軟認(rèn)知工具包和OpenCV完美整合。雖然SparkML可以建立可擴(kuò)展的機(jī)器學(xué)習(xí)平臺，絕大多數(shù)開發(fā)者的精力都耗在了調(diào)用底層API上。MMLSpark旨在簡化PySpark中的重復(fù)性工作。

2017-10-26 13:54:49

深度學(xué)習(xí)Spark MMLSpark

Spark 1.6升級2.x防踩坑指南

Spark 2.x自2.0.0發(fā)布到目前的2.2.0已經(jīng)有一年多的時間了，2.x宣稱有諸多的性能改進(jìn)，相信不少使用Spark的同學(xué)還停留在1.6.x或者更低的版本上，沒有升級到2.x或許是由于1.6相對而言很穩(wěn)定，或許是升級后處處踩坑被迫放棄。

2017-10-24 13:02:29

Spark 2.x 代碼 Spark 2.0

手把手教你Spark性能調(diào)優(yōu)

日前接到反饋，集群部分 spark 任務(wù)執(zhí)行很慢，且經(jīng)常出錯，參數(shù)改來改去怎么都無法優(yōu)化其性能和解決頻繁隨機(jī)報錯的問題。

2017-10-20 13:41:11

Spark 集群代碼

大數(shù)據(jù)前景分析：Hadoop將被Spark替代？

談到大數(shù)據(jù)，相信大家對hadoop和Apache Spark這兩個名字并不陌生。然而，最近業(yè)界有一些人正在大張旗鼓的宣揚(yáng)Hadoop將死，Spark將立。與Hadoop相比，Spark技術(shù)如何?現(xiàn)工業(yè)界大數(shù)據(jù)技術(shù)都在使用何種技術(shù)?

2017-10-19 08:28:15

大數(shù)據(jù)Hadoop Spark

談?wù)凷park與Spark-Streaming關(guān)系

spark程序是使用一個spark應(yīng)用實(shí)例一次性對一批歷史數(shù)據(jù)進(jìn)行處理，spark streaming是將持續(xù)不斷輸入的數(shù)據(jù)流轉(zhuǎn)換成多個batch分片，使用一批spark應(yīng)用實(shí)例進(jìn)行處理，側(cè)重點(diǎn)在Steaming上面。

2017-10-13 10:36:33

Spark Spark-Strea 關(guān)系

合并Spark社區(qū)代碼的正確姿勢

最近剛剛忙完Spark 2.2.0的性能測試及Bug修復(fù)，社區(qū)又要發(fā)布2.1.2了，國慶期間剛好有空，過了一遍2.1.2的相關(guān)JIRA，發(fā)現(xiàn)有不少重要修復(fù)2.2.0也能用上，接下來需要將有用的PR合到我們內(nèi)部維護(hù)的2.2.0分支上了。

2017-10-12 11:30:34

Spark 代碼 PR

Spark Graphx 實(shí)現(xiàn)圖中極大團(tuán)挖掘, 偽并行化算法

對于關(guān)聯(lián)性較強(qiáng)的圖,找出來的連通圖非常大,這時串行化的極大團(tuán)算法,仍然會耗時很久,這里利用剪枝的思想減少樣本數(shù)據(jù)量,但是對于大圖,優(yōu)化空間有限。

2017-10-12 11:14:21

Spark Graph 挖掘偽并行化

大數(shù)據(jù)分析技術(shù)與實(shí)戰(zhàn)之Spark Streaming

Spark是基于內(nèi)存的大數(shù)據(jù)綜合處理引擎，具有優(yōu)秀的作業(yè)調(diào)度機(jī)制和快速的分布式計算能力，使其能夠更加高效地進(jìn)行迭代計算，因此Spark能夠在一定程度上實(shí)現(xiàn)大數(shù)據(jù)的流式處理。

2017-10-11 11:10:02

Spark Strea 大數(shù)據(jù)流式處理

Apache Spark常見的三大誤解

最近幾年關(guān)于Apache Spark框架的聲音是越來越多，大家通過Google搜索更多關(guān)于Spark的信息。然而很多人對Apache Spark的認(rèn)識存在誤解，在這篇文章中，將介紹我們對Apache Spark的幾個主要的誤解，以便給那些想將Apache Spark應(yīng)用到其系統(tǒng)中的人作為參考。

2017-10-10 17:00:11

Spark Hadoop 數(shù)據(jù)處理

分布式數(shù)據(jù)集SparkRDD的依賴與緩存

RDD(Resilient Distributed Dataset)叫做分布式數(shù)據(jù)集，是Spark中最基本的數(shù)據(jù)抽象，它代表一個不可變、可分區(qū)、里面的元素可并行計算的集合。

2017-09-27 10:53:53

分布式數(shù)據(jù)集 SparkRDD

如何基于Spark Streaming構(gòu)建實(shí)時計算平臺

隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，用戶對于數(shù)據(jù)處理的時效性、準(zhǔn)確性與穩(wěn)定性要求越來越高，如何構(gòu)建一個穩(wěn)定易用并提供齊備的監(jiān)控與預(yù)警功能的實(shí)時計算平臺也成了很多公司一個很大的挑戰(zhàn)。

2017-09-26 09:35:22

數(shù)據(jù)處理計算平臺 Spark Strea

從源碼角度看Spark on yarn client & cluster模式的本質(zhì)區(qū)別

對于yarn-client和yarn-cluster的唯一區(qū)別在于，yarn-client的Driver運(yùn)行在本地，而AppMaster運(yùn)行在yarn的一個節(jié)點(diǎn)上，他們之間進(jìn)行遠(yuǎn)程通信，AppMaster只負(fù)責(zé)資源申請和釋放(當(dāng)然還有DelegationToken的刷新)，然后等待Driver的完成;而yarn-cluster的Driver則運(yùn)行在AppMaster所在的container里，Driver和AppMaster是同一個進(jìn)程的兩個不同線程，它們之間也會進(jìn)行通信，AppMaster同樣等待Driver的完成，從而釋放資源。

2017-09-25 16:21:30

Spark on ya cluster 模式

超實(shí)用的Spark數(shù)據(jù)傾斜解決姿勢，學(xué)起來！

本文將結(jié)合實(shí)例詳細(xì)闡明Spark數(shù)據(jù)傾斜(Data Skew)的幾種場景及對應(yīng)的解決方案，包括避免數(shù)據(jù)源傾斜、調(diào)整并行度、使用自定義Partitioner、使用Map側(cè)Join代替Reduce側(cè)Join、給傾斜Key加上隨機(jī)前綴等。

2017-08-28 13:08:22

Spark 數(shù)據(jù)傾斜

分布式機(jī)器學(xué)習(xí)平臺大比拼：Spark、PMLS、TensorFlow、MXNet

本論文從分布式系統(tǒng)的角度開展針對當(dāng)前一些機(jī)器學(xué)習(xí)平臺的研究，綜述了這些平臺所使用的架構(gòu)設(shè)計，對這些平臺在通信和控制上的瓶頸、容錯性和開發(fā)難度進(jìn)行分析和對比，并對分布式機(jī)器學(xué)習(xí)平臺的未來研究工作提出了一些建議。

2017-08-22 17:55:35

機(jī)器學(xué)習(xí)Spark TensorFlow

Spark入門：Spark Streaming 概覽

Spark Streaming是Spark API的一個可橫向擴(kuò)容，高吞吐量，容錯的實(shí)時數(shù)據(jù)流處理引擎，Spark能夠從Kafka、Flume、Kinesis或者TCP等等輸入獲取數(shù)據(jù)，然后能夠使用復(fù)雜的計算表達(dá)式如map,reduce,join和window對數(shù)據(jù)進(jìn)行計算。

2017-08-14 10:30:13

Spark Spark Strea 擴(kuò)容

用 Apache Spark 和 TensorFlow 進(jìn)行深度學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)在過去幾年中取得了驚人的進(jìn)步，現(xiàn)在已成為圖像識別和自動翻譯領(lǐng)域最先進(jìn)的技術(shù)。TensorFlow是 Google 為數(shù)字計算和神經(jīng)網(wǎng)絡(luò)發(fā)布的新框架。在這篇博文中，我們將演示如何使用 TensorFlow 和 Spark 一起來訓(xùn)練和應(yīng)用深度學(xué)習(xí)模型。

2017-08-10 15:31:57

Apache Spar TensorFlow

橫向?qū)Ρ热蠓植际綑C(jī)器學(xué)習(xí)平臺：Spark、PMLS、TensorFlow

分布式機(jī)器學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一大主要研究方向，我們對分布式機(jī)器學(xué)習(xí)平臺的三大基本設(shè)計方法進(jìn)行了簡要介紹并舉例進(jìn)行了說明。

2017-08-07 11:02:28

機(jī)器學(xué)習(xí)分布式 Spark

TiSpark (Beta) 用戶指南

TiSpark 是 PingCAP 推出的為了解決用戶復(fù)雜 OLAP 需求的產(chǎn)品。本文簡單介紹如何部署和使用 TiSpark。本文假設(shè)你對 Spark 有基本認(rèn)知。

2017-08-05 16:31:51

TiDB TiSpark 數(shù)據(jù)庫

Spark學(xué)習(xí)之RDD簡單算子

Spark學(xué)習(xí)之RDD簡單算子希望給大家?guī)硪恍椭?/a>

2017-08-04 10:58:55

RDD Spark 算子

SparkStreaming與Kafka整合遇到的問題及解決方案

最近工作中是做日志分析的平臺，采用了sparkstreaming+kafka，采用kafka主要是看中了它對大數(shù)據(jù)量處理的高性能，處理日志類應(yīng)用再好不過了，采用了sparkstreaming的流處理框架主要是考慮到它本身是基于spark核心的，以后的批處理可以一站式服務(wù)，并且可以提供準(zhǔn)實(shí)時服務(wù)到elasticsearch中，可以實(shí)現(xiàn)準(zhǔn)實(shí)時定位系統(tǒng)日志。

2017-08-03 09:37:35

SparkStream Kafka Direct

思科 Cisco Spark Room Kit在大中華區(qū)成功落地思科協(xié)作助力雅清達(dá)攜手3W COFFICE打造高效協(xié)作共享空間

思科協(xié)作Cisco Spark Room Kit系列新產(chǎn)品自2017年6月份在大中華區(qū)推出以來，憑借領(lǐng)先的技術(shù)優(yōu)勢，在市場上引起了強(qiáng)烈反響。近日，思科合作伙伴廣州雅清達(dá)智能系統(tǒng)有限公司(以下簡稱雅清達(dá))宣布將為3W集團(tuán)旗下的3W COFFICE(共享辦公空間)提供思科最新視頻協(xié)作解決方案，這也標(biāo)志著思科Cisco Spark Room Kit在大中華區(qū)成功落地。

2017-07-28 13:14:45

思科協(xié)作

如何選擇Spark機(jī)器學(xué)習(xí)API

本文將簡要介紹Spark機(jī)器學(xué)習(xí)庫(Spark MLlib’s APIs)的各種機(jī)器學(xué)習(xí)算法，主要包括：統(tǒng)計算法、分類算法、聚類算法和協(xié)同過濾算法，以及各種算法的應(yīng)用。

2017-07-26 17:25:22

機(jī)器學(xué)習(xí)Spark API

10 億級海量數(shù)據(jù)運(yùn)算下，Apache Spark 的四個技術(shù)應(yīng)用實(shí)踐原創(chuàng)

本文主要介紹 Apache Spark 如何實(shí)現(xiàn)蘇寧中臺商品價格信息的 TB 級別復(fù)雜業(yè)務(wù)數(shù)據(jù)處理運(yùn)算，以及其中碰到的問題和解決方案。

2017-07-11 09:59:22

Apache Spar 技術(shù)數(shù)據(jù)

Spark UDF變長參數(shù)的二三事兒

在復(fù)雜業(yè)務(wù)邏輯中，我們經(jīng)常會用到Spark的UDF，當(dāng)一個UDF需要傳入多列的內(nèi)容并進(jìn)行處理時，UDF的傳參該怎么做呢? 下面通過變長參數(shù)引出，逐一介紹三種可行方法以及一些不可行的嘗試...

2017-07-10 08:30:11

Spark UDF 變長參數(shù)

手把手教你 Spark 性能調(diào)優(yōu)

集群部分 spark 任務(wù)執(zhí)行很慢，且經(jīng)常出錯，參數(shù)改來改去怎么都無法優(yōu)化其性能和解決頻繁隨機(jī)報錯的問題。

2017-07-07 11:01:04

Spark 性能調(diào)優(yōu)

基于Spark的大規(guī)模機(jī)器學(xué)習(xí)在微博的應(yīng)用

一直以來，微博都嘗試通過機(jī)器學(xué)習(xí)來解決業(yè)務(wù)場景中遇到的各種挑戰(zhàn)。本文為新浪微博吳磊在CCTC 2017云計算大會Spark峰會所做分享《基于Spark的大規(guī)模機(jī)器學(xué)習(xí)在微博的應(yīng)用》主題的一部分，介紹微博在面對大規(guī)模機(jī)器學(xué)習(xí)的挑戰(zhàn)時，采取的最佳實(shí)踐和解決方案。

2017-06-27 15:35:02

機(jī)器學(xué)習(xí)Spark 微博應(yīng)用

Spark Streaming vs. Kafka Stream 哪個更適合你

本文介紹了兩大常用的流式處理框架，Spark Streaming和Kafka Stream，并對他們各自的特點(diǎn)做了詳細(xì)說明，以幫助讀者在不同的場景下對框架進(jìn)行選擇。

2017-06-27 15:08:05

大數(shù)據(jù)Apache Spar Kafka Strea

實(shí)用 | 從Apache Kafka到Apache Spark安全讀取數(shù)據(jù)

隨著在CDH平臺上物聯(lián)網(wǎng)(IoT)使用案例的不斷增加，針對這些工作負(fù)載的安全性顯得至關(guān)重要。本篇博文對如何以安全的方式在Spark中使用來自Kafka的數(shù)據(jù)，以及針對物聯(lián)網(wǎng)(IoT)使用案例的兩個關(guān)鍵組件進(jìn)行了說明。

2017-06-26 15:00:17

大數(shù)據(jù)Apache Kafk Apache Spar

學(xué)習(xí)Spark——那些讓你精疲力盡的坑

這篇就介紹下自己遇到的各種坑。我不知道各位是否遇到過并能輕松解決，反正我是被這些小問題搞得精疲力盡，故在此總結(jié)以備忘。

2017-06-21 08:39:20

Spark Scala HDFS

Spark Submit的ClassPath問題

我們的產(chǎn)品需要與客戶的權(quán)限系統(tǒng)對接，即在登錄時使用客戶的認(rèn)證系統(tǒng)進(jìn)行認(rèn)證。集成認(rèn)證的方式是調(diào)用客戶提供的jar包，調(diào)用userService的authenticate方法。同時，還需要在classpath中提供密鑰的key文件。

2017-06-12 13:30:56

集成認(rèn)證集群 ClassPath

Spark Shuffle過程分析：Map階段處理流程

默認(rèn)配置情況下，Spark在Shuffle過程中會使用SortShuffleManager來管理Shuffle過程中需要的基本組件，以及對RDD各個Partition數(shù)據(jù)的計算。我們可以在Driver和Executor對應(yīng)的SparkEnv對象創(chuàng)建過程中看到對應(yīng)的配置。

2017-06-07 12:25:37

Shuffle 代碼 Map階段處理

Spark Streaming場景應(yīng)用- Spark Streaming計算模型及監(jiān)控

本篇文章主要介紹了Spark Streaming在實(shí)際應(yīng)用場景中的兩種計算模型，包括無狀態(tài)模型以及狀態(tài)模型;并且重點(diǎn)關(guān)注了下Spark Streaming在監(jiān)控方面所作的努力。

2017-06-06 08:31:10

Spark Strea 計算模型監(jiān)控

高科技也能“玩時尚”，思科協(xié)作重磅推出全新 Spark Room Kit 系列!

誰說高科技一定枯燥呆板，思科協(xié)作推出全新 Spark Room Kit 系列，真正的一體化設(shè)備，顏值與才華一應(yīng)俱全!

2017-05-22 15:18:30

思科 Spark Room

Spark踩坑記：共享變量

使用spark過程當(dāng)中踩過的一些坑和經(jīng)驗。我們知道Spark是多機(jī)器集群部署的，分為Driver/Master/Worker，Master負(fù)責(zé)資源調(diào)度，Worker是不同的運(yùn)算節(jié)點(diǎn)，由Master統(tǒng)一調(diào)度。

2017-05-05 08:12:51

Spark 共享變量

Spark中的核心概念RDD，我們了解多少？

RDD全稱叫做彈性分布式數(shù)據(jù)集(Resilient Distributed Datasets)，它是一種分布式的內(nèi)存抽象，表示一個只讀的記錄分區(qū)的集合，它只能通過其他RDD轉(zhuǎn)換而創(chuàng)建，為此RDD支持豐富的轉(zhuǎn)換操作。通過這種轉(zhuǎn)換操作，新的RDD則包含了如何從其他RDDs衍生所必需的信息，所以說RDDs之間是有依賴關(guān)系的。

2017-04-25 09:50:16

Spark RDD 核心

大數(shù)據(jù)系列之并行計算引擎Spark介紹

Spark是UC Berkeley AMP lab (加州大學(xué)伯克利分校的AMP實(shí)驗室)所開源的類Hadoop MapReduce的通用并行框架，Spark，擁有Hadoop MapReduce所具有的優(yōu)點(diǎn);但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。

2017-04-24 12:07:44

Spark 大數(shù)據(jù)并行計算

Spark源碼分析之分區(qū)器的作用

首先對spark有一定了解的都應(yīng)該知道，在spark中每個RDD可以理解為一組分區(qū)，這些分區(qū)對應(yīng)了內(nèi)存塊block,他們才是數(shù)據(jù)最終的載體。那么一個RDD由不同的分區(qū)組成，這樣在處理一些map,filter等算子的時候，就可以直接以分區(qū)為單位并行計算了。直到遇到shuffle的時候才需要和其他的RDD配合。

2017-04-24 09:20:05

Spark 分析分區(qū)器

Spark：超越Hadoop MapReduce

和 Hadoop 一樣，Spark 提供了一個 Map/Reduce API(分布式計算)和分布式存儲。二者主要的不同點(diǎn)是，Spark 在集群的內(nèi)存中保存數(shù)據(jù)，而 Hadoop 在集群的磁盤中存儲數(shù)據(jù)。

2017-04-19 11:17:48

Spark Hadoop MapReduce

借hbase-rdd二次開發(fā)談如何在Spark Core之上擴(kuò)建自己的模塊

我是51CTO學(xué)院講師張敏，在51CTO學(xué)院 “4.20 IT充電節(jié)”(4月19~20日) 到來之際，和大家分享一下Spark Core之上擴(kuò)建自己的模塊的經(jīng)驗。

2017-04-14 09:03:00

RDD 模塊 Hbase

Spark for python developers —Spark與數(shù)據(jù)的機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)可以從數(shù)據(jù)中得到有用的見解. 目標(biāo)是縱觀Spark MLlib，采用合適的算法從數(shù)據(jù)集中生成見解。對于 Twitter的數(shù)據(jù)集, 采用非監(jiān)督集群算法來區(qū)分與Apache Spark相關(guān)的tweets。初始輸入是混合在一起的tweets。首先提取相關(guān)特性, 然后在數(shù)據(jù)集中使用機(jī)器學(xué)習(xí)算法, 最后評估結(jié)果和性能。

2017-04-13 13:30:56

Spark Spark MLlib 機(jī)器學(xué)習(xí)

Spark名詞解釋及關(guān)系

隨著對spark的業(yè)務(wù)更深入，對spark的了解也越多，然而目前還處于知道的越多，不知道的更多階段，當(dāng)然這也是成長最快的階段。這篇文章用作總結(jié)最近收集及理解的spark相關(guān)概念及其關(guān)系。

2017-04-13 09:10:06

Spark 解釋關(guān)系

Hive、MapReduce、Spark分布式生成唯一數(shù)值型ID

Spark中生成這樣的非連續(xù)唯一數(shù)值型ID，非常簡單，直接使用zipWithUniqueId()即可。

2017-04-12 09:29:02

Hive MapReduce Spark

有望取代Spark的實(shí)時機(jī)器學(xué)習(xí)框架Ray

一個新的項目旨在為實(shí)時處理開發(fā)一種速度更快的框架，可用來支持用Python編寫的機(jī)器學(xué)習(xí)應(yīng)用。

2017-04-08 17:32:39

人工智能喬丹 Ray

Spark程序運(yùn)行常見錯誤解決方法以及優(yōu)化

task傾斜原因比較多，網(wǎng)絡(luò)io,cpu,mem都有可能造成這個節(jié)點(diǎn)上的任務(wù)執(zhí)行緩慢，可以去看該節(jié)點(diǎn)的性能監(jiān)控來分析原因。以前遇到過同事在spark的一臺worker上跑R的任務(wù)導(dǎo)致該節(jié)點(diǎn)spark task運(yùn)行緩慢。

2017-04-07 09:02:06

Spark 方法優(yōu)化

是英雄還是狗熊？大數(shù)據(jù)那些事之SparkSQL

SparkSQL最主要的東西有兩個，一個是DataFrame全面取代了RDD。我必須為這個叫聲好。作為一個根紅苗正的關(guān)系數(shù)據(jù)庫思想熏陶出來的人，帶有RDD的Spark總給我一種干爹干媽做的數(shù)據(jù)處理的產(chǎn)品的感覺。用上DataFrame頓時有回到親爹親媽做的產(chǎn)品的感覺。期間的差距，可能是無法言語表達(dá)的。

2017-04-06 09:35:10

大數(shù)據(jù)SparkSQL Spark

Apache Spark 內(nèi)存管理詳解

Spark 作為一個基于內(nèi)存的分布式計算引擎，其內(nèi)存管理模塊在整個系統(tǒng)中扮演著非常重要的角色。理解 Spark 內(nèi)存管理的基本原理，有助于更好地開發(fā) Spark 應(yīng)用程序和進(jìn)行性能調(diào)優(yōu)。

2017-04-01 14:01:50

Apache Spar 內(nèi)存管理

pyspark訪問hive數(shù)據(jù)實(shí)戰(zhàn)

直接進(jìn)行spark開發(fā)需要去學(xué)習(xí)scala，為了降低數(shù)據(jù)分析師的學(xué)習(xí)成本，決定前期先試用sparkSQL，能夠讓計算引擎無縫從MR切換到spark，現(xiàn)在主要使用pyspark訪問hive數(shù)據(jù)。

2017-03-13 09:48:26

pyspark hive 數(shù)據(jù)

上一頁 1 2 3 4 5 6 ··· 8 下一頁

51CTO技術(shù)棧公眾號

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營