毋庸置疑，迪士尼是一個巨大的娛樂公司，但是當它涉及到大數據平臺，這位娛樂巨頭看起來更像是一個初創公司。很多小公司，依靠堅強的意志和不凡的智慧，憑借一個小小的團隊，使用Hadoop、NoSQL數據庫和其他開源技術，完全能夠創造出一個特有的大數據平臺。無論結果是更好或者更壞，這樣的大公司在進軍大數據領域，意味著這是一種完全不同規則的“玩法”。

迪斯尼大數據技術和服務解決方案團隊的負責人Arun Jacob，在上周四的波士頓的IE集團大數據創新峰會上，介紹了迪斯尼的大數據平臺。不像其他的公司，迪斯尼選擇打造大數據平臺是從零開始，絕對不是從一個軟件供應商那里購買軟件。雖然高昂的成本是一個很重要的因素，但是最關鍵的還是靈活性的問題，這是作出最終決定的根本原因。

減量化，重復利用，再循環

為了保證給公司帶來***的價值，迪士尼大數據平臺，凝結了每個員工的心血，它是每個人的一切，這是一項艱巨的任務。最初的時候，Jacob表示，“我們把我們自己當做是一個小型的咨詢機構，僅僅是我們有東西要賣。”不過當一個部門想要使用該平臺開發一個特定功能的時候，Jacob立刻行動了起來。

從架構上來說，通過這個平臺和具有特定目的的組件，它能夠對路徑數據進行重構，或者說能夠非常容易地替換組件，如果有更好的話。迪士尼大數據平臺是基于Hadoop，Cassandra和MongoDB進行開發的。運營團隊可以使用該平臺來進行查看、分析和索引的錯誤消息，應用程序開發人員可以得到他們需要的高吞吐量，低延遲的數據訪問，而分析團隊有他們需要的高延遲數據的訪問。

然而，盡管Jacob也想使用一套開源軟件來降低成本，他確實有資本可以奢侈一下，這是大多數創業公司玩不起的——外包和不定期的新產品的預算。當他需要Hadoop集群的支持，他完全可以打電話給Cloudera。當需要部署Solandra(基于Solr和Cassandra的一個開放的源代碼搜索引擎)，他完全可以購買的企業版的DataStax基于Cassandra的產品，但是他沒有這么做。

靈活性是不是免費的

Solandra的事件，實際上是為了權衡是不是需要使用免費的開源軟件。“你可以為開源項目工作到深夜，你可以通過學習來運行它們，但是這沒有任何任何意義。”Jacob表示，如果你愿意投入時間和精力，這些東西是完全可以克服的。

然而迪士尼這種規模的公司，有更多的問題必須要被克服。Jacob表示，在部署的過程中，雖然可以按自己的方式來解決容錯、高可用性和安全性的問題，但是最終還是需要找出一種方式來實現這些東西。

適合大眾的才是***的

雖然可以把系統建立在所有的人都能夠使用的開源軟件上，不過這也意味著沒有一個足夠的框架來構建一個可擴展的和穩定的系統，而且該系統還必須滿足成千上萬的各種類型和各種水平的內部開發人員的需求。Jacob表示，對一個擁有六個人的創業公司來說，大家學習Hadoop的一個月，然后開始使用它進行部署大數據平臺，這是非常容易實現的。但是對于一個大企業來說，這絕對是不可行的。

他的團隊讓部署變得容易

為了消除企業用戶不能加載他們的數據到系統中的借口，他們只需要把文件以指向用戶定制的界面。Jacob表示，迪士尼的數據平臺，雖然以每天5TB的數據劇增，但是仍然有很多其他類型的數據需要存儲。因為他們已經對技術進行了封裝，Jacob的團隊并沒有談及過多關于Hadoop和MongoDB的問題，僅僅是提及了分析和查詢的部分。數據平臺使用很多種的編程語言來構建客戶端的框架結構，所以開發者可以跟平臺進行交互，就無需編寫REST風格的API調用。

不過，在做足了所有的準備工作之后，Jacob開始把精力投入在迪士尼的大數據平臺之上，Jacob不希望這是一個其他數據平臺過程的重復。隨著大數據管理的工具也越來越好，Jacob表示，他現在依然在分析，是構建一個新的工具還購買一個工具，目前還有時間來做出改變。當沒有選擇余地的時候，構建一個自定義工具固然是一個不錯的選擇，但它并不總是明智的做法，而購買現成的東西可以節約無數的時間和精力。#p#

如果你想更多有關迪士尼的大數據平臺的技術細節，你可以點擊下載最近Jacob在Cassandra峰會上演示的一個PDF文檔，不過令人遺憾的是目前鏈接已經刪除，因考慮到資料的保密性，下文僅僅是節選了PDF中的部分內容，希望對大家有所幫助：

大數據在迪斯尼扮演的角色:

數據管理平臺：

數據管理平臺目標：

收集，搜索，分析應用數據：

使用案例的演化：

推薦引擎：

后記：迪士尼全稱為The Walt Disney Company，取名自其創始人華特·迪士尼，是總部設在美國伯班克的大型跨國公司，主要業務包括娛樂節目制作，主題公園，玩具，圖書，電子游戲和傳媒網絡。皮克斯動畫工作室(PIXAR Animation Studio)，驚奇漫畫公司(Marvel Entertainment Inc)，試金石電影公司(Touchstone Pictures)，米拉麥克斯(Miramax)電影公司，博偉影視公司(Buena Vista Home Entertainment)，好萊塢電影公司(Hollywood Pictures)，ESPN體育，美國廣播公司(ABC)都是其旗下的公司(品牌)。

今天由于文章需要，動手查詢了一下迪士尼的資料，內心也是無比的震撼，大多數人想到迪士尼，也許就是一個拍動畫片的公司，多想一點的話，可能就是香港的迪士尼樂園，相信大家看到好萊塢電影公司的時候，內心就會強烈的震動一下。隨著云計算的大潮到來，大數據也變得炙手可熱，作為云計算領域最重要的組成部分之一，大數據越來越受到關注，今天迪士尼也玩起了“跨界”，開始進軍大數據領域。不過云計算和電影業其實早早的就聯系在一起，曾獲奧斯卡提名的皮克斯電影公司出品的3D電影《玩具總動員3》，畫質真實細膩，歸功于云計算。而中國觀眾所熟悉的《功夫熊貓2》的擁有者——夢工廠，2003年就已經開始邁向云計算。云計算為很多影視作品提供了制作、存儲和處理平臺，對于提供制作這些影片所需要的計算資源起到了關鍵性的作用。我們也期待迪士尼在新的平臺上能夠大放異彩。