ADC現(xiàn)場報(bào)道:阿里去IOE實(shí)踐背后的故事
原創(chuàng)【51CTO特約報(bào)道】2013年7月13日, 由阿里巴巴集團(tuán)主辦的ADC·阿里技術(shù)嘉年華將在杭州海外海國際會展中心隆重開幕,本屆大會設(shè)置了大數(shù)據(jù)技術(shù)與應(yīng)用、無線技術(shù)、業(yè)務(wù)架構(gòu)&后端技術(shù)、前端技術(shù)、搜索、廣告、體驗(yàn)設(shè)計(jì)、互聯(lián)網(wǎng)測試、系統(tǒng)開發(fā)和運(yùn)維等九大分場,共有80多個主題,其中包括了阿里巴巴、騰訊、百度及更多知名的互聯(lián)網(wǎng)公司的在實(shí)踐中積累起來的技術(shù)經(jīng)驗(yàn)。
來自阿里巴巴集團(tuán)的數(shù)據(jù)庫專家陳招尚(花名:勝通)給大家分享了“阿里去IOE實(shí)踐”,吸引了眾多IT技術(shù)人員的眼球。2007年,勝通加入淘寶數(shù)據(jù)庫團(tuán)隊(duì),負(fù)責(zé)過淘寶的所有的核心系統(tǒng)數(shù)據(jù)庫,經(jīng)歷和參與了淘寶幾乎所有核心數(shù)據(jù)庫的改造升級過程,淘寶第一個分布式系統(tǒng)、第一個核心系統(tǒng)分布式改造,是歷年雙十一數(shù)據(jù)庫主要負(fù)責(zé)人。他從去“IOE”背后的原因、去“IOE”架構(gòu)難點(diǎn)和“去IOE”的實(shí)施難點(diǎn)等方面介紹了阿里的去IOE實(shí)踐。
(陳招尚/勝通 阿里巴巴數(shù)據(jù)庫專家)
去“IOE”的歷程
勝通提到,從2010年開始著手做“去IOE”,歷經(jīng)兩年時間,2012年完成。
去“IOE”背后的原因
據(jù)勝通介紹,阿里去“IOE”背后的原因主要有三個:
- 成本
- 集中式的嚴(yán)重制約
- 技術(shù)把控力降低
去“IOE”的架構(gòu)難點(diǎn)
1、可用性
小型機(jī)存儲的高冗余機(jī)制,要考慮到PC和MYSQL能否做到
2、一致性
Oracle物理級別一致性,要確定MYSQL語句模式是否問題
3、高性能
- 高端存儲的IO能力很強(qiáng),PC能否頂?shù)眠^
- MYSQL和Oracle對SQL的處理性能是否相同
4、擴(kuò)展性
- 分多少庫多少表,按照什么維度分需要去考慮
- 后期二次拆分怎樣才方便
#p#
去“IOE”的實(shí)施難點(diǎn)
1、數(shù)據(jù)遷移
對于異構(gòu)數(shù)據(jù)遷移,全量怎么遷移,增量怎么遷移……這些都需要考慮到。勝通提醒到,“另外,還需要考慮到怎樣才能實(shí)現(xiàn)無縫升級的問題。”
2、數(shù)據(jù)路由
如何屏蔽分表給應(yīng)用帶來的復(fù)雜性,維度查詢問題,跨分表查詢問題這些需要提前考慮到。
3、數(shù)據(jù)同步
當(dāng)搜索、數(shù)據(jù)倉庫、其它數(shù)據(jù)業(yè)務(wù)方面都有導(dǎo)出需求時,如何才能實(shí)現(xiàn)實(shí)時同步、并且只同步一次?這就需要提前預(yù)估了。
4、分布式事物
當(dāng)一個事物涉及到兩張不同的表時該怎么辦?涉及到兩個分庫時該怎么辦?這些問題也值得關(guān)注和重視。
5、規(guī)?;\(yùn)維
如跨庫數(shù)據(jù)訂正怎么解決,DDL問題怎么處理等這類日常的運(yùn)維工作。如何應(yīng)對更多的業(yè)務(wù)需求變化,開發(fā)能否對DB的操作實(shí)現(xiàn)自助等問題也需考慮。
小結(jié)
勝通最后強(qiáng)調(diào)到,去“IOE”首先需建立戰(zhàn)略性系統(tǒng)工程,深遠(yuǎn)影響公司思路,全方位的技術(shù)細(xì)節(jié)和架構(gòu)的自主把控,并不是說去掉“IBM”,去掉“Oracle”,去掉“EMC”,而是技術(shù)上的革新,才會產(chǎn)生淘寶現(xiàn)在這么百花齊放盛景。
























