《分布式核心技術架構與實戰(zhàn)》課程詳情
點擊下載課大綱及報名表
課程簡介
分布式技術是互聯(lián)網(wǎng)企業(yè)最核心的技術,在大數(shù)據(jù)、云計算理念的推動下,各種分布式技術產品層出不窮。Hadoop還沒學完,Storm就來了;Storm剛學會安裝配置,Spark、Hama、Yarn等又一起出現(xiàn)了;同時國內外各大云平臺廠商,如Google、亞馬遜、阿里云等,還在推各自應用開發(fā)平臺……要學習的東西太多了,剛學會了某個產品的安裝配置與開發(fā)步驟,沒多久它又過時了。這么多千姿百態(tài)的分布式技術產品背后有沒有某些共性的東西呢?能否掌握背后的精髓呢,有沒有可能學一反三,學一招應萬招,牢牢掌握好技術的船舵而不會過時。一般互聯(lián)網(wǎng)企業(yè)的分布式存儲計算系統(tǒng)都是個大平臺,系統(tǒng)復雜、代碼龐大,而且只適合公司的業(yè)務,工程師很難下載安裝到自己的電腦里學習和吃透。本課程從作者多年實戰(zhàn)經(jīng)驗出發(fā),對分布式核心技術進行了大量歸納和總結,涉及了分布式主要功能的方方面面,并從中抽取出一套簡化的框架思想和編程API來幫助落地,你會感慨原來分布式技術可以如此簡單的實現(xiàn),如此輕松的上手...
課程大綱
一、分布式技術體系概述
1.分布式計算、并行計算、云計算概述
2.分布式產品hadoop、zookeeper、hbase概述
二、分布式并行計算原理和設計
1、最初想到的master-slave結構
2、“包工頭-職介所-手工倉庫-工人”簡化模式
3、基于消息中樞的計算模式
4、基于網(wǎng)狀直接交互的計算模式
5、并行結合串行模式
6、批量多階段處理模式
7、計算集群模式和兼容遺留計算系統(tǒng)
8、工人計算的服務化模式
9、實時流處理計算模式
10、跟hadoop map/reduce的區(qū)別
11、初級應用:動手跑一個基本例子(動手)
12、中級應用:計算節(jié)點互相交互的完整例子(動手)
13、高級應用:使用并行計算大幅提升算法效率例子(動手)
14、相關架構探討(需求、運維、故障、優(yōu)化等)
三、分布式協(xié)調原理和設計
1、協(xié)調架構原理簡介
2、權限機制 115
3、相對于zookeeper的區(qū)別
4、與paxos算法的區(qū)別
5、實踐應用:分布式鎖和應用(動手)
6、實踐應用:統(tǒng)一配置和應用(動手)
7、實踐應用:領導者選舉和應用(動手)
8、相關架構探討(需求、運維、故障、優(yōu)化等)
四、分布式緩存架構和實現(xiàn)
1、小型網(wǎng)站或企業(yè)應用的緩存實現(xiàn)架構
2、大型分布式緩存系統(tǒng)實現(xiàn)過程
3、 一致性哈希算法的原理、改進和實現(xiàn)
4、解決任意擴容的問題
5、 解決擴容后數(shù)據(jù)均勻的問題
6、分布式session的架構設計和實現(xiàn)
7、按日期取模無遷移擴容算法
8、相關架構探討(需求、運維、故障、優(yōu)化等)
五、分布式消息隊列的實現(xiàn)
1、jms的兩種經(jīng)典模式
2、如何實現(xiàn)發(fā)送接收的隊列模式
3、如何實現(xiàn)主題訂閱模式
六、分布式文件系統(tǒng)架構和實現(xiàn)
1、簡化的分布式文件系統(tǒng)架構
2、搭建配置fttpadapter環(huán)境
3、訪問集群文件根目錄
4、訪問和操作遠程文件
5、集群內文件復制和并行復制
6、讀寫遠程文件
7、解析遠程文件
8、并行讀寫遠程文件
9、批量并行讀寫遠程文件和事務補償處理
10、實踐:基于文件讀寫的上億排序(動手)
11、相關架構探討(需求、運維、故障、優(yōu)化等)
七、分布式k/v數(shù)據(jù)庫存儲技術的變革
數(shù)據(jù)庫作為企業(yè)信息系統(tǒng)的最基礎軟件,面臨著分布式存儲、nosql、k/v、并行數(shù)據(jù)庫等創(chuàng)新技術的沖擊
1、從關系數(shù)據(jù)庫架構到k/v數(shù)據(jù)庫架構
2、緩存和持久存儲在越來越接近
3、kv nosql數(shù)據(jù)庫和文檔nosql數(shù)據(jù)庫
4、如何寫一個數(shù)據(jù)庫
5、百萬吞吐量的新型并行數(shù)據(jù)庫CoolHash架構
6、動手體驗
7、相關架構探討(需求、運維、故障、優(yōu)化等)
《分布式核心技術架構與實戰(zhàn)》所屬分類
研發(fā)項目
《分布式核心技術架構與實戰(zhàn)》授課培訓師簡介
木巖
擅長領域
研發(fā)管理
職業(yè)背景
現(xiàn)任某知名IT企業(yè)中間件首席架構師,前淘寶高級專家。先后在淘寶交易、淘寶中間件、集團核心系統(tǒng)、阿里金融等部門工作。曾任金蝶總體架構部SOA架構師,負責設計ESB。曾艱苦創(chuàng)業(yè),編寫和銷售財務軟件。
在Java技術領域從業(yè)十多年,撰寫過多款開源軟件,其中,淘寶分布式技術框架Fourinone為其代表作。他擁有軟件著作權的代表作有:BS系列軟件(包括財務進銷存、OA產品、CRM等)、FMS視頻會議、Flash網(wǎng)站生成軟件(華軍可下載),所有軟件作品均貢獻99%代碼。
作品:
CoolHash數(shù)據(jù)庫引擎
出版書籍:《大規(guī)模分布式系統(tǒng)架構與設計實戰(zhàn)》