各有關(guān)單位：
為貫徹落實(shí)黨中央國(guó)務(wù)院“十三五”規(guī)劃指導(dǎo)精神，云計(jì)算作為戰(zhàn)略重點(diǎn)項(xiàng)目新興產(chǎn)業(yè)，政府和業(yè)界都表現(xiàn)出了極大的熱情。日前發(fā)改委、工信部、財(cái)政部支持的云計(jì)算項(xiàng)目正式啟動(dòng)，云計(jì)算平臺(tái)和云計(jì)算服務(wù)模式已成為今后IT服務(wù)的主流。云計(jì)算服務(wù)應(yīng)用的種類不斷增多，普及程度逐漸深入，使用者正向普通用戶拓展。未來(lái)，云計(jì)算及其基礎(chǔ)設(shè)施將是信息產(chǎn)業(yè)的核心平臺(tái)，其所蘊(yùn)含的技術(shù)變革和創(chuàng)新服務(wù)模式，將深刻影響全球產(chǎn)業(yè)技術(shù)創(chuàng)新的發(fā)展。
目前，互聯(lián)網(wǎng)正從數(shù)據(jù)爆炸進(jìn)一步發(fā)展到海量數(shù)據(jù)分析和挖掘的時(shí)代，而基于Hadoop技術(shù)的解決方案為海量數(shù)據(jù)存儲(chǔ)和處理提供了經(jīng)濟(jì)、高效、高安全性和高可靠性的保障，Apache Hadoop也因此成為大數(shù)據(jù)行業(yè)發(fā)展背后的驅(qū)動(dòng)力。由于Hadoop技術(shù)已成為當(dāng)下最火熱的云計(jì)算技術(shù)之一，各行業(yè)中希望深入了解并掌握這門技術(shù)的人也越來(lái)越多，我中心決定開展大數(shù)據(jù)應(yīng)用高級(jí)研修班，望相關(guān)單位收到通知后積極參加。相關(guān)培訓(xùn)事宜如下:


培訓(xùn)特色
注重應(yīng)用：分析國(guó)內(nèi)實(shí)際情況，結(jié)合國(guó)際、國(guó)內(nèi)成功經(jīng)驗(yàn)。Hadoop采用實(shí)戰(zhàn)的項(xiàng)目，讓學(xué)員在短時(shí)間內(nèi)掌握Hadoop的搭建與配置。并進(jìn)行高效的大數(shù)據(jù)清洗和分析。
　　形式靈活：互動(dòng)課堂、免費(fèi)技術(shù)沙龍、提供云計(jì)算項(xiàng)目建設(shè)咨詢、大數(shù)據(jù)Hadoop平臺(tái)的搭建。


頒發(fā)證書
參加相關(guān)培訓(xùn)并通過(guò)考試的學(xué)員，可以獲得中心頒發(fā)的-大數(shù)據(jù)高級(jí)工程師。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級(jí)和晉升職務(wù)的重要依據(jù)。


培訓(xùn)費(fèi)用及須知
5800 元/人（含教材、培訓(xùn)費(fèi)、以及學(xué)習(xí)用具等費(fèi)用） 食宿統(tǒng)一安排，費(fèi)用自理。


授課內(nèi)容


第一章
一、大數(shù)據(jù)技術(shù)基礎(chǔ)
1. 大數(shù)據(jù)的產(chǎn)生背景與發(fā)展歷程
2. 大數(shù)據(jù)的4V特征，以及與云計(jì)算的關(guān)系
3. 大數(shù)據(jù)應(yīng)用需求以及潛在價(jià)值分析
4. 業(yè)界最新的大數(shù)據(jù)技術(shù)發(fā)展態(tài)勢(shì)與應(yīng)用趨勢(shì)
5. 大數(shù)據(jù)項(xiàng)目的系統(tǒng)與技術(shù)選型，及落地實(shí)施的挑戰(zhàn)
6. “互聯(lián)網(wǎng)+”時(shí)代下的電子商務(wù)、制造業(yè)、零售批發(fā)、電信運(yùn)營(yíng)商、互聯(lián)網(wǎng)金融業(yè)、電子政務(wù)、移動(dòng)互聯(lián)網(wǎng)、教育信息化等行業(yè)應(yīng)用實(shí)踐與應(yīng)用案例介紹
二、業(yè)界主流的大數(shù)據(jù)技術(shù)方案
1. 大數(shù)據(jù)軟硬件系統(tǒng)全棧與關(guān)鍵技術(shù)介紹
2. 主流的大數(shù)據(jù)解決方案介紹
3. Apache大數(shù)據(jù)平臺(tái)方案剖析
4. CDH大數(shù)據(jù)平臺(tái)方案剖析
5. HDP大數(shù)據(jù)平臺(tái)方案剖析
6. 大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫(kù)方案比較
三、大數(shù)據(jù)計(jì)算模型（一）——批處理MapReduce
1. MapReduce產(chǎn)生背景與適用場(chǎng)景
2. MapReduce計(jì)算模型的基本原理
3. MapReduce作業(yè)執(zhí)行流程
4. MapReduce基本組件，JobTracker和TaskTracker
5. MapReduce高級(jí)編程應(yīng)用，Combiner和Partitioner
6. MapReduce性能優(yōu)化技巧
7. MapReduce案例分析與開發(fā)實(shí)踐操作


第二章
四、大數(shù)據(jù)存儲(chǔ)系統(tǒng)與應(yīng)用實(shí)踐
1. 分布式文件系統(tǒng)HDFS產(chǎn)生背景與適用場(chǎng)景
2. HDFS master-slave系統(tǒng)架構(gòu)與工作原理
3. HDFS核心組件技術(shù)講解
4. HDFS高可用保證機(jī)制
5. HDFS集群的安裝、部署與配置，熟練HDFS shell命令操作
6. 分布式小文件存儲(chǔ)系統(tǒng)的平臺(tái)架構(gòu)、核心技術(shù)與應(yīng)用場(chǎng)景
7. 分布式對(duì)象存儲(chǔ)系統(tǒng)的平臺(tái)架構(gòu)、核心技術(shù)與應(yīng)用場(chǎng)景
五、Hadoop框架與生態(tài)發(fā)展，以及應(yīng)用實(shí)踐操作
1. Hadoop的發(fā)展歷程
2. Hadoop大數(shù)據(jù)生態(tài)圈系統(tǒng)與工具全貌介紹
3. Hadoop 1.0的核心組件與適用范圍
4. Hadoop 2.0的核心組件YARN工作原理，以及與Hadoop 1.0的區(qū)別
5. Hadoop資源管理與作業(yè)調(diào)度機(jī)制
6. Hadoop 常用性能優(yōu)化技術(shù)
7. Hadoop集群安裝與部署實(shí)踐，以及MapReduce程序在YARN上執(zhí)行


第三章
六、大數(shù)據(jù)計(jì)算模型（二）——實(shí)時(shí)處理/內(nèi)存計(jì)算 Spark
1. MapReduce計(jì)算模型的瓶頸
2. Spark產(chǎn)生動(dòng)機(jī)、基本概念與適用場(chǎng)景
3. Spark編程模型與RDD彈性分布式數(shù)據(jù)集的工作原理與機(jī)制
4. Spark實(shí)時(shí)處理平臺(tái)運(yùn)行架構(gòu)與核心組件
5. Spark容錯(cuò)機(jī)制
6. Spark作業(yè)調(diào)度機(jī)制
7. Scala開發(fā)介紹與實(shí)踐
8. Spark集群部署與配置實(shí)踐，Spark開發(fā)環(huán)境構(gòu)建，Spark案例程序分析，Spark程序開發(fā)與運(yùn)行，Spark與Hadoop集群集成實(shí)踐


第四章
七、大數(shù)據(jù)倉(cāng)庫(kù)查詢技術(shù)Hive、SparkSQL、Impala，以及應(yīng)用實(shí)踐
1. 基于MapReduce的大型分布式數(shù)據(jù)倉(cāng)庫(kù)Hive基礎(chǔ)知識(shí)與應(yīng)用場(chǎng)景
2. Hive數(shù)據(jù)倉(cāng)庫(kù)的平臺(tái)架構(gòu)與核心技術(shù)剖析
3. Hive metastore的工作機(jī)制與應(yīng)用
4. Hive數(shù)據(jù)倉(cāng)庫(kù)實(shí)踐：Hive集群安裝部署，數(shù)據(jù)倉(cāng)庫(kù)表導(dǎo)入導(dǎo)出與分區(qū)操作，Hive SQL操作，Hive客戶端操作
5. 基于Spark的大型分布式數(shù)據(jù)倉(cāng)庫(kù)SparkSQL基礎(chǔ)知識(shí)與應(yīng)用場(chǎng)景
6. Spark SQL實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的實(shí)現(xiàn)原理與工作機(jī)制
7. SparkSQL應(yīng)用分析與操作實(shí)踐
8. 基于MPP的大型分布式數(shù)據(jù)倉(cāng)庫(kù)Impala基礎(chǔ)知識(shí)與應(yīng)用場(chǎng)景
9. Impala實(shí)時(shí)查詢系統(tǒng)平臺(tái)架構(gòu)、關(guān)鍵技術(shù)剖析
八、Hadoop集群運(yùn)維監(jiān)控工具
1. Hadoop大數(shù)據(jù)運(yùn)維監(jiān)控管理系統(tǒng)HUE平臺(tái)介紹
2. Hadoop運(yùn)維管理監(jiān)控系統(tǒng)Ambari工具介紹
3. 第三方運(yùn)維系統(tǒng)與工具Ganglia, Nagios


第五章
九、大數(shù)據(jù)計(jì)算模型（三）——流處理Storm, SparkStreaming
1. 流數(shù)據(jù)處理應(yīng)用場(chǎng)景與流數(shù)據(jù)處理的特點(diǎn)
2. 流數(shù)據(jù)處理工具Storm的平臺(tái)架構(gòu)與集群工作原理
3. Storm關(guān)鍵技術(shù)與并發(fā)機(jī)制
4. Storm編程模型與基本開發(fā)模式
5. Storm數(shù)據(jù)流分組
6. Storm可靠性保證與Acker機(jī)制
7. Storm應(yīng)用案例分析與實(shí)踐：Storm集群安裝部署，Storm程序開發(fā)運(yùn)行操作實(shí)踐，Storm與Hadoop集群的集成
8. 流數(shù)據(jù)處理工具Spark Streaming基本概念與數(shù)據(jù)模型
9. Spark Streaming工作機(jī)制
十、大數(shù)據(jù)ETL操作工具，與大數(shù)據(jù)分布式采集系統(tǒng)
1. Hadoop與DBMS之間數(shù)據(jù)交互工具的應(yīng)用
2. Sqoop導(dǎo)入導(dǎo)出數(shù)據(jù)的工作原理，以及Sqoop工具的安裝部署與實(shí)踐操作，利用Sqoop實(shí)現(xiàn)MySQL與Hadoop集群之間的數(shù)據(jù)導(dǎo)入導(dǎo)出交互
3. Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型與系統(tǒng)架構(gòu)
4. Kafka分布式消息訂閱系統(tǒng)的應(yīng)用介紹與平臺(tái)架構(gòu)，及其使用模式


第六章
十一、面向OLTP型應(yīng)用的NoSQL數(shù)據(jù)庫(kù)及應(yīng)用實(shí)踐
1. 關(guān)系型數(shù)據(jù)庫(kù)瓶頸，以及NoSQL數(shù)據(jù)庫(kù)的發(fā)展，概念，分類，及其在半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)場(chǎng)景下的適用范圍
2. 列存儲(chǔ)NoSQL數(shù)據(jù)庫(kù)HBase簡(jiǎn)介與數(shù)據(jù)模型剖析
3. HBase分布式集群系統(tǒng)架構(gòu)與讀寫機(jī)制，ZooKeeper分布式協(xié)調(diào)服務(wù)系統(tǒng)的工作原理與應(yīng)用
4. HBase表設(shè)計(jì)模式與primary key設(shè)計(jì)規(guī)范
5. HBase分布式集群安裝、部署與操作實(shí)踐
6. 文檔NoSQL數(shù)據(jù)庫(kù)MongoDB簡(jiǎn)介與數(shù)據(jù)模型剖析
7. MongoDB集群模式、讀寫機(jī)制與常用API操作
8. Cassandra分布式數(shù)據(jù)庫(kù)的平臺(tái)架構(gòu)以及關(guān)鍵技術(shù)
9. Cassandra一致性哈希算法與數(shù)據(jù)分布策略，以及NWR策略
10.鍵值型NoSQL數(shù)據(jù)庫(kù)Redis簡(jiǎn)介與數(shù)據(jù)模型剖析
11.Redis多實(shí)例集群架構(gòu)與關(guān)鍵技術(shù)
12.NewSQL數(shù)據(jù)庫(kù)技術(shù)簡(jiǎn)介及其適用場(chǎng)景
十二、大數(shù)據(jù)項(xiàng)目選型、實(shí)施、優(yōu)化等問(wèn)題交流討論
大數(shù)據(jù)項(xiàng)目的需求分析、應(yīng)用實(shí)施、系統(tǒng)優(yōu)化，以及解決方案等咨詢與交流討論