招生對象
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
各地政府云計(jì)算物聯(lián)網(wǎng)產(chǎn)業(yè)相關(guān)負(fù)責(zé)人，各企業(yè)CIO、信息中心負(fù)責(zé)人、技術(shù)總監(jiān)，云計(jì)算中心負(fù)責(zé)人，云計(jì)算產(chǎn)業(yè)投資團(tuán)隊(duì)，云計(jì)算應(yīng)用開發(fā)商，云計(jì)算硬件設(shè)備供應(yīng)商，云服務(wù)提供商，高校、科研院所云計(jì)算項(xiàng)目負(fù)責(zé)人。各企業(yè)大數(shù)據(jù)架構(gòu)師、技術(shù)總監(jiān)、數(shù)據(jù)挖掘負(fù)責(zé)人、數(shù)據(jù)挖掘開發(fā)工程師

課程內(nèi)容
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
課程目標(biāo)
1、了解Hadoop的歷史及目前發(fā)展的現(xiàn)狀、以及Hadoop的技術(shù)特點(diǎn)，從而把握分布式計(jì)算框架及未來發(fā)展方向，在大數(shù)據(jù)時(shí)代能為企業(yè)的技術(shù)選型及架構(gòu)設(shè)計(jì)提供決策參考。
2、全面掌握Hadoop的架構(gòu)原理和使用場景，并通過貫穿課程的項(xiàng)目進(jìn)行實(shí)戰(zhàn)鍛煉，從而熟練使用Hadoop進(jìn)行MapReduce程序開發(fā)。課程還涵蓋了分布式計(jì)算領(lǐng)域的常用算法介紹，幫助學(xué)員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)自身價(jià)值。
3、深入理解Hadoop技術(shù)架構(gòu),對Hadoop運(yùn)作機(jī)制有清晰全面的認(rèn)識，可以獨(dú)立規(guī)劃及部署生產(chǎn)環(huán)境的Hadoop集群，掌握Hadoop基本運(yùn)維思路和方法，對Hadoop集群進(jìn)行管理和優(yōu)化。

　培訓(xùn)特色
注重應(yīng)用：分析國內(nèi)實(shí)際情況，結(jié)合國際、國內(nèi)成功經(jīng)驗(yàn)。Hadoop采用實(shí)戰(zhàn)的項(xiàng)目，讓學(xué)員在短時(shí)間內(nèi)掌握Hadoop的搭建與配置。并進(jìn)行高效的大數(shù)據(jù)清洗和分析。
　　形式靈活：互動(dòng)課堂、免費(fèi)技術(shù)沙龍、提供云計(jì)算項(xiàng)目建設(shè)咨詢、大數(shù)據(jù)Hadoop平臺(tái)的搭建。

頒發(fā)證書
參加相關(guān)培訓(xùn)并通過考試的學(xué)員，可以獲得：
工業(yè)和信息化部人才交流中心頒發(fā)的《全國計(jì)算機(jī)專業(yè)級人才證書》-大數(shù)據(jù)處理高級工程師。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務(wù)的重要依據(jù)。
注：請學(xué)員帶一寸彩照2張（背面注明姓名）、身份證復(fù)印件一張。

培訓(xùn)費(fèi)用及須知
5000 元/人（含教材、培訓(xùn)費(fèi)、以及學(xué)習(xí)用具等費(fèi)用）食宿統(tǒng)一安排，費(fèi)用自理。

八、培訓(xùn)內(nèi)容（3天課程）
課程模塊課程主題主要內(nèi)容案例和演示
傳統(tǒng)大規(guī)模系統(tǒng)存在的問題
u模塊一 Hadoop在云計(jì)算技術(shù)的作用和地位
Hadoop概述u
u Hadoop分布式文件系統(tǒng)
MapReduce工作原理 u
Hadoop集群剖析 u
u Hadoop生態(tài)系統(tǒng)對一種新的解決方案的需求
Hadoop的行業(yè)應(yīng)用案例分析u
u Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系u數(shù)據(jù)開放,數(shù)據(jù)云服務(wù)平臺(tái)(DAAS)時(shí)代
Hadoop平臺(tái)在數(shù)據(jù)云平臺(tái)(DAAS)上的天然優(yōu)勢u
數(shù)據(jù)云平臺(tái)(DAASu平臺(tái))組成部分
互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)案例u
Hadoop構(gòu)建構(gòu)建游戲云(Web Game Daas)平臺(tái)u

模塊二 Hadoop HDFS 和 MapReduceuHadoop生態(tài)系統(tǒng)介紹和演示
Hadoop數(shù)據(jù)庫之HBaseu
u Hadoop數(shù)據(jù)倉庫之Hive
Hadoop數(shù)據(jù)處理腳本Pigu
Hadoop數(shù)據(jù)接口Sqoop和Flume，Scribe DataXu
運(yùn)用Hadoop自下而上構(gòu)建大規(guī)模企業(yè)數(shù)據(jù)倉庫u Hadoop工作流引擎 Oozie u
暴風(fēng)影音數(shù)據(jù)倉庫實(shí)戰(zhàn)解析u

模塊三 Hadoop HDFS 基本結(jié)構(gòu)uHadoop組件詳解
Hadoop HDFS 副本存放策略u
Hadoop NameNodeu詳解
HadoopSecondaryNameNode 詳解u
Hadoop DataNode 詳解u
Hadoopu JobTracker 詳解
Hadoop Mapper類核心代碼u Hadoop TaskTracker 詳解u
Hadoopu Reduce類核心代碼
Hadoop 核心代碼u
Hadoop系統(tǒng)模塊組件概述
 
u模塊四 Hadoop安裝和部署
u Hadoop試驗(yàn)集群的部署結(jié)構(gòu)
Hadoop 安裝依賴關(guān)系u
Hadoop 生產(chǎn)環(huán)境的部署結(jié)構(gòu)u
Hadoop集群部署u
u Hadoop 高可用配置方法
Hadoop 集群簡單測試方法u
Hadoop安裝部署實(shí)驗(yàn)u Hadoop 集群異常Debug方法u
u Red hat Linux基礎(chǔ)環(huán)境搭建
Hadoop 單機(jī)系統(tǒng)版本安裝配置u
Hadoop 集群系統(tǒng)版本安裝和啟動(dòng)配置u
使用u Hadoop MapReduce Streaming 快速測試系統(tǒng)
Hadoopcore-site，hdfs-site，mapred-siteu配置詳解
Hadoop 集群內(nèi)存要求
 
u模塊五 Hadoop集群規(guī)劃
Hadoop集群磁盤分區(qū)u
集群和網(wǎng)絡(luò)拓?fù)湟�求u
u 針對NameNode Jobtracker DataNode TaskTracker Hiveserveru集群軟件的端口配置 等不同組件需求推薦服務(wù)器配置
Hadoop MapReduce 算法的原理和優(yōu)化思想
 
u模塊六 MapReduce 算法原理
u 運(yùn)用MapReduce 構(gòu)建數(shù)據(jù)庫算法u靈活運(yùn)用MapReduce 實(shí)現(xiàn)算法
Select Sort GrougBy Sum Countu
Join 新進(jìn)流失算法u
使用 Y-Smart 快速轉(zhuǎn)換SQL 為MapReduce 代碼u

u模塊七編寫MapReduce高級程序 使用 Hadoop MapReduce Streaming 編程
MapReduce流程 u
剖析一個(gè)MapReduce程序u
基本MapReduceAPI概念 u
驅(qū)動(dòng)代碼 Mapper、Reduceru
Hadoop流u
APIu使用Eclipse進(jìn)行快速開發(fā)
新MapReduce APIu
MapReduce的優(yōu)化u
u MapReduce的任務(wù)調(diào)度
MapReduce編程實(shí)戰(zhàn)u
如何利用其他Hadoop相關(guān)技術(shù)，包括Apache Hive， Apacheu Pig，Sqoop和Oozie等
Hadoop Streaming 和 Javau滿足解決實(shí)際數(shù)據(jù)分析問題的高級Hadoop API u MapReduce Api 差異。
MapReduce 實(shí)現(xiàn)數(shù)據(jù)庫功能u
利用Combiners來減少中間數(shù)據(jù)u
u編寫Partitioner來優(yōu)化負(fù)載平衡
直接訪問Hadoop分布式文件系統(tǒng)（HDFS）u
Hadoop的join操作u
u輔助排序在Reducer方的合并
定制Writables和WritableComparablesu
u使用SequenceFiles和Avro文件保存二進(jìn)制數(shù)據(jù)
創(chuàng)建InputFormats OutputFormatsu
u Hadoop的二次排序
Hadoop的海量日志分析u
在Map方的合并 u

模塊八集成Hadoop到現(xiàn)有工作流
存儲(chǔ)系統(tǒng)u及Hadoop API深入探討
利用Sqoop從關(guān)系型數(shù)據(jù)庫系統(tǒng)中導(dǎo)入數(shù)據(jù)到Hadoopu
u利用Flume導(dǎo)入實(shí)時(shí)數(shù)據(jù)到Hadoop
ToolRunner介紹、使用MRUnit進(jìn)行測試u
u 使用FuseDFS和Hadoop訪問HDFSu使用Configure和Close方法來進(jìn)行Map/Reduce設(shè)置和關(guān)閉
u使用分布式緩存（Distributed Cache）
直接訪問Hadoop分布式文件系統(tǒng)（HDFS）u
u利用Combiners來減少中間數(shù)據(jù)
編寫Partitioner來優(yōu)化負(fù)載平衡 u

u模塊九使用Hive和Pig開發(fā)及技巧 Hive和Pig基礎(chǔ)
Hive的作用和原理說明u
Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系u
u Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流
Hive 部署和安裝u
Hive Cli 的基本用法u
HQL基本語法u
運(yùn)用Pigu 使用JDBC 連接Hive進(jìn)行查詢和分析u過濾用戶數(shù)據(jù)
使用正則表達(dá)式加載數(shù)據(jù)u
HQL高級語法u
編寫UDF函數(shù)u
u編寫UDAF自定義函數(shù)
基于Hive腳本內(nèi)嵌Streaming 編程
 
u模塊十 Hbase安裝和使用 安裝部署
Hbase原理和結(jié)構(gòu)u
使用Hbase+Hive 提供 OLAPu Hbase 運(yùn)維和管理u SQL查詢能力
使用Hbase+Phoenix提供 OLTP SQL能力u
基于Hbase 的時(shí)間序列數(shù)據(jù)庫 OpenTsDbu結(jié)構(gòu)解析
Hadoop2.0 HDFS 原理
 
u模塊十一 Hadoop2.0 集群探索
Hadoop2.0 Yarn 原理u
u 基于Hadoop2.0 構(gòu)建分布式系統(tǒng)uHadoop2.0 生態(tài)系統(tǒng)
Hadoopu
 
模塊十二 Hadoop企業(yè)級別案例解析 結(jié)構(gòu)化數(shù)據(jù)案例
Hadoop 非結(jié)構(gòu)化案例u
Hbase 數(shù)據(jù)庫案例u
u Hadoop 視頻分析案例u利用大數(shù)據(jù)分析改進(jìn)交通管理
區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用案例u
銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)u
廣東移動(dòng)省公司請賬單系統(tǒng)u
u上海電信網(wǎng)絡(luò)優(yōu)化
某通信運(yùn)營商全國用戶上網(wǎng)記錄u
浙江臺(tái)州市智能交通系統(tǒng)u
移動(dòng)廣州詳單實(shí)時(shí)查詢系統(tǒng)u
u跨區(qū)域?qū)崟r(shí)視頻監(jiān)控系統(tǒng)
運(yùn)用RedHadoop快速構(gòu)建服務(wù)集群
 
u模塊十三 RedHadoop 企業(yè)版本
運(yùn)用RedHadoop DWu 基于RedHadoop Hive構(gòu)建數(shù)據(jù)倉庫平臺(tái)u構(gòu)建數(shù)據(jù)倉庫
靈活運(yùn)用 Hive 加速游戲數(shù)據(jù)倉庫u
u基于Pig+OpenCV大規(guī)模圖像人臉識別
Spark原理；Spark的架構(gòu)圖；Spark運(yùn)行模式介紹
 
u模塊十四 Spark原理和入門
u —local；—standalone；—messos；—yarn；Spark的RDD
u什么是RDD；RDD的種類；—Tranformation；—Action
Spark的存儲(chǔ)級別；Cache介紹；Spark的容錯(cuò)原理u
u Lineage容錯(cuò)；Checkpoint容錯(cuò)；RDD的創(chuàng)建
案例—統(tǒng)計(jì)單詞的個(gè)數(shù)u