課程綜述
Cloudera授權(quán)Apache Hadoop開發(fā)者培訓(xùn)為期四天，能夠使得學(xué)員全面理解使用Apache Hadoop創(chuàng)建強(qiáng)大數(shù)據(jù)處理程序的關(guān)鍵概念和實(shí)踐經(jīng)驗(yàn)：從工作流部署到使用API編寫MapReduce代碼并執(zhí)行，是Hadoop開發(fā)者面對真實(shí)環(huán)境中所有挑戰(zhàn)的最佳能力提升手段。
Hadoop的實(shí)驗(yàn)操作：
通過將講師的分享、討論與動手實(shí)驗(yàn)相結(jié)合，學(xué)員將探索Hadoop生態(tài)系統(tǒng)的所有領(lǐng)域，學(xué)習(xí)的課題如下：
*MapReduce和HDFS的原理及如何編寫MapReduce代碼
*Hadoop開發(fā)、調(diào)試及應(yīng)用工作流和常用算法的最佳實(shí)踐
*如何整合Hive、Pig、Sqoop、Flume、Oozie、Mahout及其他Hadoop生態(tài)系統(tǒng)中的項(xiàng)目
*在數(shù)據(jù)中心中優(yōu)化硬件配置及網(wǎng)絡(luò)來集成Hadoop集群
*在MapReduce中編寫和執(zhí)行Jion來連接數(shù)據(jù)集
*真實(shí)環(huán)境中數(shù)據(jù)分析所需的高級Hadoop API話題


內(nèi)容綱要
*Hadoop的意圖
-傳統(tǒng)大型可擴(kuò)展系統(tǒng)的問題
-對新方式的需求
-Hadoop簡述
*Hadoop：基本概念
-Hadoop項(xiàng)目及Hadoop組件
-Hadoop分布式文件系統(tǒng)
-使用HDFS
-MapReduce是如何工作的
-Hadoop集群是如何運(yùn)作的
-其他Hadoop生態(tài)系統(tǒng)的項(xiàng)目
*MapReduce介紹
-什么是MapReduce
-MapReduce的功能
-基本概念
-MapReduce的架構(gòu)
-MapReduce第二版
-故障恢復(fù)
-使用JobTracker Web UI
*Hadoop集群和生態(tài)系統(tǒng)
-Hadoop集群概述
-Hadoop的Job和Task
-Hadoop生態(tài)系統(tǒng)其他組件
*編寫Hadoop程序（Java）
-Map Reduce API基本概念
-通過Java編寫Map reduce（driver，mappers，reducers）
-通過Eclipse加速Hadoop開發(fā)
-Map Reduce API的新舊差異
*通過流編寫Map Reduce
-通過流API編寫Mappers和Reducers
*Unit測試MapReduce程序
-Unit測試
-JUnit和MRUnit測試架構(gòu)
-通過MRUnit編寫JUnit
-運(yùn)行Unit測試
*Hadoop API深入研究
-Tool Runner類的使用
-Mapper和Reducer的內(nèi)涵
-通過Combiner減少數(shù)據(jù)交互量
-接觸HDFS編程
-分布式緩存的使用
-Hadoop API庫的使用
*開發(fā)點(diǎn)和技巧實(shí)踐
-Map reduce代碼調(diào)試的策略
-Map Reduce代碼的本地測試
-日志文件的查看
-任務(wù)信息回收
-對象重用
-Map-Only的Map reduce工作創(chuàng)建
*Partitioners和Reducers
-Partitioners和Reducers的共同使用
-Job的最優(yōu)reducers數(shù)量決定
-客戶化partitioners開發(fā)
*數(shù)據(jù)的輸入和輸出
-客戶可寫實(shí)現(xiàn)的創(chuàng)建
-Binary數(shù)據(jù)保存
-文件壓縮的考慮
-客戶定義輸入和輸出格式實(shí)現(xiàn)
*Map Reduce通用算法
-大數(shù)據(jù)集的分類和查詢
-數(shù)據(jù)索引
-計(jì)算術(shù)語頻率
-單詞的計(jì)算
-第二分類實(shí)現(xiàn)
*Map Reduce工作的數(shù)據(jù)集加入
-編寫Map-Slide加入
-編寫Reduce-Slide加入
*Hadoop與企業(yè)工作流的集成
-企業(yè)新使用hadoop集成
-RDBMS數(shù)據(jù)到HDFS的遷移
-實(shí)時數(shù)據(jù)管理
-傳統(tǒng)系統(tǒng)對HDFS的訪問
*Hive，Impala，Pig介紹
-Hive，Impala，Pig的激勵
-Hive介紹
-Impala介紹
-Pig介紹
-三者的選擇
*Oozie介紹
-什么是Oozie
-Oozie工作流的創(chuàng)建


學(xué)員收益
在完成本課程后，學(xué)員將可以參加Cloudera關(guān)于Apache Hadoop開發(fā)者認(rèn)證（CCDH）的考試，該認(rèn)證將證明學(xué)員在該領(lǐng)域的專業(yè)能力。


目標(biāo)學(xué)員
本課程適合于具有基本編程經(jīng)驗(yàn)的開發(fā)人員和工程師，為了完成實(shí)驗(yàn)練習(xí)需要必備Java知識。