課程介紹
1.需求理解
Hadoop 設(shè)計(jì)之初的目標(biāo)就定位于高可靠性、高可拓展性、高容錯(cuò)性和高效性，正是這些設(shè)計(jì)上與生俱來的優(yōu)點(diǎn)，才使得Hadoop 一出現(xiàn)就受到眾多大公司的青睞，同時(shí)也引起了研究界的普遍關(guān)注。
對電信運(yùn)營商而言,用戶上網(wǎng)日志包含了大量用戶個(gè)性化需求、喜好信息,對其進(jìn)行分析和挖掘,能更好地了解客戶需求。傳統(tǒng)經(jīng)營分析系統(tǒng)小型機(jī)加關(guān)系型數(shù)據(jù)庫的架構(gòu)無法滿足對海量非結(jié)構(gòu)化數(shù)據(jù)的處理需求,搭建基于X86的Hadoop 平臺,引入大數(shù)據(jù)處理技術(shù)的方式,實(shí)現(xiàn)高效率、低成本、易擴(kuò)展的經(jīng)營分析系統(tǒng)混搭架構(gòu)成為電信運(yùn)營商最為傾向的選擇。本課程將全面介紹Hadoop平臺開發(fā)和運(yùn)維的各項(xiàng)技術(shù)，對學(xué)員使用該項(xiàng)技術(shù)具有很高的應(yīng)用價(jià)值。
2.培訓(xùn)課程架構(gòu)與設(shè)計(jì)思路
（1）培訓(xùn)架構(gòu)：
本課程分為三個(gè)主要部分：
第一部分：重點(diǎn)講述大數(shù)據(jù)技術(shù)在的應(yīng)用，使學(xué)員對大數(shù)據(jù)技術(shù)的廣泛應(yīng)用有清晰的認(rèn)識，在這環(huán)節(jié)當(dāng)中會重點(diǎn)介紹Hadoop技術(shù)在整個(gè)大數(shù)據(jù)技術(shù)應(yīng)用中的重要地位和應(yīng)用情況。
第二部分：具體對hadoop技術(shù)進(jìn)行模塊化分拆，從大數(shù)據(jù)文件存儲系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺及其應(yīng)用談起，介紹Hadoop技術(shù)各主要應(yīng)用工具和方法，以及在運(yùn)維維護(hù)當(dāng)中的主流做法，使學(xué)員全面了解和掌握Hadoop技術(shù)的精華。
第三部分：重點(diǎn)剖析大數(shù)據(jù)的應(yīng)用案例，使學(xué)員在案例當(dāng)中對該項(xiàng)技術(shù)有更深入的感觀印象
（2）設(shè)計(jì)思路：
本課程采用模塊化教學(xué)方法，以案例分析為主線，由淺入深、循序漸進(jìn)、由理論到實(shí)踐操作進(jìn)行設(shè)計(jì)。
（3）與企業(yè)的貼合點(diǎn)：
本課程結(jié)合企業(yè)轉(zhuǎn)型發(fā)展及大數(shù)據(jù)發(fā)展戰(zhàn)略，圍繞企業(yè)大數(shù)據(jù)業(yè)務(wù)及行業(yè)應(yīng)用市場拓展發(fā)展目標(biāo)，重點(diǎn)講授Hadoop的應(yīng)用技術(shù)，提升企業(yè)IT技術(shù)人員的開發(fā)和運(yùn)維能力，有很強(qiáng)的貼合度。


培訓(xùn)大綱
（1）課程框架
第一天上午
第一部分：移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算相關(guān)技術(shù)介紹
第二部分：大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向
下午
第三部分：大數(shù)據(jù)文件存儲系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺及其應(yīng)用
第四部分：Hadoop文件系統(tǒng)HDFS最佳實(shí)戰(zhàn)


第二天上午
第五部分：Hadoop運(yùn)維管理與性能調(diào)優(yōu)
第六部分：NOSQL數(shù)據(jù)庫Hbase與Redis
下午
第七部分：類SQL語句工具——Hive
第八部分：數(shù)據(jù)挖掘SPARK建�；�礎(chǔ)介紹


第三天上午
第九部分：Kafka基礎(chǔ)介紹
第十部分：大數(shù)據(jù)典型應(yīng)用與開發(fā)案例分析：互聯(lián)網(wǎng)數(shù)據(jù)運(yùn)營
下午
第十一部分：當(dāng)前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析-以國內(nèi)外運(yùn)營商、互聯(lián)網(wǎng)公司為例
第十二部分：課程總結(jié)與問題答疑
評估培訓(xùn)


第四天 學(xué)員考試與業(yè)界交流


詳細(xì)培訓(xùn)內(nèi)容介紹
模塊一 移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算相關(guān)技術(shù)介紹
1、 數(shù)據(jù)中心與云計(jì)算技術(shù)應(yīng)用
2、 智慧城市與云計(jì)算技術(shù)應(yīng)用
3、 移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)與云計(jì)算關(guān)聯(lián)技術(shù)
4、 移動(dòng)云計(jì)算的生態(tài)系統(tǒng)及產(chǎn)業(yè)鏈
5、 大數(shù)據(jù)技術(shù)在運(yùn)營商、金融業(yè)、銀行業(yè)、電子商務(wù)行業(yè)、零售業(yè)、制造業(yè)、政務(wù)信息化、互聯(lián)網(wǎng)、教育信息化等行業(yè)中的應(yīng)用實(shí)踐
6、 國內(nèi)外主流的大數(shù)據(jù)解決方案介紹
7、 當(dāng)前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案的剖析比較
8、 Cloudera Hadoop 大數(shù)據(jù)平臺方案剖析
9、 開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺剖析


模塊二 大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向
1、 大數(shù)據(jù)時(shí)代的挑戰(zhàn)
 戰(zhàn)略決策能力
 技術(shù)開發(fā)和數(shù)據(jù)處理能力
 組織和運(yùn)營能力
2、 大數(shù)據(jù)時(shí)代的發(fā)展方向
 云計(jì)算是基礎(chǔ)設(shè)施架構(gòu)
 大數(shù)據(jù)是靈魂資產(chǎn)
 分析、挖掘是手段
 發(fā)現(xiàn)和預(yù)測是最終目標(biāo)
3、 大數(shù)據(jù)挖掘在各行業(yè)應(yīng)用情況
 電信行業(yè)應(yīng)用及案例分析
 互聯(lián)網(wǎng)行業(yè)應(yīng)用及案例分析
 金融行業(yè)應(yīng)用及案例研究
 銷售行業(yè)應(yīng)用案例分析




模塊三 大數(shù)據(jù)文件存儲系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺及其應(yīng)用
1、 Hadoop的發(fā)展歷程
 Hadoop大數(shù)據(jù)平臺架構(gòu)
 基于Hadoop平臺的PB級大數(shù)據(jù)存儲管理與分析處理的工作原理與機(jī)制
 Hadoop 的核心組件剖析
2、 分布式文件系統(tǒng)HDFS
 概述、功能、作用、優(yōu)勢
 應(yīng)用范疇、應(yīng)用現(xiàn)狀
 發(fā)展趨勢
3、 分布式文件系統(tǒng)HDFS架構(gòu)及原理
 核心關(guān)鍵技術(shù)
 設(shè)計(jì)精髓
 基本工作原理
 系統(tǒng)架構(gòu)
 文件存儲模式
 工作機(jī)制
 存儲擴(kuò)容與吞吐性能擴(kuò)展
4、 分布式文件系統(tǒng)HDFS操作
 SHELL命令操作
 I/O流式操作
 文件數(shù)據(jù)讀取、寫入、追加、刪除
 文件狀態(tài)查詢
 數(shù)據(jù)塊分布機(jī)制
 數(shù)據(jù)同步與一致性
 元數(shù)據(jù)管理技術(shù)
 主節(jié)點(diǎn)與從節(jié)點(diǎn)工作機(jī)制
 大數(shù)據(jù)負(fù)載均衡技術(shù)
 HDFS大數(shù)據(jù)存儲集群管理技術(shù)
5、 Hadoop生態(tài)系統(tǒng)組件
 Storm
 HDFS
 MapReduce
 HIVE
 HBase
 Spark
 GraphX
 MLib
 Shark


模塊四 Hadoop文件系統(tǒng)HDFS最佳實(shí)戰(zhàn)
1、 HDFS的設(shè)計(jì)
2、 HDFS的概念
 數(shù)據(jù)塊
 namenode和datanode
 聯(lián)邦HDFS
 HDFS的高可用性
3、 命令行接口
4、 Hadoop文件系統(tǒng)
5、 Java接口
 從Hadoop URL讀取數(shù)據(jù)
 通過FileSystem API讀取數(shù)據(jù)
 寫入數(shù)據(jù)
 目錄
 查詢文件系統(tǒng)
 刪除數(shù)據(jù)
6、 數(shù)據(jù)流
 剖析文件讀取
 剖析文件寫入
 一致模型
7、 通過Flume和Sqoop導(dǎo)入數(shù)據(jù)
8、 通過distcp并行復(fù)制
9、 Hadoop存檔
 使用Hadoop存檔工具
 不足


模塊五 Hadoop運(yùn)維管理與性能調(diào)優(yōu)
1、 第二代大數(shù)據(jù)處理框架
 Yarn的工作原理及
 DAG并行執(zhí)行機(jī)制
 Yarn大數(shù)據(jù)分析處理案例分析
 Yarn 框架并行應(yīng)用程序?qū)嵺`
2、 集群配置管理
 Hadoop集群配置
 Hadoop性能調(diào)優(yōu)與參數(shù)配置
 Hadoop機(jī)架感知策略與配置
 Hadoop壓縮機(jī)制
 Hadoop任務(wù)負(fù)載均衡
 Hadoop 集群維護(hù)
 Hadoop監(jiān)控管理
3、 HDFS的靜態(tài)調(diào)優(yōu)技巧
 HDFS 的高吞吐量I/O性能調(diào)優(yōu)技巧
 MapReduce/Yarn的并行處理性能調(diào)優(yōu)技巧
 Hadoop集群的運(yùn)行故障剖析，以及解決方案
 基于Hadoop大數(shù)據(jù)應(yīng)用程序的性能瓶頸剖析與提
 Hadoop 大數(shù)據(jù)運(yùn)維監(jiān)控管理系統(tǒng) HUE 平臺的安裝部署與應(yīng)用配置
 Hadoop運(yùn)維管理監(jiān)控系統(tǒng)Ambari平臺的安裝部配置
 Hadoop 集群運(yùn)維系統(tǒng) Ganglia, Nagios的安裝部署與應(yīng)用配置


模塊六 NOSQL數(shù)據(jù)庫Hbase與Redis
1、 NOSQL基礎(chǔ)
 CAP理論
 Base與ACID
 NOSQL數(shù)據(jù)庫存儲類型
鍵值存儲
列存儲
文檔存儲
圖形存儲
2、 HBase分布式數(shù)據(jù)基礎(chǔ)
3、 安裝Hbase
4、 Hbase應(yīng)用
 HBase的邏輯數(shù)據(jù)模型，HBase的表、行、列族、列、單元格、版本、row key排序
 HBase的物理模型，命名空間（表空間）、表模式（Schema）的設(shè)計(jì)法則
 HBase 主節(jié)點(diǎn)HMaster的工作原理，HMaster的高可用配置，以及性能調(diào)優(yōu)
 HBase 從節(jié)點(diǎn)RegionServer（分區(qū)服務(wù)節(jié)點(diǎn)）的工作原理，表分區(qū)及存儲I/O高并發(fā)配置，以及性能調(diào)優(yōu)
 HBase的存儲引擎工作原理，以及HBase表數(shù)據(jù)的鍵值存儲結(jié)構(gòu)，以及HFile存儲結(jié)構(gòu)剖析
 HBase表設(shè)計(jì)與數(shù)據(jù)操作以及數(shù)據(jù)庫管理操作
 HBase集群的安裝部署、參數(shù)配置和性能優(yōu)化
5、 HBase分布式數(shù)據(jù)庫簡介、發(fā)展歷程、應(yīng)用場景、工作原理、以及應(yīng)用優(yōu)勢與不足之處
 HBase分布式數(shù)據(jù)庫集群的主從式平臺架構(gòu)和關(guān)鍵技術(shù)剖析
 HBase偽分布式和物理集群分布式的控制與運(yùn)行配置
 HBase從節(jié)點(diǎn)RegionServer（分區(qū)服務(wù)節(jié)點(diǎn)）的工作原理，表分區(qū)及存儲I/O高并發(fā)配置，以及性能調(diào)優(yōu)
 HBase的存儲引擎工作原理，以及HBase表數(shù)據(jù)的鍵值存儲結(jié)構(gòu)，以及HFile存儲結(jié)構(gòu)剖析
 HBase表設(shè)計(jì)與數(shù)據(jù)操作以及數(shù)據(jù)庫管理操作
 HBase集群的安裝部署、參數(shù)配置和性能優(yōu)化
 ZooKeeper分布式協(xié)調(diào)服務(wù)系統(tǒng)的工作原理、平臺架構(gòu)、集群部署應(yīng)用實(shí)戰(zhàn)
 ZooKeeper集群的原理架構(gòu)，以及應(yīng)用配置
6、 Redis內(nèi)存數(shù)據(jù)庫介紹，以及業(yè)界應(yīng)用案例
 Redis內(nèi)存數(shù)據(jù)庫集群架構(gòu)以及核心技術(shù)剖析
 Redis 集群的安裝部署與應(yīng)用開發(fā)實(shí)戰(zhàn)


模塊七 類SQL語句工具——Hive
1、 安裝Hive
2、 示例
3、 運(yùn)行Hive
 配置Hive
 Hive服務(wù)
 Metastore
4、 Hive與傳統(tǒng)數(shù)據(jù)庫相比
 讀時(shí)模式vs.寫時(shí)模式
 更新、事務(wù)和索引
5、 HiveQL
 數(shù)據(jù)類型
 操作與函數(shù)
6、 表
 托管表和外部表
 分區(qū)和桶
 存儲格式
 導(dǎo)入數(shù)據(jù)
 表的修改
 表的丟棄
7、 查詢數(shù)據(jù)
 排序和聚集
 MapReduce腳本
 連接
 子查詢
 視圖
8、 用戶定義函數(shù)
 寫UDF
 寫UDAF


模塊八 數(shù)據(jù)挖掘SPARK建�；�礎(chǔ)介紹
1、 Spark簡介
 Spark是什么
 Spark生態(tài)系統(tǒng)BDAS
2、 Spark架構(gòu)
 Spark分布式架構(gòu)與單機(jī)多核架構(gòu)的異同
3、 Spark集群的安裝與部署
 Spark的安裝與部署
 Spark集群初試
4、 Spark硬件配置
 Spark硬件
 Spark硬件配置流程


模塊九 Kafka基礎(chǔ)介紹
1、 Kafka介紹
2、 kafka體系結(jié)構(gòu)
3、 kafka設(shè)計(jì)理念簡介
4、 kafka通信協(xié)議
5、 kafka的偽分布安裝、集群安裝
6、 kafka的shell操作、java操作
7、 kafka設(shè)計(jì)理念*
8、 kafka producer和consumer開發(fā)
9、 Kafka分布式消息訂閱系統(tǒng)的應(yīng)用介紹、平臺架構(gòu)、集群部署與配置應(yīng)用實(shí)戰(zhàn)
10、 Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型、平臺架構(gòu)、集群部署與配置應(yīng)用實(shí)戰(zhàn)
11、 Hadoop與DBMS之間數(shù)據(jù)交互工具Sqoop的應(yīng)用實(shí)踐，
12、 Sqoop導(dǎo)入導(dǎo)出數(shù)據(jù)以及Sqoop集群部署與配置
13、 Kettle 集群的平臺架構(gòu)、核心技術(shù)、部署配置和應(yīng)用實(shí)戰(zhàn)
14、 利用Sqoop實(shí)現(xiàn) MySQL 與 Hadoop 集群之間


模塊十 大數(shù)據(jù)典型應(yīng)用與開發(fā)案例分析：互聯(lián)網(wǎng)數(shù)據(jù)運(yùn)營
1、 案例1：貴州數(shù)據(jù)交易中心
 交易所交易形式：電子交易
 交易所服務(wù)：大數(shù)據(jù)交易、大數(shù)據(jù)清洗建模分析、大數(shù)據(jù)定向采購、大數(shù)據(jù)平臺技術(shù)開發(fā)
 大數(shù)據(jù)交易安全性探討分析
 數(shù)據(jù)交易中心商業(yè)模式探討分析
2、 案例2：大數(shù)據(jù)應(yīng)用案例：公共交通線路的智能規(guī)劃
 UrbanInsights：為公交公司提供基于訂閱訪問的大數(shù)據(jù)工具以及大數(shù)據(jù)咨詢服務(wù)
 Urban Insights數(shù)據(jù)源、數(shù)據(jù)收集、數(shù)據(jù)倉庫、數(shù)據(jù)分析——設(shè)計(jì)運(yùn)營線路
 Urban Insights通過互聯(lián)網(wǎng)數(shù)據(jù)的運(yùn)營
3、 討論：浙江移動(dòng)大數(shù)據(jù)應(yīng)用與開發(fā)方向


模塊十一 當(dāng)前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析-以國內(nèi)外運(yùn)營商、互聯(lián)網(wǎng)公司為例
1、 流商業(yè)大數(shù)據(jù)解決方案比較
2、 主流開源云計(jì)算系統(tǒng)比較
3、 國內(nèi)外代表性大數(shù)據(jù)平臺比較
4、 各廠商最新的大數(shù)據(jù)產(chǎn)品介紹
5、 案例分析
 Facebook的SNS平臺應(yīng)用
 Google的搜索引擎應(yīng)用
 Rackspace的日志處理
 Verizon成立精準(zhǔn)市場營銷部
 TelefonicaDynamicInsights推出的名為“智慧足跡”的商業(yè)服務(wù)
 中國聯(lián)通的“移動(dòng)通信用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)”


頒發(fā)證書
參加相關(guān)培訓(xùn)并通過考試的學(xué)員，可以獲得：
工業(yè)和信息化部頒發(fā)的-《大數(shù)據(jù)應(yīng)用開發(fā)工程師證書》。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務(wù)的重要依據(jù)。注：請學(xué)員帶一寸彩照2張（背面注明姓名）、身份證復(fù)印件一張。