各有關(guān)單位：
為貫徹落實黨中央國務院“十二五”規(guī)劃指導精神，云計算作為戰(zhàn)略重點項目新興產(chǎn)業(yè)，政府和業(yè)界都表現(xiàn)出了極大的熱情。日前發(fā)改委、工信部、財政部支持的云計算項目正式啟動，云計算平臺和云計算服務模式已成為今后IT服務的主流。云計算服務應用的種類不斷增多，普及程度逐漸深入，使用者正向普通用戶拓展。未來，云計算及其基礎設施將是信息產(chǎn)業(yè)的核心平臺，其所蘊含的技術(shù)變革和創(chuàng)新服務模式，將深刻影響全球產(chǎn)業(yè)技術(shù)創(chuàng)新的發(fā)展。
目前，互聯(lián)網(wǎng)正從數(shù)據(jù)爆炸進一步發(fā)展到海量數(shù)據(jù)分析和挖掘的時代，而基于Hadoop技術(shù)的解決方案為海量數(shù)據(jù)存儲和處理提供了經(jīng)濟、高效、高安全性和高可靠性的保障，Apache Hadoop也因此成為大數(shù)據(jù)行業(yè)發(fā)展背后的驅(qū)動力。由于Hadoop技術(shù)已成為當下最火熱的云計算技術(shù)之一，各行業(yè)中希望深入了解并掌握這門技術(shù)的人也越來越多，我們決定開展“大數(shù)據(jù)處理Hadoop應用與開發(fā)”實戰(zhàn)培訓班，本次培訓由北京天博信通科技有限公司具體承辦，望相關(guān)單位收到通知后積極參加。相關(guān)培訓事宜如下:


培訓時間和地點
2017年11月15日-11月18日 福州 （15日全天報到）
2017年11月29日-12月02日 北京 （28日全天報到）


培訓特色
注重應用：分析國內(nèi)實際情況，結(jié)合國際、國內(nèi)成功經(jīng)驗。Hadoop采用實戰(zhàn)的項目，讓學員在短時間內(nèi)掌握Hadoop的搭建與配置。并進行高效的大數(shù)據(jù)清洗和分析。
　　形式靈活：互動課堂、免費技術(shù)沙龍、提供云計算項目建設咨詢、大數(shù)據(jù)Hadoop平臺的搭建。


頒發(fā)證書
參加相關(guān)培訓并通過考試的學員，可以獲得：
工業(yè)和信息化部頒發(fā)的-大數(shù)據(jù)高級工程師職業(yè)技能證書。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務的重要依據(jù)。
注：請學員帶二寸彩照2張（背面注明姓名）、身份證復印件一張


培訓費用及須知
5800 元/人（含教材、培訓費、以及學習用具等費用） 食宿統(tǒng)一安排，費用自理。


培訓內(nèi)容（5天課程）

模塊一：Hadoop簡介和生態(tài)系統(tǒng)介紹
 傳統(tǒng)大規(guī)模數(shù)據(jù)分析存在的問題
 Hadoop概述
 Hadoop與分布式文件系統(tǒng)
 Hadoop生態(tài)系統(tǒng)
 Hadoop的行業(yè)應用案例分析
 Hadoop在云計算和大數(shù)據(jù)的位置和關(guān)系
 Hadoop版本介紹
 Hadoop與Google FS的關(guān)系
 Hadoop在國內(nèi)的使用情況和未來
案例和演示：
Hadoop在推薦領(lǐng)域的使用案例介紹


模塊二：大數(shù)據(jù)應用場景
 離線計算架構(gòu)、技術(shù)和應用場景
 實時查詢架構(gòu)、技術(shù)和應用場景
 流式計算架構(gòu)、技術(shù)和應用場景
 內(nèi)存計算架構(gòu)、技術(shù)和應用場景
 海量數(shù)據(jù)的ETL


模塊三：Hadoop組件介紹
 Hadoop NameNode 介紹
 Hadoop SecondaryNameNode 介紹
 Hadoop DataNode 介紹
 Hadoop JobTracker 介紹
 Hadoop TaskTracker 介紹


模塊四：Hadoop的HDFS模塊
 HDFS架構(gòu)介紹
 HDFS原理介紹
 NameNode功能詳解
 DataNode功能詳解
 SecondaryNameNode功能詳解
 HSFD的fsimage和editslog詳解
 HDFS的block詳解
 HDFS的block的備份策略
 Hadoop的機架感知配置
 HDFS的shell命令介紹
 HDFS的thrift server服務介紹
 HDFS的API接口介紹
 HDFS的權(quán)限詳解
 Hadoop的客服端接入案例
案例和演示：
Hadoop的shell命令演示
 Hadoop的API接口演示
 Hadoop的客服端接入案例


模塊五：Hadoop生態(tài)組件
 集群管理工具—ambari
 分布式存儲—HDFS
 分布式計算— MapReduce
 noSQL數(shù)據(jù)庫—Hbase
 工作流工具—Oozie
 數(shù)據(jù)的并行采集—Flume
 MapReduce腳本工具—Pig
 與關(guān)系型數(shù)據(jù)庫之間的數(shù)據(jù)遷移—Sqoop
 資源管理平臺—Yarn
 數(shù)據(jù)挖掘算法—Mahout
 分布式統(tǒng)一服務—Zookeeper
 Hadoop安全工具—Knox


模塊六：MapReducer入門
 Mapreduce原理
 MapReduce流程
 剖析一個MapReduce程序
 Mapper和Reducer抽象類詳解
 Mapreduce的最小驅(qū)動類
 MapReduce自帶的類型
 自定義Writables和WritableComparables
 Mapreduce的輸入InputFormats
 MapReduce的輸出OutputFormats
 Combiner詳解
 Partitioner詳解
 DistributeFileSystem詳解
 Hadoop Tools工具介紹
 Counter計數(shù)器詳解
 自定義Counter計數(shù)器
 基于Hadoop二次開發(fā)實戰(zhàn)
 MapReduce的優(yōu)化
 Map和Reduce的個數(shù)設置
 Hadoop小文件優(yōu)化
 任務調(diào)度
 默認的任務調(diào)度
 公平任務調(diào)度
 能力任務調(diào)度
 使用 Hadoop MapReduce Streaming 編程
 MapReduce的單元測試
案例和演示：
 MapReduce實現(xiàn)海量數(shù)據(jù)比較大小案例
 自定義Hadoop類型案例
 自定義Partitioner案例
 實現(xiàn)在內(nèi)存隨機生成100個數(shù)，分成兩個Map來比較大小
 多文件輸出和自動定義MapReduce的輸出名
 MapReduce實現(xiàn)Join算法案例
 MapReduce實現(xiàn)海量文檔相似度算法
 自定義Counter案例實現(xiàn)
 MapReduce實現(xiàn)Pangrank算法。
 MapReduce單元測試：Map的單元測試測試、reduce單元測試和MapReduce整體的單元測試實戰(zhàn)。
 某公司使用MapReduce分析日志案例（10T數(shù)據(jù)以上）
 配置公平調(diào)度器案例實戰(zhàn)


模塊七：Yarn資源控制
 使用Cgroups支持CPU隔離
 指定某個應用的資源使用策略；
 根據(jù)指定策略實現(xiàn) CPU 與內(nèi)存的固定配額調(diào)度
 根據(jù)指定策略實現(xiàn) CPU 與內(nèi)存百分比的配額調(diào)度
 根據(jù)指定策略實現(xiàn)不同計算模型(mapreduce、spark)在各個計算節(jié)點的分布
 根據(jù)指定策略實現(xiàn)不同計算模型個對資源的限定
 根據(jù)指定策略實現(xiàn)不同計算模型在具體哪些節(jié)點上啟動
 基于Yarn的公平調(diào)度(Fair Scheduler)和能力調(diào)度(Capacity Scheduler)
案例和演示：
 Yarn資源控制實戰(zhàn)


模塊八：Hive
 Hive和Pig基礎
 Hive、Impala和presto的比較
 Hive的作用和原理說明
 Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系
 Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流
 Hive 部署和安裝
 Hive Cli 的基本用法
 Hive的server啟動
 HQL基本語法
 Hive的加載數(shù)據(jù)本地加載和HDFS加載
 Hive的partition詳解
 Hive的存儲方式詳解
 RCFILE、TEXTFILE和SEQUEUEFILE
 Hive的UDF和UDAF
 Hive的transform詳解
 Hive的JDBC連接
案例和演示：
 使用JDBC 連接Hive進行查詢和分析
 使用正則表達式加載數(shù)據(jù)
 編寫UDF函數(shù)
 編寫UDAF自定義函數(shù)
 Partition使用實戰(zhàn)
 Transform使用實戰(zhàn)
 某些大型公司使用hive分析日志案例詳解和實戰(zhàn)。


模塊九：Hbase使用
 Hbase原理
 Hmaster詳解
 RegionServer詳解
 Zookeeper介紹
 Hbase安裝
 Hbase邏輯視圖介紹
 Hbase物理視圖介紹
 Hbase的二級索引介紹
 Hbase 的DDL和DML
 Hbase表的設計案例
 Hbase的import功能介紹
 MapReduce操作Hbase
 Hbase的 thrift Server介紹
 Hbase 的API介紹
 Hbase案例分析
案例和演示：
 Hbase安裝實戰(zhàn)
 MapReduce操作Hbase實戰(zhàn)
 Hbase的API實戰(zhàn)
 Hbase表結(jié)構(gòu)設計實戰(zhàn)


模塊十：Hadoop企業(yè)級別案例解析
 Hadoop 結(jié)構(gòu)化數(shù)據(jù)案例
 Hadoop 非結(jié)構(gòu)化案例
 Hbase 數(shù)據(jù)庫案例
 Hadoop 視頻分析案例
案例和演示：
 利用大數(shù)據(jù)分析改進交通管理
 區(qū)域醫(yī)療大數(shù)據(jù)應用案例
 銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺
 廣東移動省公司請賬單系統(tǒng)
 上海電信網(wǎng)絡優(yōu)化
 某通信運營商全國用戶上網(wǎng)記錄
 浙江臺州市智能交通系統(tǒng)
 移動廣州詳單實時查詢系統(tǒng)
 跨區(qū)域?qū)崟r視頻監(jiān)控系統(tǒng)


模塊十一：RedHadoop 企業(yè)版本
 運用RedHadoop快速構(gòu)建服務集群
 運用RedHadoop DW 構(gòu)建數(shù)據(jù)倉庫
案例和演示：
 基于RedHadoop Hive構(gòu)建數(shù)據(jù)倉庫平臺
 靈活運用 Hive 加速游戲數(shù)據(jù)倉庫
 基于Pig+OpenCV大規(guī)模圖像人臉識別


模塊十二：Spark介紹
 內(nèi)存計算—Spark
 實時計算—Spark Streaming
 SQL on Spark— Spark QL & Shark
 基于spark的數(shù)據(jù)挖掘— Mllib
 基于Spark的圖計算—graphx
 Spark on Yarn實戰(zhàn)
案例和演示：
 Spark+Kafka+Spark Streaming+Hbase實時計算實戰(zhàn)


模塊十三：互聯(lián)網(wǎng)大數(shù)據(jù)應用案例
 阿里的ODPS大數(shù)據(jù)平臺架構(gòu)介紹
 阿里的實時推薦架構(gòu)
 阿里的交叉營銷系統(tǒng)
 阿里支付寶交易監(jiān)控系統(tǒng)
 支付寶微貸案例分析(互聯(lián)網(wǎng)征信系統(tǒng))
 京東打白條系統(tǒng)分析
 百度預測大數(shù)據(jù)平臺案例分析
 聯(lián)通大數(shù)據(jù)開放平臺變現(xiàn)案例分析