《關于舉辦大數據平臺搭建與高性能計算最佳實戰(zhàn) 培訓班的通知》課程詳情
點擊下載課大綱及報名表 課程特色
1.課程培訓業(yè)界最流行、應用最廣泛的Hadoop、Spark和Flink大數據技術體系。強化大數據平臺的分布式集群架構和核心關鍵技術實現、大數據應用項目開發(fā)和大數據集群運維實踐、以及Hadoop、Spark與Flink大數據項目應用開發(fā)與調優(yōu)的全過程沙盤模擬實戰(zhàn)。
2.通過一個完整的大數據開發(fā)項目及一組實際項目訓練案例，完全覆蓋Hadoop、Spark與Flink生態(tài)系統(tǒng)平臺的應用開發(fā)與運維實踐。課堂實踐項目以項目小組的形式進行沙盤實操練習，重點強化理解Hadoop、Spark與Flink大數據項目各個階段的工作重點，同時掌握作為大數據項目管理者的基本技術與業(yè)務素養(yǎng)。
3.本課程的授課師資都是有著多年在一線從事Hadoop、Spark與Flink大數據項目的資深講師，采用原理技術剖析和實戰(zhàn)案例相結合的方式開展互動教學、強化以建立大數據項目解決方案為主體的應用開發(fā)、技術討論與交流咨詢，在學習的同時促進講師學員之間的交流，讓每個學員都能在課程培訓過程中學到實實在在的大數據技術知識體系，以及大數據技術應用實戰(zhàn)技能，具備實際大數據應用項目的動手開發(fā)實踐與運維管理部署能力。授課過程中，根據學員需求，增設交流環(huán)節(jié)，可將具體工作中遇到的實際問題展開討論，講師會根據學員的實際情況微調授課內容，由講師帶著全部學員積極討論，并給出一定的時間讓學員上臺發(fā)言，現場剖析問題的癥結，規(guī)劃出可行的解決方案。

大數據技術基礎
1. 大數據的產生背景與發(fā)展歷程
2. 大數據的4V特征，以及與云計算的關系
3. 大數據應用需求以及潛在價值分析
4. 業(yè)界最新的大數據技術發(fā)展態(tài)勢與應用趨勢
5. 大數據思維的轉變
6. 大數據項目的系統(tǒng)與技術選型，及落地實施的挑戰(zhàn)
7. “互聯(lián)網+”時代下的電子商務、制造業(yè)、交通行業(yè)、電信運營商、銀行金融業(yè)、電子政務、移動互聯(lián)網、教育信息化等行業(yè)應用實踐與應用案例介紹


業(yè)界主流的大數據技術方案
1. 大數據軟硬件系統(tǒng)全棧與關鍵技術介紹
2. 大數據生態(tài)系統(tǒng)全景圖
3. 主流的大數據解決方案介紹
4. Apache大數據平臺方案剖析
5. CDH大數據平臺方案剖析
6. HDP大數據平臺方案剖析
7. 基于云的大數據平臺方案剖析
8. 大數據解決方案與傳統(tǒng)數據庫方案比較
9. 國內外大數據平臺方案與廠商對比


大數據計算模型（一）——批處理MapReduce
1. MapReduce產生背景與適用場景
2. MapReduce計算模型的基本原理
3. MapReduce作業(yè)執(zhí)行流程
4. MapReduce編程模型: Map處理和Reduce處理
5. MapReduce處理流程：數據讀取collect、中間數據sort、中間數據spill、中間數據shuffle、聚合分析reduce
6. MapReduce開發(fā)高級應用：Combiner技術與應用場景、Partitioner技術與應用場景、多Reducers應用
7. MapReduce開發(fā)與應用實戰(zhàn)：Hadoop平臺搭建與運行；MapReduce安裝與部署；
8. 應用案例：基于HDFS+MapReduce集成的服務器日志分析采集、存儲與分析MapReduce程序實例開發(fā)與運行
9. MapReduce參數調優(yōu)與性能優(yōu)化技巧


大數據存儲系統(tǒng)與應用實踐
1. 分布式文件系統(tǒng)HDFS產生背景與適用場景
2. HDFS master-slave系統(tǒng)架構與讀寫工作原理
3. HDFS核心組件技術講解，NameNode與fsimage、editslog，DataNode與數據塊
4. HDFS Federation機制，viewfs機制，使用場景講解
5. HDFS高可用保證機制，SecondaryNameNode，NFS冷備份，基于zookeeper的HA方案
6. HDFS參數調優(yōu)與性能優(yōu)化


大數據實戰(zhàn)練習一
1. Hadoop平臺搭建、部署與應用實踐，包含HDFS分布式文件系統(tǒng)，YARN資源管理軟件，MapReduce計算框架軟件
2. HDFS 文件、目錄創(chuàng)建、上傳、下載等命令操作，HDFS合并、歸檔操作，HDFS監(jiān)控平臺使用
3. MapReduce程序在YARN上運行，YARN監(jiān)控平臺使用
Hadoop框架與生態(tài)發(fā)展，以及應用實踐操作 1. Hadoop的發(fā)展歷程
2. Hadoop 1.0的核心組件JobTracker，TaskTracker，以及適用范圍
3. Hadoop 3.0的核心組件YARN工作原理，以及與Hadoop 1.0的聯(lián)系與區(qū)別
4. Hadoop關鍵機制：任務推測執(zhí)行，任務容錯，任務選擇執(zhí)行，心跳機制
5. Hadoop YARN的資源管理與作業(yè)調度機制：FIFO調度，Capacity調度器，Fair調度器
6. Hadoop 常用參數調優(yōu)與性能優(yōu)化技術


大數據計算模型（二）——實時處理/內存計算 Spark
1. MapReduce計算模型的瓶頸
2. Spark產生動機、基本概念與適用場景
3. Spark編程模型與RDD彈性分布式數據集的工作原理與機制
4. Spark實時處理平臺運行架構與核心組件
5. Spark RDD主要Transformation：map, flatMap, filter, un-ion, sample, join, reduceByKey, groupByKey
6. Spark RDD主要action：count，collect，reduce，saveAsTextFile
7. Spark寬、窄依賴關系與DAG圖分析
8. Spark容錯機制
9. Spark作業(yè)調度機制
10. Spark緩存機制：Cache操作，Persist操作與存儲級別
11. Spark作業(yè)執(zhí)行機制：執(zhí)行DAG圖、任務集、executor執(zhí)行模型、 BlockManager管理
12. Spark standardalone，Spark on YARN運行模式
13. Scala開發(fā)介紹與Spark常用Transformation函數介紹
14. Spark調優(yōu)：序列化機制、RDD復用、Broadcast機制、高性能算子、資源參數調優(yōu)


大數據倉庫查詢技術Hive、SparkSQL、Impala，以及應用實踐
1. 基于MapReduce的大型分布式數據倉庫Hive基礎知識與應用場景
2. Hive數據倉庫的平臺架構與核心技術剖析
3. Hive metastore的工作機制與應用
4. Hive內部表和外部表
5. Hive 分區(qū)、分桶機制
6. Hive行、列存儲格式
7. 基于Spark的大型分布式數據倉庫SparkSQL基礎知識與應用場景
8. Spark SQL實時數據倉庫的實現原理與工作機制
9. SparkSQL數據模型DataFrame
10. SparkSQL程序開發(fā)與
11. SparkSQL數據讀取與結果保存：json，Hive table，Parquet file，RDD
12. SparkSQL和Hive的區(qū)別與聯(lián)系
13. SparkSQL操作實戰(zhàn)
14. 基于MPP的大型分布式數據倉庫Presto基礎知識與應用場景
15. Presto實時查詢系統(tǒng)平臺架構、關鍵技術介紹，以及與Hive，SparkSQL的對比


Hadoop集群運維監(jiān)控工具
1. Hadoop運維管理監(jiān)控系統(tǒng)Ambari工具介紹
2. 第三方運維系統(tǒng)與工具Ganglia, Nagios


大數據實戰(zhàn)練習二
1. 基于 Hadoop平臺搭建、部署與配置Spark集群，Spark shell環(huán)境實踐操作，Spark案例程序分析
2. 基于sbt的Spark程序編譯、開發(fā)與提交運行
3. 應用案例一：基于Spark的服務器運行日志TopN分析、程序實例開發(fā)
4. 應用案例二： 基于Spark的搜索引擎日志熱詞與用戶分析、程序實例開發(fā)
5. 基于MapReduce的Hive數據倉庫實踐，Hive集群安裝部署，基于文件的Hive數據倉庫表導入導出與分區(qū)操作，Hive SQL操作，Hive客戶端操作
6. SparkSQL shell實踐操作：數據表讀取、查詢與結果保存


大數據計算模型（三）——流處理Storm, SparkStreaming
1. 流數據處理應用場景與流數據處理的特點
2. 流數據處理工具Storm的平臺架構與集群工作原理
3. Storm關鍵技術與并發(fā)機制
4. Storm編程模型與基本開發(fā)模式
5. Storm數據流分組
6. Storm可靠性保證與Acker機制
7. Storm應用案例分析
8. 流數據處理工具Spark Streaming基本概念與數據模型
9. SparkStreaming工作機制
10. SparkStreaming程序開發(fā)介紹
11. SparkStreaming的全局統(tǒng)計和窗口函數
12. Storm與SparkStreaming的對比
13. SparkStreaming開發(fā)案例：基于文件流的SparkStreaming程序開發(fā)；基于socket消息的SparkStreaming程序開發(fā)


大數據與機器學習技術
1. 機器學習發(fā)展歷程
2. 機器學習與大數據關聯(lián)與區(qū)別
3. 數據挖掘經典算法
4. 預測算法：線性回歸與應用場景，非線性回歸與應用場景
5. 分類算法：邏輯回歸與應用場景，決策樹與應用場景，樸素貝葉斯算法與應用場景，支持向量機算法與應用場景
6. 聚類算法；k-means與應用場景
7. 基于Hadoop的大數據機器學習技術
8. 基于MapReduce的機器學習庫Mahout
9. Mahout支持的數據挖掘算法
10. Mahout編程模型與發(fā)
11. 基于Spark的機器學習庫Spark MLlib
12. Spark MLlib支持的數據挖掘算法
13. Spark MLlib編程模型與開發(fā)：基于Spark MLlib的文本分類，基于Spark MLlib的聚類


大數據ETL操作工具，與大數據分布式采集系統(tǒng)
1. Hadoop與DBMS之間數據交互工具的應用
2. Sqoop導入導出數據的工作原理
3. Flume-NG數據采集系統(tǒng)的數據流模型與系統(tǒng)架構
4. Kafka分布式消息訂閱系統(tǒng)的應用介紹與平臺架構，及其使用模式
面向OLTP型應用的NoSQL數據庫及應用實踐 1. 關系型數據庫瓶頸，以及NoSQL數據庫的發(fā)展，概念，分類，及其在半結構化和非結構化數據場景下的適用范圍
2. 列存儲NoSQL數據庫HBase簡介與數據模型剖析
3. HBase分布式集群系統(tǒng)架構與讀寫機制，ZooKeeper分布式協(xié)調服務系統(tǒng)的工作原理與應用
4. HBase表設計模式與primary key設計規(guī)范
5. 文檔NoSQL數據庫MongoDB簡介與數據模型剖析
6. MongoDB集群模式、讀寫機制與常用API操作
8.鍵值型NoSQL數據庫Redis簡介與數據模型剖析
9.Redis多實例集群架構與關鍵技術
10.NewSQL數據庫技術簡介及其適用場景


大數據ELT數據采集與應用實戰(zhàn)
1.Sqoop安裝、部署與配置，基于Sqoop、MySQL與Hive操作MySQL數據庫與Hive數據倉庫數據導入導出
2.Kafka安裝、部署與配置，基于Kafka創(chuàng)建和消費topic實踐操作
3.Flume+HDFS+MapReduce/Spark大數據采集、存儲與分析實踐操作


新一代大數據處理引擎Flink
Flink簡介，Flink的體系架構，對比：Flink、Storm和Spark Streaming，Standalone的模式，Yarn模式的兩種模式，Yarn兩種模式的區(qū)分，Flink on yarn內部實現，ZooKeeper的體系架構，Flink Standalone HA 配置，Flink on Yarn HA 配置，Flink批處理開發(fā)，
Flink流處理開發(fā)，Flink的窗口操作，Flinkscala shell代碼調試
學習考核與業(yè)內經驗交流


《關于舉辦大數據平臺搭建與高性能計算最佳實戰(zhàn) 培訓班的通知》課程目的
通過此次課程培訓，可使學習者獲得如下收益：
1.深刻理解在“互聯(lián)網+”時代下大數據的產生背景、發(fā)展歷程和演化趨勢；
2.了解業(yè)界市場需求和國內外最新的大數據技術潮流，洞察大數據的潛在價值；
3.理解大數據項目解決方案及業(yè)界大數據應用案例，從而為企業(yè)在大數據項目中的技術選型及技術架構設計提供決策參考；
4.掌握業(yè)界最流行的Hadoop與Spark大數據技術體系；
5.掌握大數據采集技術；
6.掌握大數據分布式存儲技術；
7.掌握NoSQL與NewSQL分布式數據庫技術；
8.掌握大數據倉庫與統(tǒng)計機器學習技術；
9.掌握大數據分析挖掘與商業(yè)智能（BI）技術；
10.掌握大數據離線處理技術；
11.掌握Storm流式大數據處理技術；
12.掌握基于內存計算的大數據實時處理技術；
13.掌握大數據管理技術的原理知識和應用實戰(zhàn)；
14.深入理解大數據平臺技術架構和使用場景；
15.嫻熟運用Hadoop與Spark大數據技術體系規(guī)劃解決方案滿足實際項目需求；
16.熟練地掌握基于Hadoop與Spark大數據平臺進行應用程序開發(fā)、集群運維管理和性能調優(yōu)技巧。
17.掌握基于Flink的大數據實時處理技術與批處理操作。

《關于舉辦大數據平臺搭建與高性能計算最佳實戰(zhàn) 培訓班的通知》所屬分類
特色課程

《關于舉辦大數據平臺搭建與高性能計算最佳實戰(zhàn) 培訓班的通知》所屬專題
excel培訓、營銷數據分析、新媒體營銷培訓、分析銷售數據、

《關于舉辦大數據平臺搭建與高性能計算最佳實戰(zhàn) 培訓班的通知》授課培訓師簡介

《關于舉辦大數據平臺搭建與高性能計算最佳實戰(zhàn) 培訓班的通知》報名服務流程

-----------------------------------------------------------------------------------