中國培訓(xùn)易(aokangtiyu.cn)
特色課程公開課
中國培訓(xùn)易（aokangtiyu.cn）
| 廣州 2020年12月22–24日 | 北京 2020年11月12–14日 |
| 成都 2020年10月26–28日 |
課程費用：6800元/人（含培訓(xùn)費、場地費、資料費、學(xué)習(xí)期間午餐）
課程特色
1.課程培訓(xùn)業(yè)界最流行、應(yīng)用最廣泛的Hadoop、Spark和Flink大數(shù)據(jù)技術(shù)體系。強化大數(shù)據(jù)平臺的分布式集群架構(gòu)和核心關(guān)鍵技術(shù)實現(xiàn)、大數(shù)據(jù)應(yīng)用項目開發(fā)和大數(shù)據(jù)集群運維實踐、以及Hadoop、Spark與Flink大數(shù)據(jù)項目應(yīng)用開發(fā)與調(diào)優(yōu)的全過程沙盤模擬實戰(zhàn)。
2.通過一個完整的大數(shù)據(jù)開發(fā)項目及一組實際項目訓(xùn)練案例，完全覆蓋Hadoop、Spark與Flink生態(tài)系統(tǒng)平臺的應(yīng)用開發(fā)與運維實踐。課堂實踐項目以項目小組的形式進行沙盤實操練習(xí)，重點強化理解Hadoop、Spark與Flink大數(shù)據(jù)項目各個階段的工作重點，同時掌握作為大數(shù)據(jù)項目管理者的基本技術(shù)與業(yè)務(wù)素養(yǎng)。
3.本課程的授課師資都是有著多年在一線從事Hadoop、Spark與Flink大數(shù)據(jù)項目的資深講師，采用原理技術(shù)剖析和實戰(zhàn)案例相結(jié)合的方式開展互動教學(xué)、強化以建立大數(shù)據(jù)項目解決方案為主體的應(yīng)用開發(fā)、技術(shù)討論與交流咨詢，在學(xué)習(xí)的同時促進講師學(xué)員之間的交流，讓每個學(xué)員都能在課程培訓(xùn)過程中學(xué)到實實在在的大數(shù)據(jù)技術(shù)知識體系，以及大數(shù)據(jù)技術(shù)應(yīng)用實戰(zhàn)技能，具備實際大數(shù)據(jù)應(yīng)用項目的動手開發(fā)實踐與運維管理部署能力。授課過程中，根據(jù)學(xué)員需求，增設(shè)交流環(huán)節(jié)，可將具體工作中遇到的實際問題展開討論，講師會根據(jù)學(xué)員的實際情況微調(diào)授課內(nèi)容，由講師帶著全部學(xué)員積極討論，并給出一定的時間讓學(xué)員上臺發(fā)言，現(xiàn)場剖析問題的癥結(jié)，規(guī)劃出可行的解決方案。
培訓(xùn)目標(biāo)
通過此次課程培訓(xùn)，可使學(xué)習(xí)者獲得如下收益：
1.深刻理解在“互聯(lián)網(wǎng)+”時代下大數(shù)據(jù)的產(chǎn)生背景、發(fā)展歷程和演化趨勢；
2.了解業(yè)界市場需求和國內(nèi)外最新的大數(shù)據(jù)技術(shù)潮流，洞察大數(shù)據(jù)的潛在價值；
3.理解大數(shù)據(jù)項目解決方案及業(yè)界大數(shù)據(jù)應(yīng)用案例，從而為企業(yè)在大數(shù)據(jù)項目中的技術(shù)選型及技術(shù)架構(gòu)設(shè)計提供決策參考；
4.掌握業(yè)界最流行的Hadoop與Spark大數(shù)據(jù)技術(shù)體系；
5.掌握大數(shù)據(jù)采集技術(shù)；
6.掌握大數(shù)據(jù)分布式存儲技術(shù)；
7.掌握NoSQL與NewSQL分布式數(shù)據(jù)庫技術(shù)；
8.掌握大數(shù)據(jù)倉庫與統(tǒng)計機器學(xué)習(xí)技術(shù)；
9.掌握大數(shù)據(jù)分析挖掘與商業(yè)智能（BI）技術(shù)；
10.掌握大數(shù)據(jù)離線處理技術(shù)；
11.掌握Storm流式大數(shù)據(jù)處理技術(shù)；
12.掌握基于內(nèi)存計算的大數(shù)據(jù)實時處理技術(shù)；
13.掌握大數(shù)據(jù)管理技術(shù)的原理知識和應(yīng)用實戰(zhàn)；
14.深入理解大數(shù)據(jù)平臺技術(shù)架構(gòu)和使用場景；
15.嫻熟運用Hadoop與Spark大數(shù)據(jù)技術(shù)體系規(guī)劃解決方案滿足實際項目需求；
16.熟練地掌握基于Hadoop與Spark大數(shù)據(jù)平臺進行應(yīng)用程序開發(fā)、集群運維管理和性能調(diào)優(yōu)技巧。
17.掌握基于Flink的大數(shù)據(jù)實時處理技術(shù)與批處理操作。
課程詳情
1. 大數(shù)據(jù)的產(chǎn)生背景與發(fā)展歷程
2. 大數(shù)據(jù)的4V特征，以及與云計算的關(guān)系
3. 大數(shù)據(jù)應(yīng)用需求以及潛在價值分析
4. 業(yè)界最新的大數(shù)據(jù)技術(shù)發(fā)展態(tài)勢與應(yīng)用趨勢
5. 大數(shù)據(jù)思維的轉(zhuǎn)變
6. 大數(shù)據(jù)項目的系統(tǒng)與技術(shù)選型，及落地實施的挑戰(zhàn)
7. “互聯(lián)網(wǎng)+”時代下的電子商務(wù)、制造業(yè)、交通行業(yè)、電信運營商、銀行金融業(yè)、電子政務(wù)、移動互聯(lián)網(wǎng)、教育信息化等行業(yè)應(yīng)用實踐與應(yīng)用案例介紹
業(yè)界主流的大數(shù)據(jù)技術(shù)方案
1. 大數(shù)據(jù)軟硬件系統(tǒng)全棧與關(guān)鍵技術(shù)介紹
2. 大數(shù)據(jù)生態(tài)系統(tǒng)全景圖
3. 主流的大數(shù)據(jù)解決方案介紹
4. Apache大數(shù)據(jù)平臺方案剖析
5. CDH大數(shù)據(jù)平臺方案剖析
6. HDP大數(shù)據(jù)平臺方案剖析
7. 基于云的大數(shù)據(jù)平臺方案剖析
8. 大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案比較
9. 國內(nèi)外大數(shù)據(jù)平臺方案與廠商對比
大數(shù)據(jù)計算模型（一）——批處理MapReduce
1. MapReduce產(chǎn)生背景與適用場景
2. MapReduce計算模型的基本原理
3. MapReduce作業(yè)執(zhí)行流程
4. MapReduce編程模型: Map處理和Reduce處理
5. MapReduce處理流程：數(shù)據(jù)讀取collect、中間數(shù)據(jù)sort、中間數(shù)據(jù)spill、中間數(shù)據(jù)shuffle、聚合分析reduce
6. MapReduce開發(fā)高級應(yīng)用：Combiner技術(shù)與應(yīng)用場景、Partitioner技術(shù)與應(yīng)用場景、多Reducers應(yīng)用
7. MapReduce開發(fā)與應(yīng)用實戰(zhàn)：Hadoop平臺搭建與運行；MapReduce安裝與部署；
8. 應(yīng)用案例：基于HDFS+MapReduce集成的服務(wù)器日志分析采集、存儲與分析MapReduce程序?qū)嵗_發(fā)與運行
9. MapReduce參數(shù)調(diào)優(yōu)與性能優(yōu)化技巧
大數(shù)據(jù)存儲系統(tǒng)與應(yīng)用實踐
1. 分布式文件系統(tǒng)HDFS產(chǎn)生背景與適用場景
2. HDFS master-slave系統(tǒng)架構(gòu)與讀寫工作原理
3. HDFS核心組件技術(shù)講解，NameNode與fsimage、editslog，DataNode與數(shù)據(jù)塊
4. HDFS Federation機制，viewfs機制，使用場景講解
5. HDFS高可用保證機制，SecondaryNameNode，NFS冷備份，基于zookeeper的HA方案
6. HDFS參數(shù)調(diào)優(yōu)與性能優(yōu)化
大數(shù)據(jù)實戰(zhàn)練習(xí)一
1. Hadoop平臺搭建、部署與應(yīng)用實踐，包含HDFS分布式文件系統(tǒng)，YARN資源管理軟件，MapReduce計算框架軟件
2. HDFS 文件、目錄創(chuàng)建、上傳、下載等命令操作，HDFS合并、歸檔操作，HDFS監(jiān)控平臺使用
3. MapReduce程序在YARN上運行，YARN監(jiān)控平臺使用
Hadoop框架與生態(tài)發(fā)展，以及應(yīng)用實踐操作 1. Hadoop的發(fā)展歷程
2. Hadoop 1.0的核心組件JobTracker，TaskTracker，以及適用范圍
3. Hadoop 3.0的核心組件YARN工作原理，以及與Hadoop 1.0的聯(lián)系與區(qū)別
4. Hadoop關(guān)鍵機制：任務(wù)推測執(zhí)行，任務(wù)容錯，任務(wù)選擇執(zhí)行，心跳機制
5. Hadoop YARN的資源管理與作業(yè)調(diào)度機制：FIFO調(diào)度，Capacity調(diào)度器，F(xiàn)air調(diào)度器
6. Hadoop 常用參數(shù)調(diào)優(yōu)與性能優(yōu)化技術(shù)
大數(shù)據(jù)計算模型（二）——實時處理/內(nèi)存計算 Spark
1. MapReduce計算模型的瓶頸
2. Spark產(chǎn)生動機、基本概念與適用場景
3. Spark編程模型與RDD彈性分布式數(shù)據(jù)集的工作原理與機制
4. Spark實時處理平臺運行架構(gòu)與核心組件
5. Spark RDD主要Transformation：map, flatMap, filter, un-ion, sample, join, reduceByKey, groupByKey
6. Spark RDD主要action：count，collect，reduce，saveAsTextFile
7. Spark寬、窄依賴關(guān)系與DAG圖分析
8. Spark容錯機制
9. Spark作業(yè)調(diào)度機制
10. Spark緩存機制：Cache操作，Persist操作與存儲級別
11. Spark作業(yè)執(zhí)行機制：執(zhí)行DAG圖、任務(wù)集、executor執(zhí)行模型、 BlockManager管理
12. Spark standardalone，Spark on YARN運行模式
13. Scala開發(fā)介紹與Spark常用Transformation函數(shù)介紹
14. Spark調(diào)優(yōu)：序列化機制、RDD復(fù)用、Broadcast機制、高性能算子、資源參數(shù)調(diào)優(yōu)
大數(shù)據(jù)倉庫查詢技術(shù)Hive、SparkSQL、Impala，以及應(yīng)用實踐
1. 基于MapReduce的大型分布式數(shù)據(jù)倉庫Hive基礎(chǔ)知識與應(yīng)用場景
2. Hive數(shù)據(jù)倉庫的平臺架構(gòu)與核心技術(shù)剖析
3. Hive metastore的工作機制與應(yīng)用
4. Hive內(nèi)部表和外部表
5. Hive 分區(qū)、分桶機制
6. Hive行、列存儲格式
7. 基于Spark的大型分布式數(shù)據(jù)倉庫SparkSQL基礎(chǔ)知識與應(yīng)用場景
8. Spark SQL實時數(shù)據(jù)倉庫的實現(xiàn)原理與工作機制
9. SparkSQL數(shù)據(jù)模型DataFrame
10. SparkSQL程序開發(fā)與
11. SparkSQL數(shù)據(jù)讀取與結(jié)果保存：json，Hive table，Parquet file，RDD
12. SparkSQL和Hive的區(qū)別與聯(lián)系
13. SparkSQL操作實戰(zhàn)
14. 基于MPP的大型分布式數(shù)據(jù)倉庫Presto基礎(chǔ)知識與應(yīng)用場景
15. Presto實時查詢系統(tǒng)平臺架構(gòu)、關(guān)鍵技術(shù)介紹，以及與Hive，SparkSQL的對比
Hadoop集群運維監(jiān)控工具
1. Hadoop運維管理監(jiān)控系統(tǒng)Ambari工具介紹
2. 第三方運維系統(tǒng)與工具Ganglia, Nagios
大數(shù)據(jù)實戰(zhàn)練習(xí)二
1. 基于 Hadoop平臺搭建、部署與配置Spark集群，Spark shell環(huán)境實踐操作，Spark案例程序分析
2. 基于sbt的Spark程序編譯、開發(fā)與提交運行
3. 應(yīng)用案例一：基于Spark的服務(wù)器運行日志TopN分析、程序?qū)嵗_發(fā)
4. 應(yīng)用案例二： 基于Spark的搜索引擎日志熱詞與用戶分析、程序?qū)嵗_發(fā)
5. 基于MapReduce的Hive數(shù)據(jù)倉庫實踐，Hive集群安裝部署，基于文件的Hive數(shù)據(jù)倉庫表導(dǎo)入導(dǎo)出與分區(qū)操作，Hive SQL操作，Hive客戶端操作
6. SparkSQL shell實踐操作：數(shù)據(jù)表讀取、查詢與結(jié)果保存
大數(shù)據(jù)計算模型（三）——流處理Storm, SparkStreaming
1. 流數(shù)據(jù)處理應(yīng)用場景與流數(shù)據(jù)處理的特點
2. 流數(shù)據(jù)處理工具Storm的平臺架構(gòu)與集群工作原理
3. Storm關(guān)鍵技術(shù)與并發(fā)機制
4. Storm編程模型與基本開發(fā)模式
5. Storm數(shù)據(jù)流分組
6. Storm可靠性保證與Acker機制
7. Storm應(yīng)用案例分析
8. 流數(shù)據(jù)處理工具Spark Streaming基本概念與數(shù)據(jù)模型
9. SparkStreaming工作機制
10. SparkStreaming程序開發(fā)介紹
11. SparkStreaming的全局統(tǒng)計和窗口函數(shù)
12. Storm與SparkStreaming的對比
13. SparkStreaming開發(fā)案例：基于文件流的SparkStreaming程序開發(fā)；基于socket消息的SparkStreaming程序開發(fā)
大數(shù)據(jù)與機器學(xué)習(xí)技術(shù)
1. 機器學(xué)習(xí)發(fā)展歷程
2. 機器學(xué)習(xí)與大數(shù)據(jù)關(guān)聯(lián)與區(qū)別
3. 數(shù)據(jù)挖掘經(jīng)典算法
4. 預(yù)測算法：線性回歸與應(yīng)用場景，非線性回歸與應(yīng)用場景
5. 分類算法：邏輯回歸與應(yīng)用場景，決策樹與應(yīng)用場景，樸素貝葉斯算法與應(yīng)用場景，支持向量機算法與應(yīng)用場景
6. 聚類算法；k-means與應(yīng)用場景
7. 基于Hadoop的大數(shù)據(jù)機器學(xué)習(xí)技術(shù)
8. 基于MapReduce的機器學(xué)習(xí)庫Mahout
9. Mahout支持的數(shù)據(jù)挖掘算法
10. Mahout編程模型與發(fā)
11. 基于Spark的機器學(xué)習(xí)庫Spark MLlib
12. Spark MLlib支持的數(shù)據(jù)挖掘算法
13. Spark MLlib編程模型與開發(fā)：基于Spark MLlib的文本分類，基于Spark MLlib的聚類
大數(shù)據(jù)ETL操作工具，與大數(shù)據(jù)分布式采集系統(tǒng)
1. Hadoop與DBMS之間數(shù)據(jù)交互工具的應(yīng)用
2. Sqoop導(dǎo)入導(dǎo)出數(shù)據(jù)的工作原理
3. Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型與系統(tǒng)架構(gòu)
4. Kafka分布式消息訂閱系統(tǒng)的應(yīng)用介紹與平臺架構(gòu)，及其使用模式
面向OLTP型應(yīng)用的NoSQL數(shù)據(jù)庫及應(yīng)用實踐 1. 關(guān)系型數(shù)據(jù)庫瓶頸，以及NoSQL數(shù)據(jù)庫的發(fā)展，概念，分類，及其在半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)場景下的適用范圍
2. 列存儲NoSQL數(shù)據(jù)庫HBase簡介與數(shù)據(jù)模型剖析
3. HBase分布式集群系統(tǒng)架構(gòu)與讀寫機制，ZooKeeper分布式協(xié)調(diào)服務(wù)系統(tǒng)的工作原理與應(yīng)用
4. HBase表設(shè)計模式與primary key設(shè)計規(guī)范
5. 文檔NoSQL數(shù)據(jù)庫MongoDB簡介與數(shù)據(jù)模型剖析
6. MongoDB集群模式、讀寫機制與常用API操作
8.鍵值型NoSQL數(shù)據(jù)庫Redis簡介與數(shù)據(jù)模型剖析
9.Redis多實例集群架構(gòu)與關(guān)鍵技術(shù)
10.NewSQL數(shù)據(jù)庫技術(shù)簡介及其適用場景
大數(shù)據(jù)ELT數(shù)據(jù)采集與應(yīng)用實戰(zhàn)
1.Sqoop安裝、部署與配置，基于Sqoop、MySQL與Hive操作MySQL數(shù)據(jù)庫與Hive數(shù)據(jù)倉庫數(shù)據(jù)導(dǎo)入導(dǎo)出
2.Kafka安裝、部署與配置，基于Kafka創(chuàng)建和消費topic實踐操作
3.Flume+HDFS+MapReduce/Spark大數(shù)據(jù)采集、存儲與分析實踐操作
新一代大數(shù)據(jù)處理引擎Flink
Flink簡介，F(xiàn)link的體系架構(gòu)，對比：Flink、Storm和Spark Streaming，Standalone的模式，Yarn模式的兩種模式，Yarn兩種模式的區(qū)分，F(xiàn)link on yarn內(nèi)部實現(xiàn)，ZooKeeper的體系架構(gòu)，F(xiàn)link Standalone HA 配置，F(xiàn)link on Yarn HA 配置，F(xiàn)link批處理開發(fā)，
Flink流處理開發(fā)，F(xiàn)link的窗口操作，F(xiàn)linkscala shell代碼調(diào)試
學(xué)習(xí)考核與業(yè)內(nèi)經(jīng)驗交流
講師簡介
專家 老師
趙老師 清華大學(xué)計算機雙學(xué)士，京東大學(xué)大數(shù)據(jù)學(xué)院院長，甲骨文(中國)軟件系統(tǒng)有限公司高級技術(shù)顧問，大數(shù)據(jù)、數(shù)據(jù)庫、中間件技術(shù)和Java專家。16年IT行業(yè)從業(yè)經(jīng)歷，10年培訓(xùn)授課經(jīng)驗。具有豐富的大數(shù)據(jù)方法論、數(shù)據(jù)科學(xué)、大數(shù)據(jù)生態(tài)圈技術(shù)知識和大數(shù)據(jù)規(guī)劃建設(shè)、應(yīng)用實施和客戶培訓(xùn)經(jīng)驗。
蔣老師 清華大學(xué)博士，云計算專家 熟悉主流的云計算平臺，并有商業(yè)與開源云計算平臺的實踐經(jīng)驗,對云計算關(guān)鍵技術(shù)有深刻了解和實踐經(jīng)驗，如分布式系統(tǒng)、虛擬化、分布式文件系統(tǒng)、云存儲等，參與并領(lǐng)導(dǎo)多個大型云計算項目。對大數(shù)據(jù)關(guān)鍵技術(shù)有深刻了解和實踐經(jīng)驗，如NoSQL數(shù)據(jù)庫、大數(shù)據(jù)處理、Hadoop、Hive、HBase、Spark等。
張老師 天津大學(xué)軟件工程碩士，10多年的IT領(lǐng)域相關(guān)技術(shù)研究和項目開發(fā)工作，在長期軟件領(lǐng)域工作過程中，對軟件企業(yè)運作模式有深入研究，熟悉軟件質(zhì)量保障標(biāo)準(zhǔn)ISO9003和軟件過程改進模型CMM/CMMI，在具體項目實施過程中總結(jié)經(jīng)驗，有深刻認(rèn)識。通曉多種軟件設(shè)計和開發(fā)工具。對軟件開發(fā)整個流程非常熟悉，能根據(jù)項目特點定制具體軟件過程，并進行項目管理和監(jiān)控，有很強的軟件項目組織管理能力。對C/C++ 、HTML 5、python、Hadoop、java、java EE、android、IOS、大數(shù)據(jù)、云計算有比較深入的理解和應(yīng)用，具有較強的移動互聯(lián)網(wǎng)應(yīng)用需求分析和系統(tǒng)設(shè)計能力，熟悉Android框架、IOS框架等技術(shù)，了解各種設(shè)計模式，能在具體項目中靈活運用。
課程對象
備 注
課程名稱：關(guān)于舉辦大數(shù)據(jù)平臺搭建與高性能計算最佳實戰(zhàn) 培訓(xùn)班的通知
| 咨詢電話：020-29042042 QQ： 59870764 |
報 名 回 執(zhí) 表
為確保您的報名名額和及時參加，請?zhí)崆皩⒋耍▓竺恚?/font>E-mail至674837974@QQ.com；721560397@QQ.COM（符小姐、黃小姐）我們將有專人與您聯(lián)系確認(rèn)，并于開課前發(fā)出《培訓(xùn)報名確認(rèn)函》。培訓(xùn)時間、地點、住宿等詳細(xì)信息請以《培訓(xùn)報名確認(rèn)函》書面通知為準(zhǔn)，敬請留意。謝謝！
聯(lián)系人：符小姐 電話：18588851172 QQ：674837974 |
網(wǎng)址：aokangtiyu.cn（中國培訓(xùn)易）
課程名稱：關(guān)于舉辦大數(shù)據(jù)平臺搭建與高性能計算最佳實戰(zhàn) 培訓(xùn)班的通知 時間地區(qū)：____月____日_____市 | |||||
公司全稱： | |||||
聯(lián)系人 | | 部門 | | 公司網(wǎng)址 | |
聯(lián)系電話 | | 傳真 | | 聯(lián)系郵箱 | |
公司地址 | | 郵編 | | ||
參會人數(shù): 名 | |||||
參會人員資料 | |||||
姓名 | 職務(wù) | 電話 | 手機 | E-mail | |
| | | | | |
| | | | | |
| | | | | |
付款方式: □ 轉(zhuǎn)帳 □ 現(xiàn)金 （請選擇 在□打√） 注：部分地區(qū)不可現(xiàn)金
開戶人: 廣州必學(xué)企業(yè)管理咨詢有限公司 開戶行: 中國農(nóng)業(yè)銀行廣州天銀大廈支行 帳 號: 4405 8501 0400 08276 | |||||
課程金額：__________ | |||||
住宿要求（費用自理，開課前三天預(yù)訂） | |||||
是否需要會務(wù)組協(xié)助安排住宿: □是 □否 入住天數(shù)（ ）天 入住時間 2024 年 月 日 □標(biāo)準(zhǔn)雙人間（ ）間 □標(biāo)準(zhǔn)單人間（ ）間 | |||||
發(fā)票信息： 一、增值稅普通發(fā)票（數(shù)電票）： 公司名稱（發(fā)票抬頭）： 納稅人識別號： 發(fā)票內(nèi)容：□1、*現(xiàn)代服務(wù)*培訓(xùn)費 □2、*現(xiàn)代服務(wù)*咨詢服務(wù)費 □3、*現(xiàn)代服務(wù)*咨詢費 □4、*現(xiàn)代服務(wù)*培訓(xùn)咨詢服務(wù)費 二、增值稅專用發(fā)票（數(shù)電票）： 公司名稱： 納稅人識別號： 發(fā)票內(nèi)容：□1、*現(xiàn)代服務(wù)*培訓(xùn)費 | |||||