《關(guān)于舉辦大數(shù)據(jù)應(yīng)用高級研修班的通知》課程詳情
點擊下載課大綱及報名表
各有關(guān)單位:
為貫徹落實黨中央國務(wù)院“十三五”規(guī)劃指導(dǎo)精神,云計算作為戰(zhàn)略重點項目新興產(chǎn)業(yè),政府和業(yè)界都表現(xiàn)出了極大的熱情。日前發(fā)改委、工信部、財政部支持的云計算項目正式啟動,云計算平臺和云計算服務(wù)模式已成為今后IT服務(wù)的主流。云計算服務(wù)應(yīng)用的種類不斷增多,普及程度逐漸深入,使用者正向普通用戶拓展。未來,云計算及其基礎(chǔ)設(shè)施將是信息產(chǎn)業(yè)的核心平臺,其所蘊含的技術(shù)變革和創(chuàng)新服務(wù)模式,將深刻影響全球產(chǎn)業(yè)技術(shù)創(chuàng)新的發(fā)展。
目前,互聯(lián)網(wǎng)正從數(shù)據(jù)爆炸進一步發(fā)展到海量數(shù)據(jù)分析和挖掘的時代,而基于Hadoop技術(shù)的解決方案為海量數(shù)據(jù)存儲和處理提供了經(jīng)濟、高效、高安全性和高可靠性的保障,Apache Hadoop也因此成為大數(shù)據(jù)行業(yè)發(fā)展背后的驅(qū)動力。由于Hadoop技術(shù)已成為當(dāng)下最火熱的云計算技術(shù)之一,各行業(yè)中希望深入了解并掌握這門技術(shù)的人也越來越多,我中心決定開展大數(shù)據(jù)應(yīng)用高級研修班,望相關(guān)單位收到通知后積極參加。相關(guān)培訓(xùn)事宜如下:
培訓(xùn)特色
注重應(yīng)用:分析國內(nèi)實際情況,結(jié)合國際、國內(nèi)成功經(jīng)驗。Hadoop采用實戰(zhàn)的項目,讓學(xué)員在短時間內(nèi)掌握Hadoop的搭建與配置。并進行高效的大數(shù)據(jù)清洗和分析。
形式靈活:互動課堂、免費技術(shù)沙龍、提供云計算項目建設(shè)咨詢、大數(shù)據(jù)Hadoop平臺的搭建。
頒發(fā)證書
參加相關(guān)培訓(xùn)并通過考試的學(xué)員,可以獲得中心頒發(fā)的-大數(shù)據(jù)高級工程師。該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明,以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務(wù)的重要依據(jù)。
培訓(xùn)費用及須知
5800 元/人(含教材、培訓(xùn)費、以及學(xué)習(xí)用具等費用) 食宿統(tǒng)一安排,費用自理。
授課內(nèi)容
第一章
一、大數(shù)據(jù)技術(shù)基礎(chǔ)
1. 大數(shù)據(jù)的產(chǎn)生背景與發(fā)展歷程
2. 大數(shù)據(jù)的4V特征,以及與云計算的關(guān)系
3. 大數(shù)據(jù)應(yīng)用需求以及潛在價值分析
4. 業(yè)界最新的大數(shù)據(jù)技術(shù)發(fā)展態(tài)勢與應(yīng)用趨勢
5. 大數(shù)據(jù)項目的系統(tǒng)與技術(shù)選型,及落地實施的挑戰(zhàn)
6. “互聯(lián)網(wǎng)+”時代下的電子商務(wù)、制造業(yè)、零售批發(fā)、電信運營商、互聯(lián)網(wǎng)金融業(yè)、電子政務(wù)、移動互聯(lián)網(wǎng)、教育信息化等行業(yè)應(yīng)用實踐與應(yīng)用案例介紹
二、業(yè)界主流的大數(shù)據(jù)技術(shù)方案
1. 大數(shù)據(jù)軟硬件系統(tǒng)全棧與關(guān)鍵技術(shù)介紹
2. 主流的大數(shù)據(jù)解決方案介紹
3. Apache大數(shù)據(jù)平臺方案剖析
4. CDH大數(shù)據(jù)平臺方案剖析
5. HDP大數(shù)據(jù)平臺方案剖析
6. 大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案比較
三、大數(shù)據(jù)計算模型(一)——批處理MapReduce
1. MapReduce產(chǎn)生背景與適用場景
2. MapReduce計算模型的基本原理
3. MapReduce作業(yè)執(zhí)行流程
4. MapReduce基本組件,JobTracker和TaskTracker
5. MapReduce高級編程應(yīng)用,Combiner和Partitioner
6. MapReduce性能優(yōu)化技巧
7. MapReduce案例分析與開發(fā)實踐操作
第二章
四、大數(shù)據(jù)存儲系統(tǒng)與應(yīng)用實踐
1. 分布式文件系統(tǒng)HDFS產(chǎn)生背景與適用場景
2. HDFS master-slave系統(tǒng)架構(gòu)與工作原理
3. HDFS核心組件技術(shù)講解
4. HDFS高可用保證機制
5. HDFS集群的安裝、部署與配置,熟練HDFS shell命令操作
6. 分布式小文件存儲系統(tǒng)的平臺架構(gòu)、核心技術(shù)與應(yīng)用場景
7. 分布式對象存儲系統(tǒng)的平臺架構(gòu)、核心技術(shù)與應(yīng)用場景
五、Hadoop框架與生態(tài)發(fā)展,以及應(yīng)用實踐操作
1. Hadoop的發(fā)展歷程
2. Hadoop大數(shù)據(jù)生態(tài)圈系統(tǒng)與工具全貌介紹
3. Hadoop 1.0的核心組件與適用范圍
4. Hadoop 2.0的核心組件YARN工作原理,以及與Hadoop 1.0的區(qū)別
5. Hadoop資源管理與作業(yè)調(diào)度機制
6. Hadoop 常用性能優(yōu)化技術(shù)
7. Hadoop集群安裝與部署實踐,以及MapReduce程序在YARN上執(zhí)行
第三章
六、大數(shù)據(jù)計算模型(二)——實時處理/內(nèi)存計算 Spark
1. MapReduce計算模型的瓶頸
2. Spark產(chǎn)生動機、基本概念與適用場景
3. Spark編程模型與RDD彈性分布式數(shù)據(jù)集的工作原理與機制
4. Spark實時處理平臺運行架構(gòu)與核心組件
5. Spark容錯機制
6. Spark作業(yè)調(diào)度機制
7. Scala開發(fā)介紹與實踐
8. Spark集群部署與配置實踐,Spark開發(fā)環(huán)境構(gòu)建,Spark案例程序分析,Spark程序開發(fā)與運行,Spark與Hadoop集群集成實踐
第四章
七、大數(shù)據(jù)倉庫查詢技術(shù)Hive、SparkSQL、Impala,以及應(yīng)用實踐
1. 基于MapReduce的大型分布式數(shù)據(jù)倉庫Hive基礎(chǔ)知識與應(yīng)用場景
2. Hive數(shù)據(jù)倉庫的平臺架構(gòu)與核心技術(shù)剖析
3. Hive metastore的工作機制與應(yīng)用
4. Hive數(shù)據(jù)倉庫實踐:Hive集群安裝部署,數(shù)據(jù)倉庫表導(dǎo)入導(dǎo)出與分區(qū)操作,Hive SQL操作,Hive客戶端操作
5. 基于Spark的大型分布式數(shù)據(jù)倉庫SparkSQL基礎(chǔ)知識與應(yīng)用場景
6. Spark SQL實時數(shù)據(jù)倉庫的實現(xiàn)原理與工作機制
7. SparkSQL應(yīng)用分析與操作實踐
8. 基于MPP的大型分布式數(shù)據(jù)倉庫Impala基礎(chǔ)知識與應(yīng)用場景
9. Impala實時查詢系統(tǒng)平臺架構(gòu)、關(guān)鍵技術(shù)剖析
八、Hadoop集群運維監(jiān)控工具
1. Hadoop大數(shù)據(jù)運維監(jiān)控管理系統(tǒng)HUE平臺介紹
2. Hadoop運維管理監(jiān)控系統(tǒng)Ambari工具介紹
3. 第三方運維系統(tǒng)與工具Ganglia, Nagios
第五章
九、大數(shù)據(jù)計算模型(三)——流處理Storm, SparkStreaming
1. 流數(shù)據(jù)處理應(yīng)用場景與流數(shù)據(jù)處理的特點
2. 流數(shù)據(jù)處理工具Storm的平臺架構(gòu)與集群工作原理
3. Storm關(guān)鍵技術(shù)與并發(fā)機制
4. Storm編程模型與基本開發(fā)模式
5. Storm數(shù)據(jù)流分組
6. Storm可靠性保證與Acker機制
7. Storm應(yīng)用案例分析與實踐:Storm集群安裝部署,Storm程序開發(fā)運行操作實踐,Storm與Hadoop集群的集成
8. 流數(shù)據(jù)處理工具Spark Streaming基本概念與數(shù)據(jù)模型
9. Spark Streaming工作機制
十、大數(shù)據(jù)ETL操作工具,與大數(shù)據(jù)分布式采集系統(tǒng)
1. Hadoop與DBMS之間數(shù)據(jù)交互工具的應(yīng)用
2. Sqoop導(dǎo)入導(dǎo)出數(shù)據(jù)的工作原理,以及Sqoop工具的安裝部署與實踐操作,利用Sqoop實現(xiàn)MySQL與Hadoop集群之間的數(shù)據(jù)導(dǎo)入導(dǎo)出交互
3. Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型與系統(tǒng)架構(gòu)
4. Kafka分布式消息訂閱系統(tǒng)的應(yīng)用介紹與平臺架構(gòu),及其使用模式
第六章
十一、面向OLTP型應(yīng)用的NoSQL數(shù)據(jù)庫及應(yīng)用實踐
1. 關(guān)系型數(shù)據(jù)庫瓶頸,以及NoSQL數(shù)據(jù)庫的發(fā)展,概念,分類,及其在半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)場景下的適用范圍
2. 列存儲NoSQL數(shù)據(jù)庫HBase簡介與數(shù)據(jù)模型剖析
3. HBase分布式集群系統(tǒng)架構(gòu)與讀寫機制,ZooKeeper分布式協(xié)調(diào)服務(wù)系統(tǒng)的工作原理與應(yīng)用
4. HBase表設(shè)計模式與primary key設(shè)計規(guī)范
5. HBase分布式集群安裝、部署與操作實踐
6. 文檔NoSQL數(shù)據(jù)庫MongoDB簡介與數(shù)據(jù)模型剖析
7. MongoDB集群模式、讀寫機制與常用API操作
8. Cassandra分布式數(shù)據(jù)庫的平臺架構(gòu)以及關(guān)鍵技術(shù)
9. Cassandra一致性哈希算法與數(shù)據(jù)分布策略,以及NWR策略
10.鍵值型NoSQL數(shù)據(jù)庫Redis簡介與數(shù)據(jù)模型剖析
11.Redis多實例集群架構(gòu)與關(guān)鍵技術(shù)
12.NewSQL數(shù)據(jù)庫技術(shù)簡介及其適用場景
十二、大數(shù)據(jù)項目選型、實施、優(yōu)化等問題交流討論
大數(shù)據(jù)項目的需求分析、應(yīng)用實施、系統(tǒng)優(yōu)化,以及解決方案等咨詢與交流討論
《關(guān)于舉辦大數(shù)據(jù)應(yīng)用高級研修班的通知》培訓(xùn)受眾
各地政府云計算物聯(lián)網(wǎng)產(chǎn)業(yè)相關(guān)負(fù)責(zé)人,各企業(yè)CIO、信息中心負(fù)責(zé)人、技術(shù)總監(jiān),云計算中心負(fù)責(zé)人,云計算產(chǎn)業(yè)投資團隊,云計算應(yīng)用開發(fā)商,云計算硬件設(shè)備供應(yīng)商,云服務(wù)提供商,高校、科研院所云計算項目負(fù)責(zé)人。
各企業(yè)大數(shù)據(jù)架構(gòu)師、技術(shù)總監(jiān)、數(shù)據(jù)挖掘負(fù)責(zé)人、數(shù)據(jù)挖掘開發(fā)工程師
《關(guān)于舉辦大數(shù)據(jù)應(yīng)用高級研修班的通知》課程目的
1、了解Hadoop的歷史及目前發(fā)展的現(xiàn)狀、以及Hadoop的技術(shù)特點,從而把握分布式計算框架及未來發(fā)展方向,在大數(shù)據(jù)時代能為企業(yè)的技術(shù)選型及架構(gòu)設(shè)計提供決策參考。
2、全面掌握Hadoop的架構(gòu)原理和使用場景,并通過貫穿課程的項目進行實戰(zhàn)鍛煉,從而熟練使用Hadoop進行MapReduce程序開發(fā)。課程還涵蓋了分布式計算領(lǐng)域的常用算法介紹,幫助學(xué)員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)自身價值
3、深入理解Hadoop技術(shù)架構(gòu),對Hadoop運作機制有清晰全面的認(rèn)識,可以獨立規(guī)劃及部署生產(chǎn)環(huán)境的Hadoop集群,掌握Hadoop基本運維思路和方法,對Hadoop集群進行管理和優(yōu)化。
《關(guān)于舉辦大數(shù)據(jù)應(yīng)用高級研修班的通知》所屬分類
市場營銷
《關(guān)于舉辦大數(shù)據(jù)應(yīng)用高級研修班的通知》所屬專題
excel培訓(xùn)、
營銷數(shù)據(jù)分析、
新媒體營銷培訓(xùn)、
分析銷售數(shù)據(jù)、
《關(guān)于舉辦大數(shù)據(jù)應(yīng)用高級研修班的通知》授課培訓(xùn)師簡介
劉老師
劉老師:阿里大數(shù)據(jù)高級專家,國內(nèi)資深的Spark、Hadoop技術(shù)專家、虛擬化專家,對HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進行了多年的深入的研究,更主要的是這些技術(shù)在大量的實際項目中得到廣泛的應(yīng)用,因此在Hadoop開發(fā)和運維方面積累了豐富的項目實施經(jīng)驗。近年主要典型的項目有:某電信集團網(wǎng)絡(luò)優(yōu)化、中國移動某省移動公司請賬單系統(tǒng)和某省移動詳單實時查詢系統(tǒng)、中國銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運營商全國用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺項目等。