課程綜述
Cloudera授權Apache Hadoop數(shù)據(jù)分析師培訓為期三天，課程聚焦于Apache Pig、Hive及Cloudera Impala。將向學員教授如何在大數(shù)據(jù)中運用觸痛的數(shù)據(jù)分析及商業(yè)智能技能。課程為大數(shù)據(jù)專家講解了能夠使用SQL和類似腳本語言來訪問、維護及分析復雜數(shù)據(jù)集的工具。
Hadoop的實驗操作：
通過將講師的分享、討論與動手實驗相結合，學員將探索Hadoop生態(tài)系統(tǒng)的所有領域，學習的課題如下：
-Apache Hadoop基礎及使用Hadoop工具進行數(shù)據(jù)ETL（抽取、轉換、裝載）、提取及處理
-使用Pig關聯(lián)多個數(shù)據(jù)集并分析不同的數(shù)據(jù)
-利用Hive實現(xiàn)在表中組織數(shù)據(jù)、完成轉換并簡化復雜查詢
-使用Impala實現(xiàn)對保存在HDFS或HBase中的大數(shù)據(jù)集進行基于SQL的實時交互式分析
-在Hadoop中針對特定的任務如何選取最佳的工具


內容綱要
*簡介
-關于課程
-關于Cloudera
-課程邏輯
*Hadoop基礎
-Hadoop概述
-HDFS
-MapReduce
-Hadoop生態(tài)系統(tǒng)
-實驗場景
*Pig概述
-什么是Pig
-Pig的功能
-Pig使用案例
-與Pig交互
*HBase的概念
-HBase的基本概念
-使用HBase
*使用Pig做基本數(shù)據(jù)分析
-Pig的拉丁語法
-裝載數(shù)據(jù)
-簡單數(shù)據(jù)類型
-字段定義
-數(shù)據(jù)輸出
-查看Schema
-數(shù)據(jù)過濾及排序
-常用函數(shù)
*使用Pig處理復雜數(shù)據(jù)
-存儲格式
-復雜/嵌套數(shù)據(jù)類型
-分組
-關于復雜數(shù)據(jù)的內置函數(shù)
-分組數(shù)據(jù)迭代
*使用Pig操作多數(shù)據(jù)集
-數(shù)據(jù)集組合技術
-在Pig中關聯(lián)數(shù)據(jù)集
-設置操作
-分割數(shù)據(jù)集
*擴展Pig
-通過參數(shù)提升靈活性
-宏與導入
-UDFs
-分布函數(shù)
-在Pig中利用其它語言處理數(shù)據(jù)
*Pig故障分析與優(yōu)化
-Pig故障分析
-日志
-使用Hadoop的web UI
-數(shù)據(jù)采樣與調試
-性能概述
-理解執(zhí)行計劃
-提升Pig作業(yè)性能的提示
*Hive簡介
-什么是Hive
-Hive Schema及數(shù)據(jù)存儲
-Hive與傳統(tǒng)關系型數(shù)據(jù)庫管理系統(tǒng)的對比
-Hive vs Pig
-Hive用戶案例
-Hive迭代
*使用Hive分析關系型數(shù)據(jù)
-Hive數(shù)據(jù)庫及表
-基本HiveQL語法
-數(shù)據(jù)類型
-關聯(lián)數(shù)據(jù)集
-常用內置函數(shù)
*Hive數(shù)據(jù)管理
-Hive數(shù)據(jù)格式
-創(chuàng)建數(shù)據(jù)庫和Hive管理表
-將數(shù)據(jù)裝載到Hive
-變更數(shù)據(jù)庫和表
-自管理表
-使用視圖簡化查詢
-保存查詢結果
-控制數(shù)據(jù)訪問
*使用Hive處理文本
-文本處理概述
-重要的字符串函數(shù)
-在Hive中使用正則表達式
-情緒分析及N-Grams
*Hive優(yōu)化
-理解查詢性能
-控制作業(yè)執(zhí)行計劃
-分區(qū)
-Bucketing
-數(shù)據(jù)索引
*擴展Hive
-SerDes
-使用定制腳本傳輸數(shù)據(jù)
-用戶定義的函數(shù)
-參數(shù)化查詢
*Impala簡介
-什么是Impala
-Impala與Hive及Pig的區(qū)別
-Impala與關系型數(shù)據(jù)庫的區(qū)別
-限制與未來的方向
-使用Impala shell
*使用Impala分析數(shù)據(jù)
-基本語法
-數(shù)據(jù)類型
-過濾、排序和結果限定
-數(shù)據(jù)關聯(lián)與分組
-提升Impala性能
*針對作業(yè)選擇最佳工具
-對比MapReduce、Pig、Hive、Impala及關系型數(shù)據(jù)庫
-如何選擇？


目標學員
本課程適合于具有使用SQL和Unix或Linux基本命令經歷的數(shù)據(jù)分析師、業(yè)務分析師、開發(fā)人員和系統(tǒng)管理員，并不要求已經具有Java和Apache Hadoop的知識。