課程亮點(diǎn)
以課堂講解、演示、案例分析為主,輔以互動(dòng)研討、現場(chǎng)答疑、學(xué)以致用。
適用對象
不限
學(xué)習目標
了解大數據業(yè)內*新發(fā)展趨勢,深入掌握Hadoop的原理,Hadoop生態(tài)系統
課程內容
大數據背景與思維
1. 什么是大數據
2. 大數據技術(shù)的產(chǎn)生背景
3. 大數據應用場(chǎng)景
4. 大數據思維
5. 大數據產(chǎn)業(yè)鏈
6. 大數據是如何變革各行業(yè)的技術(shù)架構、商業(yè)模
式和組織方式
大數據應用-運營(yíng)商案例分析
大數據時(shí)代的數據特征與數據來(lái)源分析
大數據時(shí)代的發(fā)展趨勢—軟件應用的泛互聯(lián)網(wǎng)化
大數據時(shí)代的發(fā)展趨勢—行業(yè)應用垂直整合
大數據時(shí)代的發(fā)展趨勢—數據銀行的誕生
大數據時(shí)代處理數據理念的三個(gè)大改變
大數據時(shí)代的核心技術(shù)-數據分析技術(shù)(Hadoop、MPI、BSP)
大數據時(shí)代的核心技術(shù)-數據挖掘
大數據分析的核心技術(shù)-可視化技術(shù)精解
大數據時(shí)代的精髓-預測技術(shù)
目前運營(yíng)商大數據利用現狀
利用大數據存在的問(wèn)題
數據質(zhì)量分析
場(chǎng)景不足
數據不統一的問(wèn)題解決
如何進(jìn)化金融行業(yè)的大數據基礎數據
案例分享: 對外數據服務(wù)-數據到價(jià)值的轉換, 我們能夠提供的對外大數據服務(wù)
案例分享:位置數據貨幣化-如何為俏江南提供選址報告
互聯(lián)網(wǎng)金融大數據應用案例深度解析
大數據在互聯(lián)網(wǎng)金融及傳統金融公司的應用案例解析-以下幾個(gè)案例將貫穿整個(gè)培訓內容, 作為每個(gè)章節的案例分析細化到每個(gè)大數據的知識點(diǎn)
互聯(lián)網(wǎng)企業(yè)遇到大數據的問(wèn)題
案例分享:海量數據金融解決方案
案例分享:基于區塊鏈的金融信任體系海量數據解決方案
案例分享:淘寶飛天平臺實(shí)踐
案例分享:微信紅包大數據分析
案例分享:互聯(lián)網(wǎng)金融的大數據分析
案例分享:金融行業(yè)在風(fēng)控, 營(yíng)銷(xiāo), 產(chǎn)品設計, 營(yíng)業(yè)網(wǎng)點(diǎn)分析等領(lǐng)域的大數據分析
案例分享:一個(gè)大型銀行的核心信用系統大數據項目分析案例深入剖析
大數據企業(yè)級平臺選型方案
開(kāi)源方案:Hadoop,Spark
海量數據處理系統
的架構設計
這個(gè)部分主要講解海量數據處理的架構設計,針對海量數據的問(wèn)題設計海量數據的架構解決方案。
海量數據處理的系統場(chǎng)景
大數據時(shí)代的數據架構解決方案
海量數據處理的架構匯總
8種海量數據處理的架構設計比較
分布式系統架構的海量數據處理設計
海量數據處理設計
典型案例分析:結合一個(gè)500強實(shí)時(shí)數據系統的實(shí)例案例進(jìn)行分析,詳細分析海量數據處理的架構設計
Hadoop集群架構搭建及實(shí)踐案例沙盤(pán)演練
Hadoop版本介紹與選擇
Hadoop部署實(shí)踐
系統環(huán)境配置
進(jìn)程分布規劃與啟動(dòng)
Hadoop基本使用操作
HDFS核心架構分析
開(kāi)發(fā)環(huán)境準備
讀文件
寫(xiě)文件
Eclipse與Hadoop的集成
基于HDFS的命令總結
基于的API編程模型及其開(kāi)發(fā)演練
Hadoop集群架構搭建方法
Hadoop集群架構性能管理
Namenode單點(diǎn)問(wèn)題改進(jìn)
HDFS,NameNode,DataNode的調優(yōu)和節點(diǎn)擴展*佳實(shí)踐
主要調優(yōu)工具和性能監控工具
Hadoop集群對于硬件的要求和選型
Hadoop集群中對硬件、操作系統的調優(yōu)方法
實(shí)際案例分析
基于Hadoop的集群解決方案
典型案例分析:結合一個(gè)大型金融行業(yè)大數據系統的實(shí)例案例分析及演練Hadoop集群架構搭建過(guò)程
典型案例分析:通過(guò)HDFS API完成一個(gè)復雜數據系統的操作過(guò)程
動(dòng)手實(shí)驗:完成Hadoop整體集群體系的搭建,配置與優(yōu)化
HDFS原理及高級程序實(shí)戰演練(深入理解HDFS)
HDFS架構及原理
HDFS NameNode、DataNode解析
HDFS 副本機制塊機制解析
HDFS實(shí)戰-命令行等使用
HDFS命令行工具
啟動(dòng)、停止HDFS服務(wù)
如何查看HDFS日志
如何查看HDFS Web控制臺
HDFS參數配置
PB級Hadoop存儲架構設計
