大數(shù)據(jù)核心技術(shù)全掌握視頻教程
侵權(quán)舉報(bào)/版權(quán)申訴以下是【leiling】分享的內(nèi)容全文：
大數(shù)據(jù)核心技術(shù)全掌握課程視頻教程下載。本套課程講授分布式系統(tǒng)構(gòu)架、分布式編程、分布式流處理、分布式數(shù)據(jù)存儲(chǔ)管理、內(nèi)存計(jì)算支持等內(nèi)容，覆蓋大數(shù)據(jù)處理平臺(tái)的主要核心技術(shù)，突出技術(shù)深度和實(shí)戰(zhàn)性。
課程章節(jié)
第一講 大數(shù)據(jù)和ODPS
主講人：武永衛(wèi)
主講人：程永
QUIZ
第二講 分布式存儲(chǔ)
大綱
初步認(rèn)識(shí)大數(shù)據(jù)對(duì)分布式存儲(chǔ)系統(tǒng)的需求
理解大數(shù)據(jù)對(duì)分布式存儲(chǔ)系統(tǒng)的需求
具體說明大數(shù)據(jù)對(duì)分布式存儲(chǔ)系統(tǒng)的需求
大規(guī)模分布式存儲(chǔ)的挑戰(zhàn)
小概率事件-Raid卡故障
分布式存儲(chǔ)系統(tǒng)舉例
分布式存儲(chǔ)系統(tǒng)重要功能設(shè)計(jì)要點(diǎn)剖析
鏈?zhǔn)綄懻Ａ鞒?br/>寫流程的另一種常見方式：主從模式
鏈?zhǔn)綄懏惓Ａ鞒?br/>寫異常處理的另一種方法-Seal and New
讀正常流程
讀流程優(yōu)化-BackupRead
IO QoS
數(shù)據(jù)正確性：checksum
數(shù)據(jù)可靠性-Replication
數(shù)據(jù)均衡-Rebalance
垃圾回收-Garbage collection
Erasure coding
Erasure coding（3,2）寫入和讀取過程
元數(shù)據(jù)管理的高可用性和可擴(kuò)展性
元數(shù)據(jù)管理的高可用性
Paxos概要
Raft
元數(shù)據(jù)管理的可擴(kuò)展性
不同存儲(chǔ)介質(zhì)的特性
盤古混合存儲(chǔ)
QUIZ
第三講 資源管理與任務(wù)調(diào)度
阿里云飛天分布式調(diào)度
任務(wù)調(diào)度
資源調(diào)度
容錯(cuò)機(jī)制
規(guī)模挑戰(zhàn)
安全域性能隔離
分布式調(diào)度的發(fā)展方向
QUIZ
第四講 分布式編程模型的設(shè)計(jì)與演化
數(shù)據(jù)格式和抽象
分布式編程模型
MapReuduce編程模型
關(guān)系型數(shù)據(jù)編程模型
分布式圖計(jì)算模型
分布式編程未來(lái)展望
QUIZ
實(shí)踐1：通過兩階段提交協(xié)議完成數(shù)據(jù)上傳
分布式事務(wù)
分布式一致性算法
兩階段提交與三階段提交
實(shí)踐--介紹
HW1：通過兩階段提交協(xié)議完成數(shù)據(jù)上傳
第五講 離線分布式關(guān)系型計(jì)算
關(guān)系型計(jì)算基本原理_1
關(guān)系型計(jì)算基本原理_2
分布式環(huán)境中的連接計(jì)算和聚合計(jì)算
其他計(jì)算和物理優(yōu)化
QUIZ
第六講 全局?jǐn)?shù)據(jù)管理與調(diào)度
提綱
課程背景介紹
前序知識(shí)
分布式節(jié)點(diǎn)距離計(jì)算法則
數(shù)據(jù)分布策略
分布式計(jì)算調(diào)度
數(shù)據(jù)就近原則計(jì)算如何容錯(cuò)
ODPS跨集群數(shù)據(jù)依賴
QUIZ
實(shí)踐2：編寫MR完成Group By+Join操作
主講人：謝德軍
HW2：編寫MR完成Group By+Join操作
第七講 流式計(jì)算的系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
增量計(jì)算和流式計(jì)算
與批量計(jì)算的區(qū)別
業(yè)界典型系統(tǒng)技術(shù)概要分析
核心技術(shù)
消息機(jī)制
有狀態(tài)計(jì)算、并行DAG、搶占式調(diào)度和資源隔離、Failover機(jī)制
StreamSQL
QUIZ
第八講 內(nèi)存計(jì)算
軟硬件趨勢(shì)、分布式計(jì)算簡(jiǎn)史與內(nèi)存計(jì)算
分布式計(jì)算
內(nèi)存計(jì)算
統(tǒng)一的計(jì)算框架
業(yè)界經(jīng)典系統(tǒng)技術(shù)分析-spark&flink
QUIZ
第九講 大規(guī)模數(shù)據(jù)的分布式機(jī)器學(xué)習(xí)平臺(tái)
主講人：褚葳
QUIZ
實(shí)踐3：實(shí)現(xiàn)MapReduce編程運(yùn)行時(shí)庫(kù)
分布式環(huán)境下的新問題
工程實(shí)現(xiàn)范例
課程設(shè)計(jì)相關(guān)問題
HW3:實(shí)現(xiàn)MapReduce編程運(yùn)行時(shí)庫(kù)
1.軟件源碼推廣展示：目的展示軟件相關(guān)功能，接收技術(shù)學(xué)習(xí)者測(cè)試、測(cè)評(píng)；
2.教程課程信息展示：展示課程信息，傳授課程各階段內(nèi)容；
3.設(shè)計(jì)素材圖片展示：展示素材設(shè)計(jì)理念、思維方式、傳播設(shè)計(jì)理念；
4.福利優(yōu)惠信息展示：分享各類最新的福利信息，各種優(yōu)惠信息展示；
以上分享目的僅供學(xué)習(xí)、參考使用，請(qǐng)勿用于其他用途，如果想商業(yè)使用或者代理，請(qǐng)自行聯(lián)系版權(quán)方獲取授權(quán)。任何未獲取授權(quán)的商業(yè)使用與本站無(wú)關(guān)，請(qǐng)自行承擔(dān)相應(yīng)責(zé)任。
本站不存儲(chǔ)任何資源文件，敬請(qǐng)周知！
如果您認(rèn)為本頁(yè)信息內(nèi)容侵犯了您的相關(guān)權(quán)益（包含但不限于：著作權(quán)、首發(fā)權(quán)、隱私權(quán)等權(quán)利），或者您認(rèn)為自己是此信息的權(quán)利人但是此信息不是自己發(fā)布的，可以直接版權(quán)舉報(bào)投訴，我們會(huì)根據(jù)網(wǎng)站注冊(cè)協(xié)議、資源分享協(xié)議等協(xié)議處理，以保護(hù)您的合法權(quán)益。
本網(wǎng)站采用 BY-NC-SA 協(xié)議進(jìn)行授權(quán) 轉(zhuǎn)載請(qǐng)注明原文鏈接:大數(shù)據(jù)核心技術(shù)全掌握視頻教程
