IT码上发视频教程
标题:
大数据技术之Spark3.x性能优化(2.36G)
[打印本页]
作者:
itmsf
时间:
2021-11-26 00:04
标题:
大数据技术之Spark3.x性能优化(2.36G)
大数据技术之Spark3.x性能优化(2.36G)
〖课程介绍〗:
本套课程从多个方面展开讲解Spark的调优策略,包括资源配置调优、SparkSQL语法调优、执行计划解读、数据倾斜问题解决、Job优化、Spark3.0新特性详解。
〖课程目录〗:
01-课程简介.mp4 16.70M
02_执行计划_准备测试数据和表.mp4 19.46M
03_执行计划_执行流程&案例实操解读.mp4 150.13M
04-资源规划-资源设定上限估算.mp4 21.24M
05-资源规划-精确内存估算.mp4 28.01M
06-资源规划-精确调整内存各比例.mp4 15.72M
07-缓存调优-RDD-进行cache.mp4 39.32M
08-缓存调优-RDD-cache结合kryo序列化.mp4 21.24M
09-缓存调优-DS-cache和序列化.mp4 45.65M
10-CPU调优-合理利用CPU资源.mp4 86.32M
11-语法优化-RBO-inner join的谓词下推.mp4 70.46M
12-语法优化-RBO-外关联的谓词下推.mp4 67.87M
13-语法优化-RBO-列裁剪&常量替换.mp4 21.49M
14-语法优化-CBO-Statics统计&CBO使用效果.mp4 124.05M
15-语法优化-广播Join.mp4 89.08M
16-语法优化-Join-SMB Join原理.mp4 21.10M
17-语法优化-Join-SMB Join效果演示.mp4 47.41M
18-数据倾斜-现象&原因&抽样定位大key.mp4 33.99M
19-数据倾斜-单表数据倾斜处理.mp4 58.08M
20-数据倾斜-Join-使用广播Join.mp4 42.45M
21-数据倾斜-Join-拆分key 打散大表 扩容小表.mp4 87.33M
22-Map端优化-使用Map端预聚合.mp4 6.00M
23-Map端优化-读取小文件优化.mp4 142.67M
24-Map端优化-调大ShuffleWrite溢写时的输出流缓冲&源码分析.mp4 107.28M
25-Reduce端优化-输出产生小文件优化-调整并行度&缩小分区.mp4 32.14M
26-Reduce端优化-动态分区插入小文件优化.mp4 38.08M
27-Reduce端优化-提高Reduce端缓冲区&重试次数&重试等待间隔.mp4 74.27M
28-Reduce端优化-合理使用bypass.mp4 42.01M
29-Job优化-调节数据本地化等待时间.mp4 99.06M
30-Job优化-堆外内存的版本区别.mp4 43.81M
31-Job优化-使用堆外缓存.mp4 40.56M
32-Job优化-调整连接等待时长.mp4 45.39M
33-Spark3.0-AQE-动态合并分区&动态申请资源.mp4 102.12M
34-Spark3.0-AQE-动态切换Join策略.mp4 43.37M
35-Spark3.0-AQE-自动优化join倾斜.mp4 87.61M
36-Spark3.0-DPP-动态分区裁剪.mp4 69.25M
37-Spark3.0-Hint增强.mp4 25.36M
38-常见故障思路简析.mp4 47.06M
├──笔记.zip 2.70M
├──代码.zip 45.67kb
└──资料.zip 262.00M
〖视频截图〗:
WX20211126-000425@2x.png
(139.03 KB, 下载次数: 44)
下载附件
2021-11-26 00:04 上传
〖百度网盘下载地址〗:
---------------------------------华丽分割线--------------------------------华丽分割线-------------------华丽分割线-------------------------华丽分割线----------------
〖下载地址失效反馈〗:
如果下载地址失效,请尽快反馈给我们,我们尽快修复。反馈地址:
https://www.itmsf.com/forum-66-1.html
〖赞助VIP免学币下载全站资源〗:
全站资源高清无密,每天更新,vip特权了解一下:
https://www.itmsf.com/plugin.php?id=threed_vip
〖客服24小时咨询〗:
有任何问题,请点击右侧QQ咨询。
作者:
azwjk
时间:
2021-11-26 10:22
真心不错啊,目前工作正用到这个技术
作者:
lyd723
时间:
2021-11-26 10:27
我只是路过打酱油的。【IT码上发视频学习网】雄起!
作者:
何卫东
时间:
2021-11-28 09:23
6666666666666666666666
作者:
藏知阁
时间:
2021-12-2 10:47
【IT码上发视频学习网】加油,我们都看好你哦,快分享更多好资源吧!
作者:
qfzcxdl
时间:
2021-12-5 22:46
aaaa看到这样的好资源真是高兴!感谢【IT码上发视频学习网】的无私分享!
作者:
xuancheng
时间:
2021-12-10 18:41
看到这样的好资源真是高兴!感谢【IT码上发视频学习网】的无私分享!
作者:
inmoglio
时间:
2022-1-5 06:33
加油,我们都看好你哦,快分享更多好资源吧!
作者:
Blue
时间:
2022-6-18 22:06
【IT码上发视频学习网】加油,我们都看好你哦,快分享更多好资源吧!
作者:
yanbin
时间:
2024-1-18 13:58
真是被感动的痛哭流涕……厉害了,我的【IT码上发视频学习网】!
欢迎光临 IT码上发视频教程 (https://www.itmsf.com/)
Powered by Discuz! X3.3