请选择 进入手机版 | 继续访问电脑版

[大数据与云计算] 老汤微职位:Spark核心技术

11
回复
12240
查看
[复制链接]
  • TA的每日心情
    慵懒
    9 小时前
  • 签到天数: 726 天

    [LV.9]以坛为家II

    1788

    主题

    2665

    帖子

    20万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    207500
    发表于 2019-5-31 14:09:22 | 显示全部楼层 |阅读模式
    老汤微职位:Spark核心技术
    老汤微职位:Spark核心技术


    〖课程介绍〗:

    全面而系统的讲解Spark方方面面的知识,贯穿项目实战,使得你在大数据分布式计算领域游刃有余


    〖课程目录〗:
            │      1-1IntelliJ IDEA开发spark应用.mp4
    │      1-2spark源代码环境的搭建.ts
    │      1-3Spark集群安装-虚拟机上Scala的安装.ts
    │      1-4Spark集群环境的搭建.ts
    │      1-5集群spark-submit提交应用.ts
    │      1-6mysql的安装(后面会用到).ts
    │      1-7Spark模块学习说明.ts
    │      2-2数据重新分区概述.ts
    │      2-3Spark分布式计算流程中的几个疑问点.ts
    │      2-4从上面的疑问中导出RDD的概念.ts
    │      2-5实践:RDD API简单使用一.ts
    │      2-6实践:RDD API简单使用二.ts
    │      2-7理解Spark分布式内存计算的含义.ts
    │      2-8Spark Core组件解决的问题及其特点.ts
    │      2-9Spark SQL组件解决的问题及其特点一.ts
    │      2-10Spark SQL组件解决的问题及其特点二.ts
    │      2-11Spark Streaming组件解决的问题及其特点.ts
    │      2-12Spark Graphx组件解决的问题及其特点.ts
    │      2-13Spark ml组件解决的问题及其特点.ts
    │      2-1Spark是怎么进行分布式计算的?.ts
    │      3-1再次理解RDD概念.ts
    │      3-2实践:怎么样创建RDD.ts
    │      3-3parallelize和makeRDD的实现原理.ts
    │      3-5HashPartitioner原理.ts
    │      3-6实战:对RDD合理分区能提高性能.ts
    │      3-7RangePartitioner的原理.ts
    │      3-8Partitioner源码解析.ts
    │      3-9Hash对比Range Partitioner.ts
    │      3-10实战:自定义Partitioner.ts
    │      3-11实战:coalesce使用场景(非常的重要).ts
    │      3-12coalesce原理讲解.ts
    │      3-13coalesce源码解析.ts
    │      3-14单类型RDD的transformation api的使用.ts
    │      3-15MapPartitionsRDD的原理代码详解.ts
    │      3-16RDD的采样api(sample等).ts
    │      3-17RDD分层采样api(sampleByKey等).ts
    │      3-18实践:RDD的pipe api的使用.ts
    │      3-19RDD的pipe的原理深入讲解.ts
    │      3-20单类型RDD的基本action api的讲解.ts
    │      3-21combineBykey的七大参数的详解一.ts
    │      3-22combineBykey的七大参数的详解二.ts
    │      3-23ShuffleRDD的原理详解.ts
    │      3-24基于combineByKey的api详解.ts
    │      3-25实践:combineBykey实战以及使用过程中需要注意的点.ts
    │      3-26reduceByKey和groupByKey的对比.ts
    │      3-27cogroup api的感官认识.ts
    │      3-28通过原理图和源代码详解cogroup原理.ts
    │      3-29join等api的原理实现.ts
    │      3-30subtractByKey的原理.ts
    │      3-31sortedByKey原理.ts
    │      3-32count、countByKey等计数api.ts
    │      3-33union的使用及其原理.ts
    │      3-34intersection的使用及其原理.ts
    │      3-35cartesian笛卡尔积的使用及其原理.ts
    │      3-36zip的使用及其原理.ts
    │      3-37RDD的缓存机制,即persist.ts
    │      3-38checkpoint的作用和实现流程.ts
    │      3-39checkpoint实现原理一.ts
    │      3-40checkpoint实现原理二.ts
    │      3-41broadcast的机制及其用法.ts
    │      3-42accumulator的使用及其自定义accumulator.ts
    │      3-43spark支持的读写存储系统.ts
    │      3-44HadoopRDD的原理和实现.ts
    │      3-45spark支持的通用的文件格式.ts
    │      3-46二进制文件的读写.ts
    │      3-47spark sql读写parquet and avro文件.ts
    │      3-48项目实战:业务讲解.ts
    │      3-49项目实战:代码实现讲解一.ts
    │      3-4RDD的依赖设计及其特点(必须掌握的知识).ts
    │      3-50项目实战:代码实现讲解二.ts
    │      3-51项目实战:结果验证.ts
    │      4-1课程内容.ts
    │      4-2java命令启动JVM.ts
    │      4-3java ProcessBuilder启动JVM.ts
    │      4-4spark-submit感官认识.ts
    │      4-5master和deploy-mode参数详解.ts
    │      4-6--conf参数详解.ts
    │      4-7driver相关参数的详解.ts
    │      4-8executor相关参数的详解.ts
    │      4-9--jars参数详解.ts
    │      4-10--package相关参数详解.ts
    │      4-11--files与--properties-file参数详解.ts
    │      4-12--queue相关参数的详解.ts
    │      4-13python spark应用的正确提交.ts
    │      4-14利用SparkLauncher在代码中提交spark应用.ts
    │      4-15spark脚本系统.ts
    │      4-16spark-class脚本原理以及实现.ts
    │      4-17spark-daemon脚本原理以及实现.ts
    │      4-18SparkSubmit原理以及源码分析.ts
    │      5-1课程内容.ts
    │      5-2stage的划分.ts
    │      5-3stage的调度.ts
    │      5-4taskset调度的先进先出(FIFO)机制.ts
    │      5-5实战:实现taskset调度的公平调度(FAIR).ts
    │      5-6taskset调度的公平调度(FAIR)机制需要注意的点.ts
    │      5-7task调度的本地性级别定义.ts
    │      5-8task调度的延迟调度讲解一.ts
    │      5-9task调度的延迟调度讲解二.ts
    │      5-10task调度的推测机制.ts
    │      5-11task调度的黑名单机制.ts
    │      5-12task调度的黑名单机制使用场景.ts
    │      5-13executor资源的管理.ts
    │      5-14task的launch流程及其需要注意的点.ts
    │      5-15task的statusUpdate流程.ts
    │      5-16schedulers on driver的总体流程.ts
    │      5-17源码讲解之schedulers的初始化.ts
    │      5-18源码讲解之job提交流程.ts
    │      5-19源码讲解之task结果处理.ts
    │      5-20动态资源分配机制.ts
    │      5-21External shuffle service机制.ts
    │      5-22开启External shuffle service机制.ts
    │      6-1课程内容.ts
    │      6-2DSL.ts
    │      6-3SQL.ts
    │      6-4数据格式的种类及其特点.ts
    │      6-5Spark SQL的初衷.ts
    │      6-6SQL On Hadoop - Hive.ts
    │      6-7SQL On Hadoop - Imapla.ts
    │      6-8Shark.ts
    │      6-9大事记.ts
    │      6-10Spark SQL四大目标.ts
    │      6-11Spark SQL架构及其处理流.ts
    │      6-12API实现的发展.ts
    │      6-13DataFrame.ts
    │      6-14Dataset.ts
    │      6-15API演化的合理性.ts
    │      6-16Dataset API分类.ts
    │      6-17Spark SQL未来会成为Spark的新核心.ts
    │      7-1spark SQL基本概念.ts
    │      7-2浅尝spark SQL的API.ts
    │      7-3SparkSession的讲解.ts
    │      7-4DataFrame的创建.ts
    │      7-5Dataset的创建.ts
    │      7-6RDDDatasetDataFrame的转换.ts
    │      7-7schema的定义以及复杂数据类型的用法.ts
    │      7-8实战:schema api的用处.ts
    │      7-9数据源-基本操作load和save.ts
    │      7-10数据源-parquet和orc文件的读写.ts
    │      7-11数据源-json文件的读写一.ts
    │      7-12数据源-json文件的读写二.ts
    │      7-13数据源-csv文件的读写一.ts
    │      7-14数据源-通过jdbc读写mysql数据库.ts
    │      7-15通过jdbc写mysql数据库需要注意的点.ts
    │      7-16通过jdbc读mysql数据库需要注意的点.ts
    │      7-17数据源-text文件和table数据源的读写.ts
    │      7-18数据源实战之数据分区.ts
    │      7-19catalog元数据管理讲解.ts
    │      7-20DDL-表的类型种类及其创建方式.ts
    │      7-21DQL-sql查询及其sql函数讲解.ts
    │      7-22SQL内置函数(绝对全).ts
    │      7-23Column的表达.ts
    │      7-24DataFrame中Untyped API讲解.ts
    │      7-25DataFrame Untyped API与SQL对比.ts
    │      7-26Dataset typed API.ts
    │      7-27group分组聚合相关API.ts
    │      7-28join关联相关API.ts
    │      7-29sort排序相关API.ts
    │      7-30实战:自定义UDAF.ts
    │      7-31Action API和其他API.ts
    │      7-32RDDsDataFramesDatasets各自使用场景.ts
    │      7-33实战一:json格式数据处理.ts
    │      7-34实战二:物联网设备信息的ETL.ts

    百度网盘下载地址〗:
    游客,如果您要查看本帖隐藏内容请回复



    ---------------------------------华丽分割线--------------------------------华丽分割线-------------------华丽分割线-------------------------华丽分割线----------------

    〖下载地址失效反馈〗:
    如果下载地址失效,请尽快反馈给我们,我们尽快修复。反馈地址:https://www.itmsf.com/forum-66-1.html

    〖赞助VIP免学币下载全站资源〗:
    全站资源高清无密,每天更新,vip特权了解一下:https://www.itmsf.com/plugin.php?id=threed_vip

    〖客服24小时咨询〗:
    有任何问题,请点击右侧QQ咨询。


    IT码上发视频网 - 免责声明1、站内所有资源来源于网络用户分享,版权归原作者及其网站所有,本站不拥有此类资源的版权,不对任何资源负法律责任。
    2、本站仅为资源分享的平台,站内资源仅供会员参考和学习之用,不得用于其他非法用途,请下载后24小时内从您的电脑中彻底删除。否则,一切后果请用户自负。
    3、本站会员均可发帖,转载及发布的内容纯属会员个人意见,与本论坛立场无关。严禁在本站发布反动、色情、广告等不良信息及违法内容。
    4、IT码上发视频网作为网络服务提供者,由于网站信息量巨大,对非法转载、盗版行为的发生不具备充分的监控能力。但是当版权拥有者提出侵权指控并出示充分的版权证明材料时,IT码上发视频网负有移除非法转载和盗版内容以及停止继续传播的义务。
    5、IT码上发视频网在满足前款条件下采取移除等相应措施后不为此向原发布人承担违约责任或其他法律责任,包括不承担因侵权指控不成立而给原发布人带来损害的赔偿责任。
    6、IT码上发视频网为用户免费分享产生,如本帖侵犯到任何版权问题,请立即告知本站(1198889304@qq.com),本站将及时予与删除并致以最深的歉意
    7、IT码上发视频网管理员和版主有权不事先通知发贴者而删除本文
    8、凡登陆本网站或直接、间接使用本站资料者,应仔细阅读声明,一旦使用本站任何资源,即被视为您已接受本站的免责声明。
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2021-4-20 18:31
  • 签到天数: 264 天

    [LV.8]以坛为家I

    13

    主题

    589

    帖子

    3122

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    3122
    发表于 2019-6-1 03:01:42 | 显示全部楼层
    真是难得给力的资源啊!支持【IT码上发视频学习网】!
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2020-12-31 16:07
  • 签到天数: 72 天

    [LV.6]常住居民II

    0

    主题

    110

    帖子

    1486

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    1486
    发表于 2019-6-1 09:02:18 | 显示全部楼层
    真是难得给力的资源啊!支持【IT码上发视频学习网】!
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2020-5-13 01:45
  • 签到天数: 58 天

    [LV.5]常住居民I

    2

    主题

    172

    帖子

    2473

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    2473
    发表于 2019-7-2 23:49:21 | 显示全部楼层
    感谢分享!!
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2019-9-10 11:29
  • 签到天数: 1 天

    [LV.1]初来乍到

    0

    主题

    2

    帖子

    6

    积分

    新手上路

    Rank: 1

    积分
    6
    发表于 2019-9-10 12:34:39 | 显示全部楼层
    持续关注相关老汤微职位:大数据实时流处理技术
    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    2020-10-6 15:22
  • 签到天数: 120 天

    [LV.7]常住居民III

    0

    主题

    133

    帖子

    2536

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    2536
    发表于 2019-9-13 10:42:30 | 显示全部楼层
    看到这样的好资源真是高兴!感谢【IT码上发视频学习网】的无私分享!
    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    2020-10-6 15:22
  • 签到天数: 120 天

    [LV.7]常住居民III

    0

    主题

    133

    帖子

    2536

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    2536
    发表于 2019-9-14 14:08:13 | 显示全部楼层
    看到这样的好资源真是高兴!感谢【IT码上发视频学习网】的无私分享!
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    昨天 22:55
  • 签到天数: 121 天

    [LV.7]常住居民III

    3

    主题

    292

    帖子

    1914

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    1914
    发表于 2019-9-18 17:36:54 | 显示全部楼层
    太生气了,无法HOLD啦 >_<......为什么我才发现【IT码上发视频学习网】这样的好站!
    回复

    使用道具 举报

  • TA的每日心情
    擦汗
    6 天前
  • 签到天数: 48 天

    [LV.5]常住居民I

    1

    主题

    141

    帖子

    2425

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    2425
    发表于 2019-12-16 22:39:17 | 显示全部楼层
    太生气了,无法HOLD啦 >_<......为什么我才发现【IT码上发视频学习网】这样的好站!
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2021-5-24 21:05
  • 签到天数: 14 天

    [LV.3]偶尔看看II

    0

    主题

    27

    帖子

    2120

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    2120
    发表于 2020-4-4 10:45:31 | 显示全部楼层
    看到这样的好资源真是高兴!感谢【IT码上发视频学习网】的无私分享!
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    用心服务IT技术爱好者
    资源涵盖Java,PHP,C/C++,Python,Android,iOS
    微信小程序,人工智能,大数据云计算,web前端
    游戏开发,多媒体与设计,运维相关,产品相关
    等等等有价值的VIP资源
    QQ:1198889304
    周一至周日 9:00-21:00
    意见反馈:1198889304@qq.com

    申明:本站所有资源均来自于互联网用户分享,仅供参考和学习之用,不得传播及用于其他用途,请24小时内自行删除,本站不对任何资源负法律责任。如有侵犯您的版权,请联系客服发邮件到1198889304@qq.com联系删除相关内容!