请选择 进入手机版 | 继续访问电脑版

Spark Streaming实时流处理项目实战

13
回复
17760
查看
[复制链接]
  • TA的每日心情

    14 小时前
  • 签到天数: 688 天

    [LV.9]以坛为家II

    1731

    主题

    2566

    帖子

    19万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    190745
    发表于 2019-7-1 08:44:26 | 显示全部楼层 |阅读模式
    Spark Streaming实时流处理项目实战
    基于Flume+Kafka+Spark Streaming打造企业大数据流处理平台
    〖课程目录〗:
    第1章 课程介绍
    课程介绍
            1-1 -导学-
            1-2 -授课习惯和学习建议
            1-3 -OOTB环境使用演示
            1-4 -Linux环境及软件版本介绍
            1-5 -Spark版本升级

    第2章 初识实时流处理
    本章节将从一个业务场景分析出发引出实时流处理的产生背景,对比离线处理和实时处理的区别,了解常用的实时流处理框架有哪些,实时流处理在企业级应用中各个环节的架构以及技术选型
            2-1 -课程目录
            2-2 -业务现状分析
            2-3 -实时流处理产生背景
            2-4 -实时流处理概述
            2-5 -离线计算和实时计算对比
            2-6 -实时流处理框架对比
            2-7 -实时流处理架构及技术选型
            2-8 -实时流处理在企业中的应用

    第3章 分布式日志收集框架Flume
    本章节将从通过一个业务场景出发引出Flume的产生背景,将讲解Flume的架构及核心组件,Flume环境部署以及Flume Agent开发实战让大家学会如何使用Flume来进行日志的采集
            3-1 -课程目录
            3-2 -业务现状分析
            3-3 -Flume概述
            3-4 -Flume架构及核心组件
            3-5 -Flume&JDK环境部署
            3-6 -Flume实战案例一
            3-7 -Flume实战案例二
            3-8 -Flume实战案例三(重点掌握)

    第4章 分布式发布订阅消息系统Kafka
    本章节将讲解Kafka的架构以及核心概念,Kafka环境的部署及脚本的使用,Kafka API编程,并通过Kafka容错性测试让大家体会到Kakfa的高可用性,并将Flume和Kafka整合起来开发一个功能
            4-1 -课程目录
            4-2 -Kafka概述
            4-3 -Kafka架构及核心概念
            4-4 -Kafka单节点单Broker部署之Zookeeper安装
            4-5 -Kafka单节点单broker的部署及使用
            4-6 -Kafka单节点多broker部署及使用
            4-7 -Kafka容错性测试
            4-8 -使用IDEA+Maven构建开发环境
            4-9 -Kafka Producer Java API编程
            4-10 -Kafka Consumer Java API编程
            4-11 -Kafka实战之整合Flume和Kafka完成实时数据采集

    第5章 实战环境搭建
    工欲善其事必先利其器,本章将讲解Hadoop、ZooKeeper、HBase、Spark的安装,以及如何使用IDEA整合Maven/Spark/HBase/Hadoop来搭建我们的开发环境
            5-1 -课程目录
            5-2 -Scala安装
            5-3 -Maven安装
            5-4 -Hadoop环境搭建
            5-5 -HBase安装
            5-6 -Spark环境搭建
            5-7 -开发环境搭建

    第6章 Spark Streaming入门
    本章节将讲解Spark Streaming是什么,了解Spark Streaming的应用场景及发展史,并从词频统计案例入手带大家了解Spark Streaming的工作原理
            6-1 -课程目录
            6-2 -Spark Streaming概述
            6-3 -Spark Streaming应用场景
            6-4 -Spark Streaming集成Spark生态系统的使用
            6-5 -Spark Streaming发展史
            6-6 -从词频统计功能着手入门Spark Streaming
            6-7 -Spark Streaming工作原理(粗粒度)
            6-8 -Spark Streaming工作原理(细粒度)

    第7章 Spark Streaming核心概念与编程
    本章节将讲解Spark Streaming中的核心概念、常用操作,通过Spark Streaming如何操作socket以及HDFS上的数据让大家进一步了解Spark Streaming的编程
            7-1 -课程目录
            7-2 -核心概念之StreamingContext
            7-3 -核心概念之DStream
            7-4 -核心概念之Input DStreams和Receivers
            7-5 -核心概念之Transformation和Output Operations
            7-6 -案例实战之Spark Streaming处理socket数据
            7-7 -案例实战之Spark Streaming处理文件系统数据

    第8章 Spark Streaming进阶与案例实战
    本章节将讲解Spark Streaming如何处理带状态的数据,通过案例让大家知道Spark Streaming如何写数据到MySQL,Spark Streaming如何整合Spark SQL进行操作
            8-1 -课程目录
            8-2 -实战之updateStateByKey算子的使用
            8-3 -实战之将统计结果写入到MySQL数据库中
            8-4 -实战之窗口函数的使用
            8-5 -实战之黑名单过滤
            8-6 -实战之Spark Streaming整合Spark SQL操作

    第9章 Spark Streaming整合Flume
    本章节将讲解Spark Streaming整合Flume的两种方式,讲解如何在本地进行开发测试,如何在服务器上进行测试
            9-1 -课程目录
            9-2 -Push方式整合之概述
            9-3 -Push方式整合之Flume Agent配置开发
            9-4 -Push方式整合之Spark Streaming应用开发
            9-5 -Push方式整合之本地环境联调
            9-6 -Push方式整合之服务器环境联调
            9-7 -Pull方式整合之概述
            9-8 -Pull方式整合之Flume Agent配置开发
            9-9 -Pull方式整合之Spark Streaming应用开发
            9-10 -Pull方式整合之本地环境联调
            9-11 -Pull方式整合之服务器环境联调

    第10章 Spark Streaming整合Kafka
    本章节将讲解Spark Streaming整合Kafka的两种方式,讲解如何在本地进行开发测试,如何在服务器上进行测试
            10-1 -课程目录
            10-2 -Spark Streaming整合Kafka的版本选择详解
            10-3 -Receiver方式整合之概述
            10-4 -Receiver方式整合之Kafka测试
            10-5 -Receiver方式整合之Spark Streaming应用开发
            10-6 -Receiver方式整合之本地环境联调
            10-7 -Receiver方式整合之服务器环境联调及Streaming UI讲解
            10-8 -Direct方式整合之概述
            10-9 -Direct方式整合之Spark Streaming应用开发及本地环境测试
            10-10 -Direct方式整合之服务器环境联调

    第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础
    本章节将通过实战案例彻底打通Spark Streaming和Flume以及Kafka的综合使用,为后续项目实战打下坚实的基础
            11-1 -课程目录
            11-2 -处理流程画图剖析
            11-3 -日志产生器开发并结合log4j完成日志的输出
            11-4 -使用Flume采集Log4j产生的日志
            11-5 -使用KafkaSInk将Flume收集到的数据输出到Kafka
            11-6 -Spark Streaming消费Kafka的数据进行统计
            11-7 -本地测试和生产环境使用的拓展

    第12章 Spark Streaming项目实战
    本章节将通过一个完整的项目实战让大家学会大数据实时流处理的各个环境的整合,如何根据业务需要来设计HBase的rowkey
            12-1 -课程目录
            12-2 -需求说明
            12-3 -用户行为日志介绍
            12-4 -Python日志产生器开发之产生访问url和ip信息
            12-5 -Python日志产生器开发之产生referer和状态码信息
            12-6 -Python日志产生器开发之产生日志访问时间
            12-7 -Python日志产生器服务器测试并将日志写入到文件中
            12-8 -通过定时调度工具每一分钟产生一批数据
            12-9 -使用Flume实时收集日志信息
            12-10 -对接实时日志数据到Kafka并输出到控制台测试
            12-11 -Spark Streaming对接Kafka的数据进行消费
            12-12 -使用Spark Streaming完成数据清洗操作
            12-13 -功能一之需求分析及存储结果技术选型分析
            12-14 -功能一之数据库访问DAO层方法定义
            12-15 -功能一之HBase操作工具类开发
            12-16 -功能一之数据库访问DAO层方法实现
            12-17 -功能一之将Spark Streaming的处理结果写入到HBase中
            12-18 -功能二之需求分析及HBase设计&HBase数据访问层开发
            12-19 -功能二之功能实现及本地测试
            12-20 -将项目运行在服务器环境中

    第13章 可视化实战
    本章节将通过两种方式来实现实时流处理结果的可视化操作,一是使用Spring Boot整合Echarts实现,二是使用更加炫酷的阿里云产品DataV来实现
            13-1 -课程目录
            13-2 -为什么需要可视化
            13-3 -构建Spring Boot项目
            13-4 -Echarts概述
            13-5 -Spring Boot整合Echarts绘制静态数据柱状图
            13-6 -Spring Boot整合Echarts绘制静态数据饼图
            13-7 -项目目录调整
            13-8 -根据天来获取HBase表中的实战课程访问次数
            13-9 -实战课程访问量domain以及dao开发
            13-10 -实战课程访问量Web层开发
            13-11 -实战课程访问量实时查询展示功能实现及扩展
            13-12 -Spring Boot项目部署到服务器上运行
            13-13 -阿里云DataV数据可视化介绍
            13-14 -DataV展示统计结果功能实现

    第14章 Java拓展
    本章节作为扩展内容,将带领大家使用Java来开始Spark应用程序,使得大家对于使用Scala以及Java来开发Spark应用程序都有很好的认识
            14-1 -课程目录
            14-2 -使用Java开发Spark应用程序
            14-3 -使用Java开发Spark Streaming应用程序        

    百度网盘下载地址〗:
    游客,如果您要查看本帖隐藏内容请回复



    ---------------------------------华丽分割线--------------------------------华丽分割线-------------------华丽分割线-------------------------华丽分割线----------------

    〖下载地址失效反馈〗:
    如果下载地址失效,请尽快反馈给我们,我们尽快修复。反馈地址:https://www.itmsf.com/forum-66-1.html

    〖赞助VIP免学币下载全站资源〗:
    全站资源高清无密,每天更新,vip特权了解一下:https://www.itmsf.com/plugin.php?id=threed_vip

    〖客服24小时咨询〗:
    有任何问题,请点击右侧QQ咨询。


    IT码上发视频网 - 免责声明1、站内所有资源来源于网络用户分享,版权归原作者及其网站所有,本站不拥有此类资源的版权,不对任何资源负法律责任。
    2、本站仅为资源分享的平台,站内资源仅供会员参考和学习之用,不得用于其他非法用途,请下载后24小时内从您的电脑中彻底删除。否则,一切后果请用户自负。
    3、本站会员均可发帖,转载及发布的内容纯属会员个人意见,与本论坛立场无关。严禁在本站发布反动、色情、广告等不良信息及违法内容。
    4、IT码上发视频网作为网络服务提供者,由于网站信息量巨大,对非法转载、盗版行为的发生不具备充分的监控能力。但是当版权拥有者提出侵权指控并出示充分的版权证明材料时,IT码上发视频网负有移除非法转载和盗版内容以及停止继续传播的义务。
    5、IT码上发视频网在满足前款条件下采取移除等相应措施后不为此向原发布人承担违约责任或其他法律责任,包括不承担因侵权指控不成立而给原发布人带来损害的赔偿责任。
    6、IT码上发视频网为用户免费分享产生,如本帖侵犯到任何版权问题,请立即告知本站(1198889304@qq.com),本站将及时予与删除并致以最深的歉意
    7、IT码上发视频网管理员和版主有权不事先通知发贴者而删除本文
    8、凡登陆本网站或直接、间接使用本站资料者,应仔细阅读声明,一旦使用本站任何资源,即被视为您已接受本站的免责声明。
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2020-12-6 09:05
  • 签到天数: 117 天

    [LV.6]常住居民II

    3

    主题

    286

    帖子

    1874

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    1874
    发表于 2019-7-1 09:47:36 | 显示全部楼层
    淡定,淡定,淡定……【IT码上发视频学习网】就是这么666!
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2020-11-25 10:41
  • 签到天数: 74 天

    [LV.6]常住居民II

    6

    主题

    151

    帖子

    1551

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    1551
    发表于 2019-7-2 16:10:11 | 显示全部楼层
    感恩【IT码上发视频学习网】无私的分享与奉献!
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2019-8-28 09:04
  • 签到天数: 57 天

    [LV.5]常住居民I

    1

    主题

    258

    帖子

    1563

    积分

    初级工程师

    Rank: 2

    积分
    1563
    发表于 2019-7-2 17:45:56 | 显示全部楼层
    看到这样的好资源真是高兴!感谢【IT码上发视频学习网】的无私分享!
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2020-5-13 01:45
  • 签到天数: 58 天

    [LV.5]常住居民I

    2

    主题

    172

    帖子

    2473

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    2473
    发表于 2019-7-5 01:03:42 | 显示全部楼层
    【IT码上发视频学习网】加油,我们都看好你哦,快分享更多好资源吧!
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2021-1-30 17:41
  • 签到天数: 245 天

    [LV.8]以坛为家I

    2

    主题

    299

    帖子

    3648

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    3648
    发表于 2019-8-16 20:52:08 | 显示全部楼层
    看到这样的好资源真是高兴!感谢【IT码上发视频学习网】的无私分享!
    回复

    使用道具 举报

  • TA的每日心情
    擦汗
    昨天 17:27
  • 签到天数: 254 天

    [LV.8]以坛为家I

    7

    主题

    590

    帖子

    2259

    积分

    包年VIP

    Rank: 2

    积分
    2259
    发表于 2019-8-21 16:56:41 | 显示全部楼层
    强烈支持IT码上发视频学习网,IT码上发视频学习网就是给力!
    回复

    使用道具 举报

  • TA的每日心情
    难过
    2021-4-27 21:15
  • 签到天数: 52 天

    [LV.5]常住居民I

    4

    主题

    133

    帖子

    783

    积分

    初级工程师

    Rank: 2

    积分
    783
    发表于 2019-9-10 16:00:25 | 显示全部楼层
    【IT码上发视频学习网】加油,我们都看好你哦,快分享更多好资源吧!
    回复

    使用道具 举报

  • TA的每日心情

    2021-4-29 15:28
  • 签到天数: 123 天

    [LV.7]常住居民III

    4

    主题

    195

    帖子

    2816

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    2816
    发表于 2019-10-21 14:55:08 | 显示全部楼层
    看到这样的好资源真是高兴!感谢【IT码上发视频学习网】的无私分享!
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2020-1-1 22:38
  • 签到天数: 3 天

    [LV.2]偶尔看看I

    0

    主题

    6

    帖子

    19

    积分

    新手上路

    Rank: 1

    积分
    19
    发表于 2019-12-30 23:03:15 | 显示全部楼层
    支持支持支持支持支持支持支持
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    用心服务IT技术爱好者
    资源涵盖Java,PHP,C/C++,Python,Android,iOS
    微信小程序,人工智能,大数据云计算,web前端
    游戏开发,多媒体与设计,运维相关,产品相关
    等等等有价值的VIP资源
    QQ:1198889304
    周一至周日 9:00-21:00
    意见反馈:1198889304@qq.com

    申明:本站所有资源均来自于互联网用户分享,仅供参考和学习之用,不得传播及用于其他用途,请24小时内自行删除,本站不对任何资源负法律责任。如有侵犯您的版权,请联系客服发邮件到1198889304@qq.com联系删除相关内容!