大数据 Spark SQL日志分析(完)

1
回复
22665
查看
[复制链接]
  • TA的每日心情
    擦汗
    6 小时前
  • 签到天数: 1336 天

    [LV.10]以坛为家III

    2328

    主题

    3955

    帖子

    48万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    483922
    发表于 2019-6-30 08:00:08 | 显示全部楼层 |阅读模式
    大数据 Spark SQL日志分析(完)
    大数据 Spark SQL日志分析(完)


    〖课程目录〗:
        第1章 初探大数据
    本章将介绍为什么要学习大数据、如何学好大数据、如何快速转型大数据岗位、本项目实战课程的内容安排、本项目实战课程的前置内容介绍、开发环境介绍。同时为大家介绍项目中涉及的Hadoop、Hive相关的知识
            1-1 导学
            1-2 -如何学好大数据
            1-3 -开发环境介绍
            1-4 -OOTB镜像文件使用介绍
            1-5 -大数据概述
            1-6 -Hadoop概述
            1-7 -HDFS概述及设计目标
            1-8 -HDFS架构
            1-9 -HDFS副本机制
            1-10 -Hadoop下载及JDK安装
            1-11 -机器参数设置
            1-12 -HDFS核心配置文件内容配置
            1-13 -HDFS格式化及启停
            1-14 -HDFS shell常用操作
            1-15 -HDFS优缺点
            1-16 -MapReduce概述
            1-17 -MapReduce编程模型及WordCount案例
            1-18 -YARN产生背景
            1-19 -YARN架构和执行流程
            1-20 -YARN环境搭建及提交作业到YARN上运行
            1-21 -Hive产生背景及Hive是什么
            1-22 -为什么要使用Hive及Hive发展历程
            1-23 -Hive体系架构及部署架构
            1-24 -Hive环境搭建
            1-25 -Hive基本使用

    第2章 Spark及其生态圈概述
    Spark作为近几年最火爆的大数据处理技术,是成为大数据工程师必备的技能之一。本章将从如下几个方面对Spark进行一个宏观上的介绍:Spark产生背景、特点、发展史、Databricks官方调查结果、Spark与Hadoop的对比、Spark开发语言及运行模式介绍 ...
            2-1 -课程目录
            2-2 -Spark概述及特点
            2-3 -Spark产生背景
            2-4 -Spark发展历史
            2-5 -Spark Survey
            2-6 -Spark对比Hadoop
            2-7 -Spark和Hadoop的协作性

    第3章 实战环境搭建
    工欲善其事必先利其器,本章讲述Spark源码编译、Spark Local模式运行、Spark Standalone模式运行
            3-1 -课程目录
            3-2 -Spark源码编译
            3-3 补录:Spark源码编译中的坑
            3-4 Spark Local模式环境搭建
            3-5 Spark Standalone模式环境搭建
            3-6 Spark简单使用

    第4章 Spark SQL概述
    Spark SQL面世已来,它不仅接过了Shark的接力棒,继续为Spark用户提供高性能SQL on Hadoop解决方案,还为Spark带来了通用、高效、多元一体的结构化数据处理能力。本章将从Spark SQL前世今生、SQL on Hadoop框架、Spark SQL概述、愿景、架构,这几个角度进行展开讲解...
            4-1 课程目录
            4-2 -Spark SQL前世今生
            4-3 -SQL on Hadoop常用框架介绍
            4-4 -Spark SQL概述
            4-5 -Spark SQL愿景
            4-6 -Spark SQL架构

    第5章 从Hive平滑过渡到Spark SQL
    Hive是SQL-on-Hadoop的解决方案和默认的标准,如何将数据处理从Hive过渡到Spark SQL上来是我们必须要掌握的。本章我们将讲解在Spark中操作Hive中的数据几种方式
            5-1 -课程目录
            5-2 -A SQLContext的使用
            5-3 -B HiveContext的使用
            5-4 -C SparkSession的使用
            5-5 spark-shell&spark-sql的使用
            5-6 -thriftserver&beeline的使用
            5-7 -jdbc方式编程访问

    第6章 DateFrame&Dataset
    DataFrame&Dataset是Spark2.x中最核心的编程对象,Spark2.x中的子框架能够使用DataFrame或Dataset来进行数据的交互操作。本章将从DataFrame的产生背景、DataFrame对比RDD、DataFrame API操作等方面对DataFrame做详细的编程开发讲解
            6-1 -课程目录
            6-2 -DataFrame产生背景
            6-3 -DataFrame概述
            6-4 -DataFrame和RDD的对比
            6-5 -DataFrame基本API操作
            6-6 -DataFrame与RDD互操作方式一
            6-7 -DataFrame与RDD互操作方式二
            6-8 -DataFrame API操作案例实战
            6-9 -Dataset概述及使用

    第7章 External Data Source
    Spark SQL中的核心功能,可以使用外部数据源非常方便的对存储在不同系统上的不同格式的数据进行操作。本章将讲解如何使用外部数据源来操作Hive、Parquet、MySQL中的数据以及综合使用
            7-1 -课程目录
            7-2 -产生背景
            7-3 -概述
            7-4 -目标
            7-5 -操作Parquet文件数据
            7-6 -操作Hive表数据
            7-7 -操作MySQL表数据
            7-8 -Hive和MySQL综合使用

    第8章 SparkSQL愿景
    本章将讲解Spark的愿景:写更少的代码、读更少的数据、让优化器自动优化程序
            8-1 -A SparkSQL愿景之一写更少的代码(代码量和可读性)
            8-2 -B SparkSQL愿景之一写更少的代码(统一访问操作接口)
            8-3 -C SparkSQL愿景之一写更少的代码(强有力的API支持)
            8-4 -D SparkSQL愿景之一些更少的代码(Schema推导)
            8-5 -E SparkSQL愿景之一写更少的代码(Schema Merge)
            8-6 -F SparkSQL愿景之一写更少的代码(Partition Discovery)
            8-7 -G SparkSQL愿景之一写更少的代码(执行速度更快)
            8-8 -SparkSQL愿景之二读取更少的数据
            8-9 -SparkSQL愿景之三让查询优化器帮助我们优化执行效率
            8-10 -SparkSQL愿景总结

    第9章 慕课网日志实战
    本章使用Spark SQL对慕课网主站的访问日志进行各个维度的统计分析操作,涉及到的过程有:数据清洗、数据统计、统计结果入库、数据的可视化、调优及Spark on YARN。通过本实战项目将Spark SQL中的知识点融会贯通,达到举一反三的效果 ...
            9-1 -课程目录
            9-2 -用户行为日志概述
            9-3 -离线数据处理架构
            9-4 -项目需求
            9-5 imooc网主站日志内容构成
            9-6 数据清洗之第一步原始日志解析
            9-7 -数据清洗之二次清洗概述
            9-8 -数据清洗之日志解析
            9-9 -数据清洗之ip地址解析
            9-10 -数据清洗存储到目标地址
            9-11 -需求一统计功能实现
            9-12 -Scala操作MySQL工具类开发
            9-13 -需求一统计结果写入到MySQL
            9-14 -需求二统计功能实现
            9-15 -需求二统计结果写入到MySQL
            9-16 -需求三统计功能实现
            9-17 -需求三统计结果写入到MySQL
            9-18 -代码重构之删除指定日期已有的数据
            9-19 -功能实现之数据可视化展示概述
            9-20 -ECharts饼图静态数据展示
            9-21 -ECharts饼图动态展示之一查询MySQL中的数据
            9-22 -ECharts饼图动态展示之二前端开发
            9-23 -使用Zeppelin进行统计结果的展示
            9-24 -Spark on YARN基础
            9-25 -数据清洗作业运行到YARN上
            9-26 -统计作业运行在YARN上
            9-27 -性能优化之存储格式的选择
            9-28 -性能调优之压缩格式的选择
            9-29 -性能优化之代码优化
            9-30 -性能调优之参数优化

    第10章 Spark SQL扩展和总结
    本章将列举Spark SQL在工作中经常用到的方方方面的总结
            10-1 -课程目录
            10-2 -Spark SQL使用场景
            10-3 -Spark SQL加载数据
            10-4 -DataFrame与SQL的对比
            10-5 -Schema
            10-6 -SaveMode
            10-7 -处理复杂的JSON数据
            10-8 -SQL的覆盖程度
            10-9 -外部数据源   

    〖视频截图〗:
    大数据 Spark SQL日志分析(完)
    〖百度网盘下载地址〗:
    游客,本付费内容需要支付 120码币 才能浏览--关于本站--查看码币余额--如有码币请点击右侧(金币)支付→
    码币不足? 【充值码币】【开通VIP】(永久99元,年66元,永久会员另赠送极客资源网VIP 全站资源无限制下载+无加密+每日更新+资源免费申购)!支付



    ---------------------------------华丽分割线--------------------------------华丽分割线-------------------华丽分割线-------------------------华丽分割线----------------

    〖下载地址失效反馈〗:
    如果下载地址失效,请尽快反馈给我们,我们尽快修复。反馈地址:https://www.itmsf.com/forum-66-1.html

    〖赞助VIP免学币下载全站资源〗:
    全站资源高清无密,每天更新,vip特权了解一下:https://www.itmsf.com/plugin.php?id=threed_vip

    〖客服24小时咨询〗:
    有任何问题,请点击右侧QQ咨询。


    IT码上发视频网 - 免责声明1、站内所有资源来源于网络用户分享,版权归原作者及其网站所有,本站不拥有此类资源的版权,不对任何资源负法律责任。
    2、本站仅为资源分享的平台,站内资源仅供会员参考和学习之用,不得用于其他非法用途,请下载后24小时内从您的电脑中彻底删除。否则,一切后果请用户自负。
    3、本站会员均可发帖,转载及发布的内容纯属会员个人意见,与本论坛立场无关。严禁在本站发布反动、色情、广告等不良信息及违法内容。
    4、IT码上发视频网作为网络服务提供者,由于网站信息量巨大,对非法转载、盗版行为的发生不具备充分的监控能力。但是当版权拥有者提出侵权指控并出示充分的版权证明材料时,IT码上发视频网负有移除非法转载和盗版内容以及停止继续传播的义务。
    5、IT码上发视频网在满足前款条件下采取移除等相应措施后不为此向原发布人承担违约责任或其他法律责任,包括不承担因侵权指控不成立而给原发布人带来损害的赔偿责任。
    6、IT码上发视频网为用户免费分享产生,如本帖侵犯到任何版权问题,请立即告知本站(1198889304@qq.com),本站将及时予与删除并致以最深的歉意
    7、IT码上发视频网管理员和版主有权不事先通知发贴者而删除本文
    8、凡登陆本网站或直接、间接使用本站资料者,应仔细阅读声明,一旦使用本站任何资源,即被视为您已接受本站的免责声明。
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2024-3-2 21:53
  • 签到天数: 59 天

    [LV.5]常住居民I

    4

    主题

    171

    帖子

    2451

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    2451
    发表于 2021-12-17 23:50:55 | 显示全部楼层
    谢谢分享,大家一起学习~
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    用心服务IT技术爱好者
    资源涵盖Java,PHP,C/C++,Python,Android,iOS
    微信小程序,人工智能,大数据云计算,web前端
    游戏开发,多媒体与设计,运维相关,产品相关
    等等等有价值的VIP资源
    QQ:1198889304
    周一至周日 9:00-21:00
    意见反馈:1198889304@qq.com

    申明:本站所有资源均来自于互联网用户分享,仅供参考和学习之用,不得传播及用于其他用途,请24小时内自行删除,本站不对任何资源负法律责任。如有侵犯您的版权,请联系客服发邮件到1198889304@qq.com联系删除相关内容!