大数据协作框架Sqoop+Flume+Oozie+Hue教程

11
回复
50907
查看
[复制链接]
  • TA的每日心情
    擦汗
    12 小时前
  • 签到天数: 1336 天

    [LV.10]以坛为家III

    2328

    主题

    3955

    帖子

    48万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    483922
    发表于 2019-6-25 10:41:05 | 显示全部楼层 |阅读模式
    大数据协作框架Sqoop+Flume+Oozie+Hue教程


    〖课程介绍〗:

    Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
    Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
    Oozie是一种框架,它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中。本文是对该框架的基本介绍。
    Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。


    〖课程目录〗:
        ├─第1章 数据转换工具Sqoop
    │      1.02_02_01_01 大数据Hadoop 2.x协作.框架的功能
    │      1.02_02_01_02 Sqoop 功能概述和版本、架构讲解
    │      1.02_02_01_03 Sqoop 使用要点(核心)及企业版本讲解.mp4
    │      1.02_02_01_04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive伪分布式环境
    │      1.02_02_01_05 Sqoop 1安装及基本使用讲解
    │      1.02_02_01_06 使用Sqoop导入数据到HDFS及本质分析
    │      1.02_02_01_07 Sqoop导入数据设置数据存储格式parquet
    │      1.02_02_01_08 Sqoop导入数据使用query讲解
    │      1.02_02_01_09 Sqoop导入数据设置数据压缩为sanppy
    │      1.02_02_01_10 对snappy压缩数据结合Hive进行数据的导入与分析
    │      1.02_02_01_11 Sqoop导入数据时两种增量方式导入
    │      1.02_02_01_12 Sqoop导入数据direct使用讲解
    │      1.02_02_01_13 Sqoop导出数据Export使用讲解
    │      1.02_02_01_14 Sqoop如何将RDBMS表中的数据导入到Hive表中
    │      1.02_02_01_15 Sqoop如何导出Hive表中数据到RDBMS中
    │      1.02_02_01_16 Sqoop使用--options-file进行运行任务讲解
    │      1.02_02_01_17 回顾复习Sqoop的使用及布置作业(oracle与hadoop数据的import)
    │      
    ├─第2章 文件收集框架Flume
    │      2.02_02_02_01 Flume功能概述讲解
    │      2.02_02_02_02 Flume架构设计讲解
    │      2.02_02_02_03 Flume Agent编程及flume-ng命令使用讲解
    │      2.02_02_02_04 Flume第一个Agent应用编写(实时读取数据)
    │      2.02_02_02_05 Flume Agent三大组件Source、Channe、Sink常用类型讲解
    │      2.02_02_02_06 Flume第二个Agent应用讲解(实时监控读取日志数据,存储hdfs文件系统)
    │      2.02_02_02_07 Flume收集数据存储hdfs上的一些高级配置.mp4
    │      2.02_02_02_08 Flume在企业大数据仓库中数据收集架构
    │      2.02_02_02_09 Flume收集数据存储hdfs上的企业需求讲解
    │      2.02_02_02_10 Flume实在案例讲解(监控日志目录日志数据,实时抽取之hdfs系统上)
    │      
    ├─第3章 任务调度框架Oozie
    │      3.02_02_03_01 工作流调度框架Oozie功能初步认识
    │      3.02_02_03_02 Linux Crontab调度讲解
    │      3.02_02_03_03 大数据Hadoop常用三种调度框架讲解
    │      3.02_02_03_04 Oozie 功能架构及三大Server讲解
    │      3.02_02_03_05 Oozie安装部署讲解一
    │      3.02_02_03_06 Oozie安装部署讲解二
    │      3.02_02_03_07 Oozie案例运行MapReduce Wordflow讲解
    │      3.02_02_03_08 如何定义Ooozie Workflow讲解
    │      3.02_02_03_09 Oozie Workflow中MapReduce Action定义讲解
    │      3.02_02_03_10 如何编写新API中MapReduce Action讲解
    │      3.02_02_03_11 编写Oozie Workflow的MapReduce Action并运行
    │      3.02_02_03_12 回顾复习Oozie Workflow编程要点及MapReduce Action的使用
    │      3.02_02_03_13 Oozie WorkFlow中Hive Action使用案例讲解一
    │      3.02_02_03_14 Oozie WorkFlow中Hive Action使用案例讲解二
    │      3.02_02_03_15 Oozie WorkFlow中Sqoop Action使用案例讲解一
    │      3.02_02_03_16 Oozie WorkFlow中Sqoop Action使用案例讲解二
    │      3.02_02_03_17 Oozie WorkFlow中Shell Action使用案例讲解
    │      3.02_02_03_18 Oozie WorkFlow作业布置
    │      3.02_02_03_19 Oozie Coordinator调度讲解及系统时区配置与定时触发两种配置方式
    │      3.02_02_03_20 Oozie Coordinator配置定时触发案例演示
    │      3.02_02_03_21 Oozie Coordinator·配置调度MapReduce· WordCount程序
    │      3.02_02_03_22 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解一
    │      3.02_02_03_23 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解二
    │      3.02_02_03_24 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解三
    │      3.02_02_03_25 Oozie中Coordinator中的数据可用性及Bundle讲解(1)
    │      3.02_02_03_26 Oozie中Coordinator中的数据可用性及Bundle讲解(2)
    │      
    └─第4章 大数据WEB工具Hue
            4.02_02_04_01 Hue架构功能讲解
            4.02_02_04_02 Hue编译安装讲解
            4.02_02_04_03 Hue集成HDFS、YARN配置功能演示讲解
            4.02_02_04_04 Hue集成Hive配置讲解(HiveServer2及MetaStore)
            4.02_02_04_05 Hue集成RDBMS配置讲解
            4.02_02_04_06 Hue集成Oozie配置讲解及作业布置   


    〖百度网盘下载地址〗:
    游客,如果您要查看本帖隐藏内容请回复



    ---------------------------------华丽分割线--------------------------------华丽分割线-------------------华丽分割线-------------------------华丽分割线----------------

    〖下载地址失效反馈〗:
    如果下载地址失效,请尽快反馈给我们,我们尽快修复。反馈地址:https://www.itmsf.com/forum-66-1.html

    〖赞助VIP免学币下载全站资源〗:
    全站资源高清无密,每天更新,vip特权了解一下:https://www.itmsf.com/plugin.php?id=threed_vip

    〖客服24小时咨询〗:
    有任何问题,请点击右侧QQ咨询。


    IT码上发视频网 - 免责声明1、站内所有资源来源于网络用户分享,版权归原作者及其网站所有,本站不拥有此类资源的版权,不对任何资源负法律责任。
    2、本站仅为资源分享的平台,站内资源仅供会员参考和学习之用,不得用于其他非法用途,请下载后24小时内从您的电脑中彻底删除。否则,一切后果请用户自负。
    3、本站会员均可发帖,转载及发布的内容纯属会员个人意见,与本论坛立场无关。严禁在本站发布反动、色情、广告等不良信息及违法内容。
    4、IT码上发视频网作为网络服务提供者,由于网站信息量巨大,对非法转载、盗版行为的发生不具备充分的监控能力。但是当版权拥有者提出侵权指控并出示充分的版权证明材料时,IT码上发视频网负有移除非法转载和盗版内容以及停止继续传播的义务。
    5、IT码上发视频网在满足前款条件下采取移除等相应措施后不为此向原发布人承担违约责任或其他法律责任,包括不承担因侵权指控不成立而给原发布人带来损害的赔偿责任。
    6、IT码上发视频网为用户免费分享产生,如本帖侵犯到任何版权问题,请立即告知本站(1198889304@qq.com),本站将及时予与删除并致以最深的歉意
    7、IT码上发视频网管理员和版主有权不事先通知发贴者而删除本文
    8、凡登陆本网站或直接、间接使用本站资料者,应仔细阅读声明,一旦使用本站任何资源,即被视为您已接受本站的免责声明。
    回复

    使用道具 举报

  • TA的每日心情
    擦汗
    2022-7-27 07:08
  • 签到天数: 286 天

    [LV.8]以坛为家I

    13

    主题

    626

    帖子

    3291

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    3291
    发表于 2019-6-25 12:59:05 | 显示全部楼层
    激动人心,无法言表!【IT码上发视频学习网】太给力了!
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2020-5-13 01:45
  • 签到天数: 58 天

    [LV.5]常住居民I

    2

    主题

    171

    帖子

    2470

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    2470
    发表于 2019-7-2 23:59:03 | 显示全部楼层
    Thanks for sharing such good materials!
    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    2023-9-7 20:07
  • 签到天数: 56 天

    [LV.5]常住居民I

    4

    主题

    140

    帖子

    535

    积分

    初级工程师

    Rank: 2

    积分
    535
    发表于 2019-9-10 15:50:47 | 显示全部楼层
    【IT码上发视频学习网】加油,我们都看好你哦,快分享更多好资源吧!
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2023-11-23 11:34
  • 签到天数: 140 天

    [LV.7]常住居民III

    5

    主题

    239

    帖子

    2943

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    2943
    发表于 2019-10-21 15:00:37 | 显示全部楼层
    看到这样的好资源真是高兴!感谢【IT码上发视频学习网】的无私分享!
    回复

    使用道具 举报

  • TA的每日心情

    2024-3-19 10:31
  • 签到天数: 377 天

    [LV.9]以坛为家II

    7

    主题

    790

    帖子

    906

    积分

    初级工程师

    Rank: 2

    积分
    906
    发表于 2020-2-22 23:52:04 | 显示全部楼层
    淡定,淡定,淡定……【IT码上发视频学习网】就是这么666!
    回复

    使用道具 举报

  • TA的每日心情
    无聊
    2022-5-20 16:10
  • 签到天数: 16 天

    [LV.4]偶尔看看III

    0

    主题

    52

    帖子

    3142

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    3142
    发表于 2020-3-26 21:44:06 | 显示全部楼层
    果断收藏,必须的
    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    昨天 23:32
  • 签到天数: 116 天

    [LV.6]常住居民II

    6

    主题

    626

    帖子

    3234

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    3234
    发表于 2020-7-7 11:26:40 | 显示全部楼层
    无回帖,不论坛,这才是人道。支持【IT码上发视频学习网】!
    回复

    使用道具 举报

  • TA的每日心情

    2023-10-30 11:35
  • 签到天数: 211 天

    [LV.7]常住居民III

    0

    主题

    1510

    帖子

    4572

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    4572
    发表于 2020-7-24 21:26:12 | 显示全部楼层
    真是被感动的痛哭流涕……厉害了,我的【IT码上发视频学习网】!
    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    2024-1-30 08:18
  • 签到天数: 162 天

    [LV.7]常住居民III

    0

    主题

    420

    帖子

    3279

    积分

    永久VIP会员

    Rank: 3Rank: 3

    积分
    3279
    发表于 2020-9-9 13:33:50 | 显示全部楼层
    真是难得给力的资源啊!支持【IT码上发视频学习网】!
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    用心服务IT技术爱好者
    资源涵盖Java,PHP,C/C++,Python,Android,iOS
    微信小程序,人工智能,大数据云计算,web前端
    游戏开发,多媒体与设计,运维相关,产品相关
    等等等有价值的VIP资源
    QQ:1198889304
    周一至周日 9:00-21:00
    意见反馈:1198889304@qq.com

    申明:本站所有资源均来自于互联网用户分享,仅供参考和学习之用,不得传播及用于其他用途,请24小时内自行删除,本站不对任何资源负法律责任。如有侵犯您的版权,请联系客服发邮件到1198889304@qq.com联系删除相关内容!