大数据协作框架Sqoop+Flume+Oozie+Hue教程

itmsf

大数据协作框架Sqoop+Flume+Oozie+Hue教程

〖课程介绍〗:
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
Oozie是一种框架,它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中。本文是对该框架的基本介绍。
Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。


〖课程目录〗:
    ├─第1章 数据转换工具Sqoop
│      1.02_02_01_01 大数据Hadoop 2.x协作.框架的功能
│      1.02_02_01_02 Sqoop 功能概述和版本、架构讲解
│      1.02_02_01_03 Sqoop 使用要点（核心）及企业版本讲解.mp4
│      1.02_02_01_04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive伪分布式环境
│      1.02_02_01_05 Sqoop 1安装及基本使用讲解
│      1.02_02_01_06 使用Sqoop导入数据到HDFS及本质分析
│      1.02_02_01_07 Sqoop导入数据设置数据存储格式parquet
│      1.02_02_01_08 Sqoop导入数据使用query讲解
│      1.02_02_01_09 Sqoop导入数据设置数据压缩为sanppy
│      1.02_02_01_10 对snappy压缩数据结合Hive进行数据的导入与分析
│      1.02_02_01_11 Sqoop导入数据时两种增量方式导入
│      1.02_02_01_12 Sqoop导入数据direct使用讲解
│      1.02_02_01_13 Sqoop导出数据Export使用讲解
│      1.02_02_01_14 Sqoop如何将RDBMS表中的数据导入到Hive表中
│      1.02_02_01_15 Sqoop如何导出Hive表中数据到RDBMS中
│      1.02_02_01_16 Sqoop使用--options-file进行运行任务讲解
│      1.02_02_01_17 回顾复习Sqoop的使用及布置作业（oracle与hadoop数据的import）
│      
├─第2章 文件收集框架Flume
│      2.02_02_02_01 Flume功能概述讲解
│      2.02_02_02_02 Flume架构设计讲解
│      2.02_02_02_03 Flume Agent编程及flume-ng命令使用讲解
│      2.02_02_02_04 Flume第一个Agent应用编写（实时读取数据）
│      2.02_02_02_05 Flume Agent三大组件Source、Channe、Sink常用类型讲解
│      2.02_02_02_06 Flume第二个Agent应用讲解（实时监控读取日志数据，存储hdfs文件系统）
│      2.02_02_02_07 Flume收集数据存储hdfs上的一些高级配置.mp4
│      2.02_02_02_08 Flume在企业大数据仓库中数据收集架构
│      2.02_02_02_09 Flume收集数据存储hdfs上的企业需求讲解
│      2.02_02_02_10 Flume实在案例讲解（监控日志目录日志数据，实时抽取之hdfs系统上）
│      
├─第3章 任务调度框架Oozie
│      3.02_02_03_01 工作流调度框架Oozie功能初步认识
│      3.02_02_03_02 Linux Crontab调度讲解
│      3.02_02_03_03 大数据Hadoop常用三种调度框架讲解
│      3.02_02_03_04 Oozie 功能架构及三大Server讲解
│      3.02_02_03_05 Oozie安装部署讲解一
│      3.02_02_03_06 Oozie安装部署讲解二
│      3.02_02_03_07 Oozie案例运行MapReduce Wordflow讲解
│      3.02_02_03_08 如何定义Ooozie Workflow讲解
│      3.02_02_03_09 Oozie Workflow中MapReduce Action定义讲解
│      3.02_02_03_10 如何编写新API中MapReduce Action讲解
│      3.02_02_03_11 编写Oozie Workflow的MapReduce Action并运行
│      3.02_02_03_12 回顾复习Oozie Workflow编程要点及MapReduce Action的使用
│      3.02_02_03_13 Oozie WorkFlow中Hive Action使用案例讲解一
│      3.02_02_03_14 Oozie WorkFlow中Hive Action使用案例讲解二
│      3.02_02_03_15 Oozie WorkFlow中Sqoop Action使用案例讲解一
│      3.02_02_03_16 Oozie WorkFlow中Sqoop Action使用案例讲解二
│      3.02_02_03_17 Oozie WorkFlow中Shell Action使用案例讲解
│      3.02_02_03_18 Oozie WorkFlow作业布置
│      3.02_02_03_19 Oozie Coordinator调度讲解及系统时区配置与定时触发两种配置方式
│      3.02_02_03_20 Oozie Coordinator配置定时触发案例演示
│      3.02_02_03_21 Oozie Coordinator·配置调度MapReduce· WordCount程序
│      3.02_02_03_22 Oozie企业使用案例（Hive Action、Sqoop Actoion及定时调度）讲解一
│      3.02_02_03_23 Oozie企业使用案例（Hive Action、Sqoop Actoion及定时调度）讲解二
│      3.02_02_03_24 Oozie企业使用案例（Hive Action、Sqoop Actoion及定时调度）讲解三
│      3.02_02_03_25 Oozie中Coordinator中的数据可用性及Bundle讲解(1)
│      3.02_02_03_26 Oozie中Coordinator中的数据可用性及Bundle讲解(2)
│      
└─第4章 大数据WEB工具Hue
        4.02_02_04_01 Hue架构功能讲解
        4.02_02_04_02 Hue编译安装讲解
        4.02_02_04_03 Hue集成HDFS、YARN配置功能演示讲解
        4.02_02_04_04 Hue集成Hive配置讲解（HiveServer2及MetaStore）
        4.02_02_04_05 Hue集成RDBMS配置讲解
        4.02_02_04_06 Hue集成Oozie配置讲解及作业布置   

〖百度网盘下载地址〗:

游客，如果您要查看本帖隐藏内容请回复

---------------------------------华丽分割线--------------------------------华丽分割线-------------------华丽分割线-------------------------华丽分割线----------------

〖下载地址失效反馈〗:
如果下载地址失效，请尽快反馈给我们，我们尽快修复。反馈地址：https://www.itmsf.com/forum-66-1.html

〖赞助VIP免学币下载全站资源〗:
全站资源高清无密，每天更新，vip特权了解一下：https://www.itmsf.com/plugin.php?id=threed_vip

〖客服24小时咨询〗:
有任何问题，请点击右侧QQ咨询。

vnetoolxw

激动人心，无法言表！【IT码上发视频学习网】太给力了！

ille

Thanks for sharing such good materials!

skywp

【IT码上发视频学习网】加油，我们都看好你哦，快分享更多好资源吧！

weilin421

看到这样的好资源真是高兴！感谢【IT码上发视频学习网】的无私分享！

tianxiaguixin52

淡定，淡定，淡定……【IT码上发视频学习网】就是这么666！

zhuxiaokun

果断收藏，必须的

cms0315

无回帖，不论坛，这才是人道。支持【IT码上发视频学习网】！

hpc19950723

真是被感动的痛哭流涕……厉害了，我的【IT码上发视频学习网】！

iyuohz

真是难得给力的资源啊！支持【IT码上发视频学习网】！