博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用sqoop将oracle数据导入hive或hbase,mysql类似
阅读量:4134 次
发布时间:2019-05-25

本文共 1230 字,大约阅读时间需要 4 分钟。

 

一、从oracle导入hive(mysql类似)

准备工作:

  1. 安装hive,并建好database;
  2. 安装sqoop,并将oracle驱动包放到sqoop安装路径下的lib目录下。

完成以上步骤即可执行导入语句:

sqoop import --connect jdbc:oracle:thin:@192.168.1.100:1521:orcl --username ROOT --password 123456 --table TB_TEST  -m 1 --hive-import --hive-database db_test;

 

参数说明:

-import:导入名录;

--connect jdbc:oracle:thin:@192.168.1.100:1521:orcl:数据库连接语句;

--username –password:数据库用户名、密码;

--table:数据库表名,必须大写

--hive-database hive:数据库名;

--hive-table hive:表名;

-m:并行map task数量 

 

 

二、从oracle导入hbase(mysql类似)

--指定rowkey方式导入

sqoop import --append --connect jdbc:oracle:thin:@172.16.12.11:1521/rybtdb --username user_test --password user_test --table T_SYS_DICT  --hbase-table WHG2:TB1 --hbase-row-key ID --column-family f1

 

--不指定rowkey方式导入

sqoop import --append --connect jdbc:oracle:thin:@192.168.1.100:1521:orcl --username root --password 123456 --table TB_TEST  --hbase-table WHG:TB_TEST --column-family colum_test

 

参数说明:

--connect:数据库连接串;

--username --password:数据库用户名、密码;

--table:数据库表名,必须大写

-m:并行执行map task的数量,默认4

--split-by:并行导入过程中,划分数据段的依据字段;

--hbase-table:hbase表名;

--hbase-create-table:如果指定的hbase表名不存在,则新建表;

--column-family:hbase列族名称;

--hbase-row-key:hbase的rowkey,可以指定一个或多个字段作为row key,组合行键参数中的字段名都必须大写,且用单引号或双引号括起来;该参数也可以不使用,默认源数据库的主键作为rowkey

转载地址:http://fqivi.baihongyu.com/

你可能感兴趣的文章
(python版)《剑指Offer》JZ01:二维数组中的查找
查看>>
Spring MVC中使用Thymeleaf模板引擎
查看>>
PHP 7 的五大新特性
查看>>
深入了解php底层机制
查看>>
PHP中的stdClass 【转】
查看>>
XHProf-php轻量级的性能分析工具
查看>>
OpenCV gpu模块样例注释:video_reader.cpp
查看>>
就在昨天,全球 42 亿 IPv4 地址宣告耗尽!
查看>>
Mysql复制表以及复制数据库
查看>>
Linux分区方案
查看>>
如何使用 systemd 中的定时器
查看>>
git命令速查表
查看>>
linux进程监控和自动重启的简单实现
查看>>
OpenFeign学习(三):OpenFeign配置生成代理对象
查看>>
OpenFeign学习(四):OpenFeign的方法同步请求执行
查看>>
OpenFeign学习(六):OpenFign进行表单提交参数或传输文件
查看>>
Ribbon 学习(二):Spring Cloud Ribbon 加载配置原理
查看>>
Ribbon 学习(三):RestTemplate 请求负载流程解析
查看>>
深入理解HashMap
查看>>
XML生成(一):DOM生成XML
查看>>