工作中同事使用sqoop 导入mysql表没问题,换成oracle就报错,让我帮忙看下,抽取oracle数据出现如下异常:
Caused by: java.sql.SQLException: Missing IN or OUT parameter at index:: 2
at oracle.jdbc.driver.OraclePreparedStatement.processCompletedBindRow(OraclePreparedStatement.java:1821)
at oracle.jdbc.driver.OraclePreparedStatement.addBatch(OraclePreparedStatement.java:10058)
at oracle.jdbc.driver.OraclePreparedStatementWrapper.addBatch(OraclePreparedStatementWrapper.java:1360)
at org.apache.sqoop.mapreduce.UpdateOutputFormat$UpdateRecordWriter.getPreparedStatement(UpdateOutputFormat.java:174)
at org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.execUpdate(AsyncSqlRecordWriter.java:153)
at org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.close(AsyncSqlRecordWriter.java:194)
... 8 more
sqoop 语句:
sqoop export --connect jdbc:oracle:thin:@xxxx:1521:lakalasit --table test --username xxx--password xxx --export-dir /user/hive/warehouse/xxx.db/xx_test --update-key mobile --update-mode allowinsert --columns mobile,sign --fields-terminated-by \t --input-lines-terminated-by \n --input-null-string '\\N' --input-null-non-string '\\N' -m 1
开始也是没看出sqoop哪里有问题,没办法为了弄清原因只能去看源码了,源码如下:
sqoop oracle导数获取表字段是根据表名从系统表ALL_TAB_COLUMNS 获取字段,而这张表的值都是大写,而sqoop语句中表名为小写导致查询不到字段,导致插入数据时出现如上异常。
如果--update-key ,--columns 中相同字段大小写不统一,会导致生成的sqoop 动态生成的java类异常编译失败。
下面是动态生成的java类部分,生成的字段属性中只会有一个mobile,所以下方代码会出现编译失败:
public int write(PreparedStatement __dbStmt, int __off) throws SQLException {
JdbcWritableBridge.writeString(MOBILE, 1 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_SIGN, 2 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_DEADLINE, 3 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(mobile, 4 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_SIGN, 5 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_DEADLINE, 6 + __off, 12, __dbStmt);
return 6;
}
public void write0(PreparedStatement __dbStmt, int __off) throws SQLException {
JdbcWritableBridge.writeString(MOBILE, 1 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_SIGN, 2 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_DEADLINE, 3 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(mobile, 4 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_SIGN, 5 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_DEADLINE, 6 + __off, 12, __dbStmt);
}
总结:sqoop 导入oracle 表名必须大写 --table 大写表名 --update-key --columns 字段必须统一大小写
项目报错:
java
.
sql
.
SQLException
: 索引中丢失 IN 或 OUT 参数:: 2
原因:是数据库中的字段类型与
SQL
语句中的类型不匹配造成的,后边的数字,代表第几个参数错误。
解决方法:找到对应参数配置或者
SQL
中这个参数的类型是否与数据库中匹配,更改后便解决了!
触发器代码如下:
create or replace trigger trigger_33zOtisNB5cZ_LMAhwtmDg
before insert or update of STUNAME
on T_STU for each row
begin
if inserting then
insert into table_33zOtisNB5cZ_LMAhwtmDg values ('in
SPRING BATCH用JdbcPagingItemReader 与
Oracle
PagingQueryProvider读取数据库的数据,当SELECT脚本无数据返回时报错:2019-08-23 18:05:53.803 ERROR 6542 --- [ scheduling-1] o.s.batch.core.step.AbstractStep : Encountered a...
在使用JDBC的时候遇到:
java
.
sql
.
SQLException
: 索引中丢失 IN 或 OUT 参数:: 3的解决办法:
这个错误是由于索引出现了问题造成的,后面的3告诉你是第三个参数出现了问题,回去检查是否第三个参数的索引写重复了或者是漏写了,把它改正过来,这个错误就可以解决啦。
简单记录下:
今天mybatis中遇到一个错误:
org.springframework.jdbc.Uncategorized
SQLException
: PreparedStatementCallback; uncategorized
SQLException
for
SQL
[INSERT INTO law_enforce_user(user_code,name,sex,birthday)
前面几篇文章详细介绍了
sqoop
全量增量导入数据到hive,比如文章(
sqoop
避免输入密码自动增量job脚本介绍)里面的案例和给出的其他相关文章的连接,笔者使用
sqoop
导入
oracle
数据到hive是为了做增量cube用,但是在前面的某篇文章
Sqoop
全量同步my
sql
/
Oracle
数据到hive中大家可以看到我导入的数据如果有时间字段的话我都是在hive指定成了string类型,虽然这样可以处理掉时间字段在hive为空的问题,但是在kylin创建增量cube时需要指定一个时间字段来做增量,所以上面那种