添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

工作中同事使用sqoop 导入mysql表没问题,换成oracle就报错,让我帮忙看下,抽取oracle数据出现如下异常:

Caused by: java.sql.SQLException: Missing IN or OUT parameter at index:: 2
at oracle.jdbc.driver.OraclePreparedStatement.processCompletedBindRow(OraclePreparedStatement.java:1821)
at oracle.jdbc.driver.OraclePreparedStatement.addBatch(OraclePreparedStatement.java:10058)
at oracle.jdbc.driver.OraclePreparedStatementWrapper.addBatch(OraclePreparedStatementWrapper.java:1360)
at org.apache.sqoop.mapreduce.UpdateOutputFormat$UpdateRecordWriter.getPreparedStatement(UpdateOutputFormat.java:174)
at org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.execUpdate(AsyncSqlRecordWriter.java:153)
at org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.close(AsyncSqlRecordWriter.java:194)
... 8 more

sqoop 语句:

sqoop export --connect jdbc:oracle:thin:@xxxx:1521:lakalasit --table test --username xxx--password xxx --export-dir /user/hive/warehouse/xxx.db/xx_test --update-key mobile --update-mode allowinsert --columns mobile,sign --fields-terminated-by \t --input-lines-terminated-by \n --input-null-string '\\N' --input-null-non-string '\\N' -m 1

开始也是没看出sqoop哪里有问题,没办法为了弄清原因只能去看源码了,源码如下:

sqoop oracle导数获取表字段是根据表名从系统表ALL_TAB_COLUMNS 获取字段,而这张表的值都是大写,而sqoop语句中表名为小写导致查询不到字段,导致插入数据时出现如上异常。

如果--update-key ,--columns 中相同字段大小写不统一,会导致生成的sqoop 动态生成的java类异常编译失败。

下面是动态生成的java类部分,生成的字段属性中只会有一个mobile,所以下方代码会出现编译失败:

public int write(PreparedStatement __dbStmt, int __off) throws SQLException {
JdbcWritableBridge.writeString(MOBILE, 1 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_SIGN, 2 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_DEADLINE, 3 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(mobile, 4 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_SIGN, 5 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_DEADLINE, 6 + __off, 12, __dbStmt);
return 6;
}
public void write0(PreparedStatement __dbStmt, int __off) throws SQLException {
JdbcWritableBridge.writeString(MOBILE, 1 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_SIGN, 2 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_DEADLINE, 3 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(mobile, 4 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_SIGN, 5 + __off, 12, __dbStmt);
JdbcWritableBridge.writeString(REUSABLE_DEADLINE, 6 + __off, 12, __dbStmt);
}

总结:sqoop 导入oracle 表名必须大写  --table 大写表名   --update-key  --columns 字段必须统一大小写

项目报错: java . sql . SQLException : 索引中丢失  IN 或 OUT 参数:: 2 原因:是数据库中的字段类型与 SQL 语句中的类型不匹配造成的,后边的数字,代表第几个参数错误。 解决方法:找到对应参数配置或者 SQL 中这个参数的类型是否与数据库中匹配,更改后便解决了! 触发器代码如下: create or replace trigger trigger_33zOtisNB5cZ_LMAhwtmDg before insert or update of STUNAME on T_STU for each row begin if inserting then insert into table_33zOtisNB5cZ_LMAhwtmDg values ('in SPRING BATCH用JdbcPagingItemReader 与 Oracle PagingQueryProvider读取数据库的数据,当SELECT脚本无数据返回时报错:2019-08-23 18:05:53.803 ERROR 6542 --- [ scheduling-1] o.s.batch.core.step.AbstractStep : Encountered a... 在使用JDBC的时候遇到: java . sql . SQLException : 索引中丢失 IN 或 OUT 参数:: 3的解决办法: 这个错误是由于索引出现了问题造成的,后面的3告诉你是第三个参数出现了问题,回去检查是否第三个参数的索引写重复了或者是漏写了,把它改正过来,这个错误就可以解决啦。 简单记录下: 今天mybatis中遇到一个错误: org.springframework.jdbc.Uncategorized SQLException : PreparedStatementCallback; uncategorized SQLException for SQL [INSERT INTO law_enforce_user(user_code,name,sex,birthday)  前面几篇文章详细介绍了 sqoop 全量增量导入数据到hive,比如文章( sqoop 避免输入密码自动增量job脚本介绍)里面的案例和给出的其他相关文章的连接,笔者使用 sqoop 导入 oracle 数据到hive是为了做增量cube用,但是在前面的某篇文章 Sqoop 全量同步my sql / Oracle 数据到hive中大家可以看到我导入的数据如果有时间字段的话我都是在hive指定成了string类型,虽然这样可以处理掉时间字段在hive为空的问题,但是在kylin创建增量cube时需要指定一个时间字段来做增量,所以上面那种