现象:最近在进行开发kettle程序的时候,在本地环境测试的时候是没有问题的,但是当上线到生产环境,每次当数据同步到10000条的时候,程序就卡主,也不报错,就是不往下进行了。
问题分析:1、生产个本地是相同的环境,所以先排除环境问题的干扰
2、在本次进行测试的时候,由于只是测试器功能,并未对其性能进行测试,故使用了少量的几条数据,而生产环境中源表中的数据量是三万条,并且根据问题的现象,判定是是由于数据量引起的。
3、经过排查发现,kettle有一个默认的条数限制,默认情况下是10000,也就是说,一个集合中只能查询出来10000条数据。
问题解决:既然找到问题的原因,那接下来就是解决问题了。
打开kettle,转换页面,双击空白处,会出现上图所示的弹框,在杂项中会看到记录集合中的记录数,需要修改这一栏的数值,也就是解除同步条数的限制,可以大概评估一下自己的数据量,来合理的设置该值,设置完成之后,重新运行,成功。