1. 首页
  2. 区块链
  3. BlueMix
  4. 使用Kettle增量抽取MongoDB数据实践

使用Kettle增量抽取MongoDB数据实践

上传者: 2020-12-16 23:47:12上传 PDF文件 90.69KB 热度 13次
需求: 增量抽取MongoDB数据并加载到MSSQL 由于不能使用关系型数据库的自定义SQL, 所以主要遇到的问题有: 1、增量时间的查询和参数控制 2、ETL的批次信息和调用参数的写入 第一个问题的解决如下: 使用命名参数在Query页中进行过滤, 一开始会担心${}的引用方式会用Mongo的语法冲突, 测试后发现运行正常 第二个问题: 先为结果增加常量值, 如常量值固定则直接写死, 不固定的常量值先设置为空串, 在后面使用字符串替换组件传入命名参数, 后用字段选择把空串的常量值移除
下载地址
用户评论