Kettle设计中 判断的基准和多数据流时的主键唯一性
ETL工具里面都会有一个类似IF判断的组件 这类组件有时相当的好用 但要明确的时候所判断的字段和数据一定要在前端定义完整 且保证唯一性。
而且如果L端在装载数据的时候也要明确的是就是主键的ID取舍 多股数据流如果最终是需要写到同一张表的时候 一定要明确定义ID主键的唯一性和来源 在前端模拟抽取的时候 这个地方是重点。
以上这张ETL是今天新作的 分别对3个字段进行了三次比对和判断
A=B=C 如何如何 B≠C的时候如何 A是否=B 都会导致数据流的方向和主键组合的发生改变。
而且如果L端在装载数据的时候也要明确的是就是主键的ID取舍 多股数据流如果最终是需要写到同一张表的时候 一定要明确定义ID主键的唯一性和来源 在前端模拟抽取的时候 这个地方是重点。
以上这张ETL是今天新作的 分别对3个字段进行了三次比对和判断
A=B=C 如何如何 B≠C的时候如何 A是否=B 都会导致数据流的方向和主键组合的发生改变。

评论
发表评论