StreamSet使用要点
16lz
2021-01-22
前提条件
已了解StreamSet基本操作和各个功能组件：origins、processors、Destinations、Executors
一、 导出全表数据到Hive
功能：将Mysql表全表导出到Hive，同时将类型都转换为String类型
1、 Field Type Converter 可用于转换字段类型
注： 如果转换前此pipline已经执行过，则需要修改目标表名或重启以清除缓存，否则会报 Type Mismatch 异常。例如：Type Mismatch for column 'id', Expected: BIGINT, Actual: STRING
2、导出全表数就需要使用Pipeline Finisher Executor ，以便导完后能够自动终止，否则会重复执行导入操作。
未完，待续
©著作权归作者所有：来自51CTO博客作者zhsusn的原创作品，如需转载，请注明出处，否则将追究法律责任更多相关文章
- 用数据分析大家最喜欢什么类型的抖音视频。
- JavaScript 中的强制类型转换[每日前端夜话0x4F]
- 为什么继承 Python 内置类型会出问题？！
- Python到底是强类型语言，还是弱类型语言？
- Python 3.10 的首个 PEP 诞生，内置类型 zip() 将迎来新特性
- Python 3.9 性能优化：更快的 list()、dict() 和 range() 等内置类
- 从Excel的数据类型说Python
- 一文学懂 TypeScript 的类型 [每日前端夜话0x39]
- 介绍几款 Python 类型检查工具