FlinkSQL中的回退更新-Retraction
16lz
2021-04-04
FlinkSQL中的回退更新-Retraction
群主王知无 大数据技术与架构
前言
如果你在使用FlinkSQL时出现如下的报错：
Table is not an append-only table. Use the toRetractStream() in order to handle add and retract messages.那么你就有必要了解一下Flink中的回退更新。
简介
通俗的讲"回退更新"就是传统数据里面的更新操作，也就是说Retract是流式计算场景下对数据更新的处理。
使用flinkSQL处理实时数据当我们把表转化成流的时候，需要用toAppendStream与toRetractStream这两个方法。稍不注意可能直接选择了toAppendStream。
区别
追加模式：只有在动态Table仅通过INSERT更改修改时才能使用此模式，即它仅附加，并且以前发出的结果永远不会更新。
如果更新或删除操作使用追加模式会失败报错。
缩进模式： 始终可以使用此模式。返回值是boolean类型。它用true或false来标记数据的插入和撤回，返回true代表数据插入，false代表数据的撤回。
按照官网的理解如果数据只是不断添加，可以使用追加模式，其余方式则不可以使用追加模式，而缩进模式侧可以适用于更新，删除等场景。具体的区别如下图所示：
通过上图可以清晰的看到两种方式的区别，当我们使用的sql语句包含：count() group by时，必须使用缩进模式。
举个例子
上面的例子输出结果如下：
前面数字相同的是同一组操作，true代表的是写入，false代表的是撤回。
关于FlinkSQL是如何实现回退更新的，我们会另开文章介绍。
更多相关文章
- 记一次线上问题排查与解决
- 【大数据成神之路】第一版更新完毕
- 什么是Zero-Copy？
- ensp起不来的原因汇总（长期更新）
- 【鸿蒙学院】鸿蒙IDE迎来重大更新，新特性足以让你尖叫
- Apache Kafka 2.0.0 正式发布，多项重要功能更新
- 即将发布的 Apache Spark 2.4 都有哪些新功能
- 关于OpenGL游戏全屏模式的设置
- 《游戏程序设计模式》 2.2 - 游戏循环