54 www.54tianzhisheng.cn / 2019-01-10 23:54 / by @zhisheng_blog

《从0到1学习Flink》—— Flink Data transformation(转换)

Flink 应用程序结构就是如上图所示：

1、Source: 数据源，Flink 在流处理和批处理上的 source 大概有 4 类：基于本地集合的 source、基于文件的 source、基于网络套接字的 source、自定义的 source。自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter Streaming API、Apache NiFi 等，当然你也可以定义自己的 source。

2、Transformation：数据转换的各种操作，有 Map / FlatMap / Filter / KeyBy / Reduce / Fold / Aggregations / Window / WindowAll / Union / Window join / Split / Select / Project 等，操作很多，可以将数据转换计算成你想要的数据。

赞过的人

@技术头条、 @zhisheng_blog

相关分享

co colobu.com / 2024-09-08 23:34

四种字符串和bytes互相转换方式的性能比较

在 Go 中，字符串和字节数组的互转性能是很多开发者关注的问题。本文详细对比了四种转换方式，包括新型 unsafe 方法和 Kubernetes 实现，并通过 Benchmark 测试揭示了它们的性能差异。想要优化你的 Go 项目性能？不妨看看这篇详细的实测分析！

查看详情

无图

li linux.cn / 2023-09-10 23:38

TransFLAC：将 FLAC 转换为有损格式

TransFLAC 是一款命令行应用，可将 FLAC 音频文件转换为指定质量级别的有损格式。它能使 FLAC 和存储有损格式的音乐库保持部分或完全同步。TransFLAC 还能同步目录结构中存储的专辑封面、专辑封底和文件夹文件。你可以在终端窗口中交互式运行 TransFLAC，也可以使用 cron 或 systemd 等应用安排其自动运行。

查看详情

无图

co colobu.com / 2022-09-12 22:38

在 Go 1.19 的开发中, string.SliceHeader和string.StringHeader经历了一个生死存亡的争斗，这两个类型一度被标记为弃用(deprecated),但是这两个类型经常用在 slice of byte 和 string 高效互转的场景中，如果被标记为弃用，但是目前还没有可替代的方法，所以这两个类型又把弃用标记去掉了，如无意外，它们也会在 Go 1.20 再次被标记为弃用。

查看详情

无图

aw www.awaimai.com / 2022-08-19 00:16

图解 Flink 滚动窗口、会话窗口和滑动窗口

Flink 作业中的窗口是指一种对无限数据流设置有限数据集，从而实现了处理无线数据流的机制。

窗口本身只是个划分数据集的依据，它并不存储数据。

当我们需要在时间窗口维度上对数据进行聚合时，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。

窗口主要有两种，一种基于时间的时间窗口（TimeWindow），一种基于数量的计数窗口（CountWindow），计数窗口与时间无关，本文主要讨论时间窗口。

查看详情

无图

in insights.thoughtworks.cn / 2021-09-23 11:10