一.容错机制 在Flink中，有一套完整的容错机制来保证故障后的恢复，其中最重要的就是检查点。 1.1 检查点（Checkpoint） 在流处理中，我们可以用存档读档的思路，将之前某个时间点的所有状态保存下来，这份存档就被称为“检查点（Ck...

点评：本质是减少内存消耗的一种方式，以时间或者计算换内存 gradient_checkpointing（梯度检查点）是一种用于减少深度学习模型中内存消耗的技术。在训练深度神经网络时，反向传播算法需要在前向传播和反向传播之间存储中间计算结果，...

一步一个脚印，一天一道大数据面试题。 在流式大数据处理框架中，Exactly-Once 语义对于确保每条数据精确地只被消费一次（避免重复读取和丢失读取）非常重要。下面将介绍 Flink 是如何实现 Exactly-Once 语义的。 尽管在...

【Flink-Kafka-To-ClickHouse】使用 Flink 实现 Kafka 数据写入 ClickHouse1）导入相关依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j....

在Flink生产环境中，可能会遇到一些常见的问题。下面简单的介绍几个常见问题，并且提供一些解决方法，来帮助你更好地应对这些问题。 故障转移和高可用性 Flink提供了故障转移和高可用性机制，但在配置和使用时可能会遇到问题。如果任务无法从故障...

前言         最近已经放假了，但是一直在忙一个很重要的自己的一个项目，用 JavaFX 和一个大数据组件联合开发一个功能，也算不枉我学了一次 JavaFX，收获很大，JavaFX 它作为一个 GUI 开发语言，本质还是 Java，所...