end-to-end exactly-once

exactly-once只能保證Flink內(nèi)部狀態(tài)的一致性。而這個語義主要依賴Checkpoint機制。

在外部交互的一致性則無法保證，端到端的Exactly-Once問題是分布式系統(tǒng)領(lǐng)域最具挑戰(zhàn)性的問題之一，很多框架都在試圖攻克這個難題。

Flink的exactly-once主要依賴Source和Sink提供的一些功能。Source需要支持重發(fā)功能，Sink需要采用一定的數(shù)據(jù)寫入技術(shù)，比如冪等寫或事務(wù)寫。

對于Source重發(fā)功能，只要我們記錄了輸入的偏移量Offset，故障重啟后數(shù)據(jù)發(fā)送方從該Offset重新開始發(fā)送數(shù)據(jù)即可。Kafka的Producer除了發(fā)送數(shù)據(jù)，還會將數(shù)據(jù)持久化寫到日志文件中。如果下游應用重啟，Producer根據(jù)下游提供的Offset，從持久化的文件中定位到數(shù)據(jù)，可以重新開始向下游發(fā)送數(shù)據(jù)。

Source的重發(fā)會導致一條數(shù)據(jù)被處理多次，為了保證只對下游系統(tǒng)產(chǎn)生一次影響，還需要依賴Sink的冪等寫或事務(wù)寫。

富函數(shù)

“富函數(shù)”是DataStream API提供的一個函數(shù)類的接口，所有Flink函數(shù)類都有其Rich版本。它與常規(guī)函數(shù)的不同在于，可以獲取運行環(huán)境的上下文，并擁有一些生命周期方法，所以可以實現(xiàn)更復雜的功能。

富函數(shù)舉例

**RichMapFunction **

**RichFlatMapFunction **

**RichFilterFunction **

Rich Function有一個生命周期的概念。典型的生命周期方法有：

• open()方法是rich function的初始化方法，當一個算子例如map或者filter被調(diào)用之前open()會被調(diào)用。

這里可以做一些初始化工作，例如建立一個和數(shù)據(jù)源的連接

• **close()方法是生命周期中的最后一個調(diào)用的方法，做一些清理工作。 **

這里做一些清理工作，例如斷開和數(shù)據(jù)源的連接。

• getRuntimeContext()方法提供了函數(shù)的RuntimeContext的一些信息，例如函數(shù)執(zhí)行的并行度，任務(wù)的名字，以及state狀態(tài)

其他的和FlatMapFunction算子的重寫方法類似。

以上就是flink進階富函數(shù)生命周期介紹的詳細內(nèi)容，更多關(guān)于flink 富函數(shù)生命周期的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論