欧美成人午夜免费全部完,亚洲午夜福利精品久久,а√最新版在线天堂,另类亚洲综合区图片小说区,亚洲欧美日韩精品色xxx

扣丁學堂簡述2018大數(shù)據(jù)Kafka重置消費的Offset

2018-03-14 15:52:42 2404瀏覽

大數(shù)據(jù)Kafka重置消費的Offset有多少的小伙伴知道或者了解呢?別的不多說了，下面和扣丁學堂大數(shù)據(jù)培訓的小編一塊來了解一下大數(shù)據(jù)Kafka重置消費的Offset吧。

Kafka 0.8以后提供了Coordinator的角色，Coordinator除了可以來協(xié)調(diào)消費的group作balance外，還接受 OffsetCommit Request，用來存儲消費的offset到Kafka本身中，具體可參考Kafka的消息是如何被消費的。

Kafka 0.8以前的版本

絕大部分的offset應(yīng)該都是寫到zookeeper上，類似/consumers/[consumer group]/offsets/[topic]/[partition]

如果不想重啟消費進程就能reset，可以在zk上創(chuàng)建一個新節(jié)點，專門用來記錄需要reset的offset位軒，然后代碼里watch這個節(jié)點，獲取到需要重置到的offset值，然后在發(fā)送Fetch Request時使用這個新的offset值即可。

Kafka 0.10以后的版本

Kafka 引入了Timestamp，具體可參考Add a time based log index，這樣就可以方便的根據(jù)時間來獲取并回滾相應(yīng)的消費啦，真是太方便了

。

不僅如此 Kafka還提供了專門的工具來作Offset rest，具體不累述，請參考Add Reset Consumer Group Offsets tooling。

Kafka 0.9.0.1版本

這個版本你當然還是可以將offset保存在zk中，然后使用上面提到的方法重置。

我們現(xiàn)在重點來討論下將offset保存到kafka系統(tǒng)本身的，其實就是存到一個內(nèi)部的叫__consumer_offsets中,具體可參考Kafka的消息是如何被消費的。

Kafka提供自動reset的配置

auto.offset.reset

1.1 smallest : 自動重置到最小的offset，這個最小的offset不一定是0，因為msg可能會被過期刪除掉;

1.2 largest : 自動重置到最大的offset;

這個配置只有在當前無法獲取到有效的offset時才生效;

2.1 全新的group;

2.2 已存在的group，但很久沒有提交過offset，其保存在__consumer_offsets里的信息將被compact并最終清除掉;

需要手動reset時，并沒有像Kafka 0.10(11)版本那樣提供給我們工具，那怎么辦? 只能自已搞，下面提供一個思路：

確定需要重置到的offset:

1.1 如果想重置到最新或最舊的offset，可能通過kafka的命令行工具獲取:

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list [broker list] --topic [topic name] --time [-1:獲取最新offset, -2:獲取最舊offset]

1.2 也可以通過代碼來獲取，可以使用librdkafka的rd_kafka_query_watermark_offsets函數(shù)來獲取;

重置offset，以使用librdkafka提供的接口為例:

2.0 需要先停掉需重置的group的所有消費進程，可以使用rd_kafka_list_groups來獲取當前消費 gropu的詳情;

2.1 使用rd_kafka_topic_partition_list_set_offset來設(shè)置需要重置的partiton的offset;

2.2 調(diào)用rd_kafka_subscribe和rd_kafka_consumer_poll來等待group完成balance;

2.3 調(diào)用rd_kafka_commit來完成重置的offset的提交;

當然librdkafka和kafka api都提供了seek接口,也可以用來設(shè)置offset;

如果不是想重置到最新或最舊的offset, 而是想重置到某一時間點的offset, 該怎么辦?

這個版本不支持timestamp，如果不想對kafka源碼作改動的話，可以定時獲到group的消費offset，然后寫入到外部存儲系統(tǒng)， 比如redis;

需要重置時，從外部存儲系統(tǒng)根據(jù)時間點來獲到到當時的offset，由于是定時采樣，不一定能完全匹配上指定的時間點，但可以取與其最接近的時間點。

好了，關(guān)于大數(shù)據(jù)Kafka重置消費的Offset就暫且為大家分享這些，喜歡大數(shù)據(jù)想要學習大數(shù)據(jù)的小伙伴可以選擇口碑良好的扣丁學堂，扣丁學堂不僅有專業(yè)的老師和與時俱進的課程體系，還有大量的大數(shù)據(jù)視頻教程供學員觀看學習哦?？鄱W堂大數(shù)據(jù)學習群：209080834。

【關(guān)注微信公眾號獲取更多學習資料】

查看更多關(guān)于“大數(shù)據(jù)培訓資訊”的相關(guān)文章>>