成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

面試官:Kafka中的key有什么用?

開發(fā) 架構(gòu)
對于某些應(yīng)用場景,消費者可以根據(jù)消息的鍵來進行過濾或聚合操作。例如,在實時數(shù)據(jù)分析場景中,可能需要對具有相同鍵的消息進行分組處理。

我們在使用 Kafka 時,最簡單、最常用的方式是只設(shè)置 topic(主題)和 value(消息體),如下所示:圖片這樣的話獲取消息的代碼也很簡單,如下所示:

@KafkaListener(topics = "mytopic", groupId = "my-group")
public void listen(String data) {
    System.out.println("監(jiān)聽到消息:" + data);
}

但是,除了我們可以設(shè)置和傳遞 topic 和 value 之外,我們還可以傳遞 key,如下圖所示:圖片那問題來了,發(fā)送消息時設(shè)置這個 key 有什么用呢?

key的作用

發(fā)送消息時,設(shè)置 key 的作用如下:圖片

1.決定分區(qū)

當(dāng)生產(chǎn)者發(fā)送消息時,如果指定了 key,Kafka 會根據(jù) key 的 hash 值來決定這條消息應(yīng)該發(fā)送到哪個分區(qū)。

如果沒有指定 key,Kafka 會采用輪詢(早期版本)或隨機(最新版本)的方式將消息分配到其他分區(qū)中。

分區(qū)的具體實現(xiàn)源碼在 DefaultPartitioner 中 partition 方法中體現(xiàn),核心源碼如下:

public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster, int numPartitions) {
    return keyBytes == null ? this.stickyPartitionCache.partition(topic, cluster) : BuiltInPartitioner.partitionForKey(keyBytes, numPartitions);
}

指定 key 之后的分區(qū)實現(xiàn)代碼如下:

public static int partitionForKey(byte[] serializedKey, int numPartitions) {
    return Utils.toPositive(Utils.murmur2(serializedKey)) % numPartitions;
}

以上源碼的大概含義是:使用 MurmurHash2 算法對字節(jié)數(shù)組 serializedKey 進行哈希運算,并將其結(jié)果轉(zhuǎn)換為正數(shù),然后對 numPartitions 取模,以確定鍵在分區(qū)中的位置,返回值表示鍵所在的分區(qū)編號。

所以,從上述源碼可以看出,發(fā)送消息如果設(shè)置了 key 之后,會將相同 key 放到同一個分區(qū)中。

2.保證消息順序

在 Kafka 中,同一個分區(qū)中的消息是有序的。而相同的 key,根據(jù)上面的分區(qū)算法可知,它們會存放到同一個分區(qū),這樣就能保證消息的有序性了。

3.消息過濾

對于某些應(yīng)用場景,消費者可以根據(jù)消息的鍵來進行過濾或聚合操作。例如,在實時數(shù)據(jù)分析場景中,可能需要對具有相同鍵的消息進行分組處理。

Kafka 設(shè)置了 key 之后,可以通過以下方式實現(xiàn)消息過濾,如下代碼所示:

@KafkaListener(topics = "topicName", groupId = "groupId")
public void listen(String message, ConsumerRecord<?,?> record) {
    Object key = record.key();
    if (key instanceof String && ((String) key).matches("regexPattern")) {
        // 處理滿足正則表達式條件的消息
    }
}

也就是,我們在接收到消息之后,通過對 key 的正則匹配實現(xiàn)消息的過濾和聚合等操作。

責(zé)任編輯:武曉燕 來源: 磊哥和Java
相關(guān)推薦

2020-04-23 14:09:13

URI挖坑前端

2021-07-06 07:27:45

React元素屬性

2024-03-20 15:12:59

KafkaES中間件

2022-05-05 07:38:32

volatilJava并發(fā)

2025-04-01 00:00:00

項目CRUD單例模式

2023-06-05 07:57:53

Kafka消息事務(wù)消息

2021-12-20 10:30:33

forforEach前端

2023-02-17 08:10:24

2024-02-19 00:00:00

Python?starmap函數(shù)

2021-12-10 12:01:37

finalfinallyfinalize

2024-04-03 15:33:04

JWTSession傳輸信息

2024-09-09 08:30:56

代碼

2021-11-30 07:44:50

FinalFinallyFinalize

2024-09-19 08:42:43

2024-04-15 00:01:00

STWJava垃圾

2023-02-20 08:08:48

限流算法計數(shù)器算法令牌桶算法

2023-12-13 15:28:32

Python工具數(shù)據(jù)

2024-04-19 08:23:06

2024-02-26 14:07:18

2021-09-07 10:44:33

Java 注解開發(fā)
點贊
收藏

51CTO技術(shù)棧公眾號

主站蜘蛛池模板: 羞羞网站在线免费观看 | 一二三区av | 精品欧美一区二区精品久久久 | 欧美日韩黄色一级片 | 国产成人精品一区二三区在线观看 | 精品一区二区三区四区 | 99欧美精品 | 黄色av网站在线观看 | 国产成人精品网站 | 亚洲精品成人网 | 国产目拍亚洲精品99久久精品 | 91视频大全| 色婷婷综合久久久中文字幕 | 亚洲高清在线观看 | 91精品国产乱码久久久久久久久 | 不卡视频在线 | 久久aⅴ乱码一区二区三区 亚洲国产成人精品久久久国产成人一区 | av免费网址 | 成人免费区一区二区三区 | 日本精品视频在线观看 | 久久久性色精品国产免费观看 | 亚洲一区二区三区四区五区午夜 | 亚洲黄色成人网 | 欧洲高清转码区一二区 | 亚洲资源在线 | 日韩精品欧美精品 | 日本黄色大片免费 | 亚洲精品短视频 | 激情五月综合 | 精品国产91久久久久久 | 三级在线免费 | 精品国产一区二区三区久久影院 | 色综合天天天天做夜夜夜夜做 | 亚洲天堂男人的天堂 | 在线观看亚洲精品视频 | 成人在线a| 99爱在线视频 | 国产一区二区黑人欧美xxxx | 视频在线h | 久久男人| 人人叉|