Apacke Kafka Posluchač Závity

Question 1

Řekněme, že mám 50 Kafka Témat, každý s 3 oddíly, to je celkem 150 oddíly. Pokud mám KafkaListener/Spotřebitelské nakonfigurován pro každý z těchto 150 příčky (vzhledem k vysokému objemu na každý oddíl), znamená to, že mám 150 posluchačů běží. Z toho, co vím, každý posluchač dostane jeho vlastní vlákno. Takže to znamená, že tam bude 150 aktivních podprocesů v tomto scénáři? To se zdá jako hodně. Existuje nějaký způsob, jak bych mohl omezit to na max počet vláken v čase(řekněme 20)?

Question 2

Kafka vždy dává jeden oddíl je dat do jednoho spotřebitele závit

Pro omezení vlákno počítat do 20 s 150 oddíly, můžete nastavit souběžnosti k 8 které by účinně vytvořit 8 samostatných spotřebitelů případech a omezit počet podprocesů, aby maximálně <19 (150/8).

To je další zásobník příspěvek na téma, které vysvětluje to trochu více pro nastavení souběžnosti ve vašem kafka posluchač továrny. Také to je další slušný zdroj, který vysvětluje některé pojmy kolem kafky témata a oddíly.

Question 3

Pokud chcete maximalizovat spotřebu, ano, budete potřebovat 150 consumer threads na 150 partitions (1 spotřebitelských vlákno na oddíl). V případě, že máte pouze 20, nemůžete chtít, aby maximalizovat spotřebu, místo toho, nyní 1 spotřebitel je odpovědný za náročné například 150/20=7 partitions. Je to kompromis.
Nebudete chtít, vaše aplikace spotřebovává 50 topics v době,. To vede k měřítku problém. Řekněme teď jedno téma potřebuje zvýšit počet svých partitions od 3 do 6, horizontálně škálovat své aplikace od 1 do 2 případech, což znamená, že ze 150 consumers 300 consumers a tam jsou jen 150 + (6-3) = 153 aktivní consumersostatní stát v nečinnosti.

duppydodah · Answer 1 · 2021-11-24T04:47:11

Kafka vždy dává jeden oddíl je dat do jednoho spotřebitele závit

Pro omezení vlákno počítat do 20 s 150 oddíly, můžete nastavit souběžnosti k 8 které by účinně vytvořit 8 samostatných spotřebitelů případech a omezit počet podprocesů, aby maximálně <19 (150/8).

To je další zásobník příspěvek na téma, které vysvětluje to trochu více pro nastavení souběžnosti ve vašem kafka posluchač továrny. Také to je další slušný zdroj, který vysvětluje některé pojmy kolem kafky témata a oddíly.

Linh Vu · Answer 2 · 2021-11-25T03:34:09

Pokud chcete maximalizovat spotřebu, ano, budete potřebovat 150 consumer threads na 150 partitions (1 spotřebitelských vlákno na oddíl). V případě, že máte pouze 20, nemůžete chtít, aby maximalizovat spotřebu, místo toho, nyní 1 spotřebitel je odpovědný za náročné například 150/20=7 partitions. Je to kompromis.
Nebudete chtít, vaše aplikace spotřebovává 50 topics v době,. To vede k měřítku problém. Řekněme teď jedno téma potřebuje zvýšit počet svých partitions od 3 do 6, horizontálně škálovat své aplikace od 1 do 2 případech, což znamená, že ze 150 consumers 300 consumers a tam jsou jen 150 + (6-3) = 153 aktivní consumersostatní stát v nečinnosti.

Apacke Kafka Posluchač Závity

Otázka

V jiných jazycích

Tato stránka je v jiných jazycích

Populární v této kategorii

Oblíbené položky v této kategorii