Kafka Proud oddíl distribuce

Question 1

V Kafka Stream, stream tasks bude distribuován mezi instancemi v multi-instance(a tedy partitions bude distribuován). Na druhou stranu, jeden z rozdílů mezi KTable a GlobalKTable je to KTable distribuuje partitions mezi instancemi(od Zvládnutí Kafka Proudy a ksqlDB).

Teď nemůžu pochopit, že KTable nakonec způsobí rozdělení nebo Stream Task nebo oba(Pokud oba, tak jak)?

Co se stalo, když jsme KTable v naší topology a více stream task(zdroj procesor na multi-partition téma) v multi-instance prostředí?

Question 2

Určitě si jistý, jestli jsem plně pochopit otázku. Možná docs pomoci vnést trochu světla: https://docs.confluent.io/platform/current/streams/architecture.html

A KTable (a KStream) je logické abstrakce. Když zavoláte streamsBuilder.build() to budou sestaveny do Topology s Processors. Připojen Processors (to se může stát úložiště připojené) jsou seskupeny do dílčích topologií, a sub-topologie jsou spouštěny úkoly (základny na počtu oddílů).

Pro streamsBuilder.table("topic"), sestaven Topology je:

topic -> source -> processor(state)

Pro každé téma partition, úkol bude vytvořen zpracování jednoho oddílu, a tak KTable implicitně je rozdělen taky.

Matthias J. Sax · Answer 1 · 2021-12-05T21:26:26

Určitě si jistý, jestli jsem plně pochopit otázku. Možná docs pomoci vnést trochu světla: https://docs.confluent.io/platform/current/streams/architecture.html

A KTable (a KStream) je logické abstrakce. Když zavoláte streamsBuilder.build() to budou sestaveny do Topology s Processors. Připojen Processors (to se může stát úložiště připojené) jsou seskupeny do dílčích topologií, a sub-topologie jsou spouštěny úkoly (základny na počtu oddílů).

Pro streamsBuilder.table("topic"), sestaven Topology je:

topic -> source -> processor(state)

Pro každé téma partition, úkol bude vytvořen zpracování jednoho oddílu, a tak KTable implicitně je rozdělen taky.

Četl jsem to předtím, ale já nemohl pochopit. Přečtu si to znovu. Díky @Matthias j. Sax

Kafka Proud oddíl distribuce

Otázka

Nejlepší odpověď

V jiných jazycích

Tato stránka je v jiných jazycích

Populární v této kategorii

Oblíbené položky v této kategorii