Je to možné ve vzduchu, aby spustit jeden úkol na více pracovník uzly jsem.e spuštění úloh v distribuovaném způsobem

0

Otázka

Já používám spring batch vytvořit pracovní postup pro dávkové úlohy. Jediné dávkové úlohy trvá 2 hod kompletní(údaje mají být zpracovány ~ 1 milionů), takže se rozhodl kandidovat v distribuovaných způsobem, kde jeden úkol, který bude distribuován na více pracovník uzliny, tak to může provést v krátkém čase. Další pracovní místa (všechny pracují v distribuovaných způsobem) ve workflow je třeba spustit v sekvenčním způsobem jednu po druhé. Úlohy jsou multi uzlu distribuované úlohy(master/slave architektura), které je třeba spustit jeden po druhém.

Teď jsem byl vzhledem k nasazení pracovního postupu na proudění vzduchu. Takže, zatímco zkoumání, že jsem nemohl najít žádný způsob, jak spustit jediný úkol, který distribuuje mezi více stroji. Je možné, že v proudění vzduchu?

airflow celery kubernetes
2021-11-23 12:18:51
1

Nejlepší odpověď

1

Ano, můžete vytvořit úkol pomocí Spark framework. Spark umožňuje zpracovávat data na více uzlů v distribuovaném módu.

Pak můžete použít SparkSubmitOperator sladit úkol ve vašem DAG.

2021-11-23 16:03:43

Ve skutečnosti, jsme pomocí spring batch procesu 1 milion dataset. Myslím, že Jiskra může zvládnout, jak to je Jiskra funkce rozdělit úkol na více uzlu a pak zpracovat. Ale v jarní várka není vnitřní vlastnost rámce. Dělá proudění Vzduchu , poskytovat žádné takové funkce, kde jeden úkol může být distribuovány přes více uzlů. O vzájemnou komunikaci mezi uzly a distribuované zpracování, která bude zpracována jarní várka s pomocí JMS fronty
Ankit Gautam

V jiných jazycích

Tato stránka je v jiných jazycích

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................