V práci mám Scala Databricks Notebook, který používá mnoho knihoven dovoz, a to jak z Maven a z některých JAR soubory. Problém mám, je, že když mám v plánu pracovních míst na tomto Notebooku, je někdy selže (zcela náhodně, ale většinou 1 čas nad 10 běží), protože to spustí buňky před všechny knihovny jsou nainstalovány. Tedy úloha se nezdaří a musím ji spustit ručně. Takové chování z tohoto Databricks "produktu", je daleko od bytí profesionální, jako já, nemůže ji používat ve výrobě, protože to někdy selže.
Snažil jsem se dát Thread.Sleep() 1 minutu nebo tak předtím, než všechny moje dovoz, ale to nic nemění. Pro Python existuje dbutils.library.installPyPI("library-name") ale není tam žádná taková věc pro Scala v Dbutils dokumentace.
Takže máte někdo měl stejný problém a pokud ano, jak jste to vyřešili ?
Děkuji!!!