Uživatelská třída hodil výjimkou: org.apache.jiskra.sql.AnalysisException: Nelze odvodit schéma pro Parkety. Musí být zadán ručně

Question 1

Jsem prováděcích jiskra kód v jazyce java, jako, Dataset input = jiskra.read().parkety(konfigurace.getInputDataLocation());

Ale inputDataLocation(složky v Azure Storage Účtu, kontejneru) nemusí mít žádná data a v takových případech použití výjimkou je vyvolána, Uživatelská třída hodil výjimkou: org.apache.jiskra.sql.AnalysisException: Nelze odvodit schéma pro Parkety. Musí být zadán ručně.

Je tam stručný způsob, jak zkontrolovat, zda soubor, složka je prázdná předem a pak jsem jen proces spark java kód řádku napsáno výše.

Question 2

Proč nezkusíš čtení vstupního dir zkontrolovat, jestli to existuje?

       final boolean exists;
            try {
                exists = file.getFileSystem(spark.sparkContext().hadoopConfiguration()).getFileStatus(file).isFile();

//exists = dir.getFileSystem(spark.sparkContext().hadoopConfiguration()).listStatus(dir).length // (0 length is an empty dir)
            } catch (IOException e) {
                throw new UncheckedIOException(e);
            }
    
            if (exists) {
                return spark.read().parquet(configuration.getInputDataLocation());
            } else {
                LOG.warn("File directory '{}' does not exist", file);
                return spark.emptyDataset(SOME_ENCODER);
            }
        }

Neethu Lalitha · Answer 1 · 2021-11-18T19:06:03

Proč nezkusíš čtení vstupního dir zkontrolovat, jestli to existuje?

       final boolean exists;
            try {
                exists = file.getFileSystem(spark.sparkContext().hadoopConfiguration()).getFileStatus(file).isFile();

//exists = dir.getFileSystem(spark.sparkContext().hadoopConfiguration()).listStatus(dir).length // (0 length is an empty dir)
            } catch (IOException e) {
                throw new UncheckedIOException(e);
            }
    
            if (exists) {
                return spark.read().parquet(configuration.getInputDataLocation());
            } else {
                LOG.warn("File directory '{}' does not exist", file);
                return spark.emptyDataset(SOME_ENCODER);
            }
        }

Je instance souboru s odkazem na java.io.Souboru? protože to potřebuje jako parametr prošel dovnitř a výše, že to nemá žádné funkce s názvem getFileSystem();
ahoj, zkoušel jsem ti řešení a funguje to v pohodě, když přesnou cestu k souboru je k dispozici, ale zde jsem chtěl zjistit, jestli tam jsou soubory v zadané složce nebo ne, a jak to děláme.

Uživatelská třída hodil výjimkou: org.apache.jiskra.sql.AnalysisException: Nelze odvodit schéma pro Parkety. Musí být zadán ručně

Otázka

Nejlepší odpověď

V jiných jazycích

Tato stránka je v jiných jazycích

Populární v této kategorii

Oblíbené položky v této kategorii