Existuje nějaký způsob, jak určit typ scala v dynamicky

Question 1

Jsem nová Jiskra, Scala, tak promiň, hloupá otázka. Tak jsem si počet tabulek:

table_a, table_b, ...

a číslo odpovídající typy těchto tabulek

případ třídy classA(...), v případě třídy classB(...), ...

Pak musím napsat metody, které čtou údaje z těchto tabulek a vytvořit dataset:

def getDataFromSource: Dataset[classA] = {
       val df: DataFrame = spark.sql("SELECT * FROM table_a")
       df.as[classA]
}

Stejné i u ostatních tabulek a typy. Existuje nějaký způsob, jak se vyhnout rutinní kód - myslím jednotlivých fucntion pro každou tabulku a získat tím, s? Například:

def getDataFromSource[T: Encoder](table_name: String): Dataset[T] = {
       val df: DataFrame = spark.sql(s"SELECT * FROM $table_name")
       df.as[T]
}

Pak vytvořit seznam dvojic (table_name, type_name):

val tableTypePairs = List(("table_a", classA), ("table_b", classB), ...)

Pak volat pomocí foreach:

tableTypePairs.foreach(tupl => getDataFromSource[what should I put here?](tupl._1))

Díky předem!

Question 2

Něco takového by mělo fungovat

def getDataFromSource[T](table_name: String, encoder: Encoder[T]): Dataset[T] =
  spark.sql(s"SELECT * FROM $table_name").as(encoder)

val tableTypePairs = List(
  "table_a" -> implicitly[Encoder[classA]],
  "table_b" -> implicitly[Encoder[classB]]
)

tableTypePairs.foreach {
  case (table, enc) =>
    getDataFromSource(table, enc)
}

Všimněte si, že toto je případ vyřazení hodnota, která je trochu kódu vůně. Od Encoder je invariantní, tableTypePairs nebude to užitečné typu, a ani by to něco jako

tableTypePairs.map {
  case (table, enc) =>
    getDataFromSource(table, enc)
}

Question 3

Jednou z možností je projít Class metoda, tento způsob generického typu T bude odvodit:

def getDataFromSource[T: Encoder](table_name: String, clazz: Class[T]): Dataset[T] = {
       val df: DataFrame = spark.sql(s"SELECT * FROM $table_name")
       df.as[T]
}

tableTypePairs.foreach { case (table name, clazz) => getDataFromSource(tableName, clazz) }

Ale pak si nejsem jistý, jak budete moci využívat tento seznam Dataset bez .asInstanceOf.

Levi Ramsey · Answer 1 · 2021-11-23T22:09:20

Něco takového by mělo fungovat

def getDataFromSource[T](table_name: String, encoder: Encoder[T]): Dataset[T] =
  spark.sql(s"SELECT * FROM $table_name").as(encoder)

val tableTypePairs = List(
  "table_a" -> implicitly[Encoder[classA]],
  "table_b" -> implicitly[Encoder[classB]]
)

tableTypePairs.foreach {
  case (table, enc) =>
    getDataFromSource(table, enc)
}

Všimněte si, že toto je případ vyřazení hodnota, která je trochu kódu vůně. Od Encoder je invariantní, tableTypePairs nebude to užitečné typu, a ani by to něco jako

tableTypePairs.map {
  case (table, enc) =>
    getDataFromSource(table, enc)
}

Gaël J · Answer 2 · 2021-11-23T22:02:48

Jednou z možností je projít Class metoda, tento způsob generického typu T bude odvodit:

def getDataFromSource[T: Encoder](table_name: String, clazz: Class[T]): Dataset[T] = {
       val df: DataFrame = spark.sql(s"SELECT * FROM $table_name")
       df.as[T]
}

tableTypePairs.foreach { case (table name, clazz) => getDataFromSource(tableName, clazz) }

Ale pak si nejsem jistý, jak budete moci využívat tento seznam Dataset bez .asInstanceOf.

Existuje nějaký způsob, jak určit typ scala v dynamicky

Otázka

Nejlepší odpověď

V jiných jazycích

Tato stránka je v jiných jazycích

Populární v této kategorii

Oblíbené položky v této kategorii