En sparksql, ¿en qué objeto se almacena la información que describe toda la tabla?
No en el objeto.
Basado en el entendimiento de que los datos de la tabla SparkSQL almacenados en la memoria no utilizan el método de almacenamiento de objetos JVM nativo, sino que utilizan el almacenamiento de columnas en la memoria, por lo que no están en el objeto.
La vida anterior de SparkSQL Shark fue un sistema de almacenamiento de datos a gran escala diseñado para Spark y compatible con Hive.