[TDW] Uso de Protobuf en Tencent Data Warehouse TDW

Uso de Protobuf en Tencent Data Warehouse TDW_IT Technology Essence

p se guarda como pb

Cree una tabla con particiones, asumiendo que el mensaje de compilación contiene el campo log_date , entonces el SQL para crear la partición del campo log_date es: crear una partición de compilación de tabla por list(log_date) (partición predeterminada) almacenada como pb

Nota

el nombre del archivo proto debe estar en minúsculas y no puede Contiene espacios y otros caracteres especiales;

archivos proto utilizados para importar otros archivos proto, no escriba la ruta, solo especifique el nombre del archivo, como importar "text.proto";

El nombre del mensaje del archivo proto principal debe ser el mismo que el nombre de la tabla Al generar el paquete jar, se verificará de acuerdo con el archivo proto. Si no es el mismo, se informará un error.

El nombre del tipo personalizado y el nombre de la variable no pueden ser iguales (se admite la distinción entre mayúsculas y minúsculas, es decir, el nombre de la variable del mensaje Un tipo puede ser uno); de lo contrario, la generación del paquete jar fallará.

No puede contiene mensajes vacíos; de lo contrario, se producirá un error al crear la tabla

Coloque la tabla en formato protobuf en la biblioteca tdw, use directamente el comando hadoop para cargar el archivo pb en el directorio o partición de la tabla correspondiente y admite la compresión gz.

Utilice tdw SQL para realizar análisis de registros en la tabla protobuf. Los campos simples se pueden procesar utilizando la sintaxis SQL común. Tomando tipos repetidos como ejemplo, presentaremos cómo usar Vista lateral + explotar SQL para procesar. campos en la tabla pb.