Cómo potenciar el análisis de big data de Spark
Descripción general
Este artículo presenta un servicio de datos en contenedores: Spark + OSS en ACK, que permite a los nodos informáticos distribuidos de Spark acceder directamente al almacenamiento de objetos OSS de Alibaba Cloud. . A través de la profunda integración del servicio de contenedores Alibaba Cloud Kubernetes y los recursos de almacenamiento Alibaba Cloud OSS, los clústeres de aprendizaje automático y computación de memoria distribuida Spark pueden analizar y guardar resultados de big data directamente en la nube.
Requisitos previos
Ha creado un clúster de Kubernetes a través de Alibaba Cloud Container Service. Para conocer los pasos detallados, consulte Creación de un clúster de Kubernetes.
Crear desde la consola de Container Service Spark. Instancia OSS
Utilice tres clics para crear una instancia Spark OSS de 1 maestro + 3 trabajadores
1 Iniciar sesión/
2 Haga clic en "Catálogo de aplicaciones"
>3 Seleccione "spark-oss" y haga clic en "Parámetros"
3 (Opcional) Modifique el número de nodos trabajadores Worker.Replicas: 3
6 Servicios de un solo clic. para ver el punto final externo y luego haga clic en la URL para acceder al clúster Spark
7 Pruebe el clúster Spark
1 Abra Spark-Shell
kubectl getpod. | grep trabajador
spark-oss-online2-worker-57894f65d8-fmzjs 1/1 corriendo 0 44m
spark-oss-online2-worker-57894f65d8-mbsc4 1/1 corriendo 0 44m
spark-oss-online2-worker-57894f65d8-zhwr4 1/1 corriendo 0 44m
kubectl exec -itspark -oss-online2 -worker-57894f65d8 -fmzjs--/opt /spark/bin /spark -shell --master spark://spark-oss-online2-master:7077