Red de conocimiento informático - Material del sitio web - Cómo potenciar el análisis de big data de Spark

Cómo potenciar el análisis de big data de Spark

Cómo Kubernetes ayuda al análisis de big data de Spark

Descripción general

Este artículo presenta un servicio de datos en contenedores: Spark + OSS en ACK, que permite a los nodos informáticos distribuidos de Spark acceder directamente al almacenamiento de objetos OSS de Alibaba Cloud. . A través de la profunda integración del servicio de contenedores Alibaba Cloud Kubernetes y los recursos de almacenamiento Alibaba Cloud OSS, los clústeres de aprendizaje automático y computación de memoria distribuida Spark pueden analizar y guardar resultados de big data directamente en la nube.

Requisitos previos

Ha creado un clúster de Kubernetes a través de Alibaba Cloud Container Service. Para conocer los pasos detallados, consulte Creación de un clúster de Kubernetes.

Crear desde la consola de Container Service Spark. Instancia OSS

Utilice tres clics para crear una instancia Spark OSS de 1 maestro + 3 trabajadores

1 Iniciar sesión/

2 Haga clic en "Catálogo de aplicaciones"

>

3 Seleccione "spark-oss" y haga clic en "Parámetros"

3 (Opcional) Modifique el número de nodos trabajadores Worker.Replicas: 3

6 Servicios de un solo clic. para ver el punto final externo y luego haga clic en la URL para acceder al clúster Spark

7 Pruebe el clúster Spark

1 Abra Spark-Shell

kubectl getpod. | grep trabajador

spark-oss-online2-worker-57894f65d8-fmzjs 1/1 corriendo 0 44m

spark-oss-online2-worker-57894f65d8-mbsc4 1/1 corriendo 0 44m

spark-oss-online2-worker-57894f65d8-zhwr4 1/1 corriendo 0 44m

kubectl exec -itspark -oss-online2 -worker-57894f65d8 -fmzjs--/opt /spark/bin /spark -shell --master spark://spark-oss-online2-master:7077