Cómo construir Storm en Windows

En el pasado, ejecutar Storm en Windows era un gran desafío. Normalmente, este enfoque implica el estilo de programación del código fuente de Storm, las dependencias ecológicas de Storm y cómo hacer que Windows pretenda ser UNIX/POSIX.

Es por esta razón que una gran parte de los usuarios potenciales de Storm han abandonado la idea de integrar Storm en marcos de procesamiento de big data.

Gracias al desarrollador de Storm, David Lao, y a Yahoo!

A continuación, describiré algunos pasos sobre cómo implementar Storm en un entorno Windows y ejecutar una topología simple en este entorno. Es un proceso simple de crear un único nodo y ejecutar una topología simple de "recuento de palabras".

Primero adjunte el diagrama de la interfaz de usuario:

Instalar JAVA:

Descargar JDK (Storm requiere JDK6/7). puede descargarlo desde el sitio web de Oracle.

Lo instalé en:

C:\Java\jdk1.7.0_45\

Python instalado:

Para probar Python Durante la instalación, implementaré "recuento de palabras" del ejemplo del proyecto Storm-Starter, que es un perno en varios idiomas escrito en Python. Estoy usando Python 2.7.6 que se puede descargar aquí.

Instalé Python aquí:

C:\Python27\

Instalar y ejecutar Zookeeper:

Descargar Apache Zookeeper 3.3 y. descomprímelo. Configure y ejecute de acuerdo con los siguientes comandos:

gt; cd zookeeper-3.3.6

gt; copy conf\zoo_sample.cfg conf\zoo.cfg

gt ;\bin\zkServer.cmd

Instalando Storm

La versión oficial que permite implementar Storm en Windows aún no se ha lanzado, pero puedes hacer clic aquí para descargarla. y compilar una versión que incluya esta funcionalidad Versión.

(Consulte aquí la rama fuente).

Extrae el paquete comprimido a la ubicación que desees. Elegí la unidad C.

Configurar variables de entorno

En Windows, debe configurar dos variables de entorno: STORM_HOME y JAVA_HOME, y también debe configurar la ruta de instalación en PATH.

JAVA_HOME

C:\Java\jdk1.7.0_45\

STORM_HOME

C:\storm-0.9.1-incubando -SNAPSHOT-12182013\

RUTA Añadido:

STORM_HOME

La ruta de instalación también está configurada en PATH.

STORM_HOME\bin;JAVA_HOME\bin;C:\Python27;C:\Python27\Lib\site-packages\;C:\Python27\Scripts\;

PATHEXT Agregar:

.p>

Inicie los demonios de interfaz de usuario Nimbus, Supervisor y Storm

Abra la línea de comando para cada instancia en ejecución:

Nimbus

gt; cd STORM_HOME

gt; tormenta nimbus

Supervisor

gt; ; supervisor de tormentas

UI de tormenta

gt; cd STORM_HOME

gt; interfaz de usuario de tormenta

A través del navegador http://localhost :8080 /.

Implemente la topología de "recuento de palabras":

Compile el proyecto Storm-Starter.

Implemente la topología de recuento de palabras en el clúster local:

gt; storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.With - dependencies.jarstorm.starter.With-dependencies.jarstorm.starter.With-dependencies.jarWordCountTopology WordCount -c nimbus.host=localhost

Actualice la página de la interfaz de usuario y verá que la tarea se ha ejecutado .