¿Qué modelos temáticos existen? Utilice MySQL de datos sqoop para importar HDFS, utilice mahoutLDAcvb para agrupar los datos de entrada y actualice el diagrama de flujo de datos de la base de datos. Mahout analiza la matriz del formato de datos de entrada, el número de texto clave que se agrupará, el vector de palabras de texto, el número del diccionario de palabras Vectorindex y la descripción detallada de los parámetros relevantes para el cálculo del valor valueTFIDF (incluidos los parámetros operativos de hadoop). la configuración del proyecto es la misma que la del directorio mahout-0.9. Ejemplos /bin/cluster-Reuters .sh es lo mismo, es decir, $ scout cvb-I $ { work _ dir }/$ { rowid _ Matrix _ dir }/Matrix -o $ {trabajo_dir}/$ {LDA_dir}-k 2 0-ow-x 2 0-dict $ {trabajo_dir}/$ {diccionario_archivos}-dt $ {trabajo_dir}/$ { LDA _ temas _ dir }-mt $ { $ { LDA _ modelo _ dir } entrada - datos de entrada ruta hdfs, /home/Hadoop-user/scout _ workspace/scout/dataset/Reuters-out-Matrix /home/Hadoop -user/scout _ workspace/scout/dataset/Reuters-LDA-topics mt -Ruta del modelo,/home/Hadoop-user/scout_workspace/scout/dataset/Reuters-LDA-debug k-número de temas para aprender, establecido 20x- número de iteraciones del modelo, es necesario iterar menos modelos. El valor predeterminado es 20 semillas: semillas aleatorias. ReadModel inicial, sistema de valores predeterminado. nano time()%-0000 ruta del diccionario dict, /home/Hadoop-user/scout _ workspace/scout/dataset/Reuters-out-seqdir-sparse-LDA/dictionary file-* a. -Distribución suave de documento/tema, coeficiente de suavizado de tejido de documento/tema, valor predeterminado. topic/$TERM suavizado de cuatro-e de la distribución, topic/$TERM coeficiente de suavizado de tejido, predeterminado. 0E-4 Con respecto a ae, según la descripción, ae se toma apropiadamente como k/50 (número de k temas). La página china conserva la introducción del comando mahout ldatopics Mahout 0.0 y 0.9 no tienen este comando y deberían serlo. relativamente viejo. Según la configuración de cluster-reuters.sh, no es importante utilizar el valor predeterminado del parámetro mipd. Cada programa de documento utiliza el modelo de lectura inicial RandomSeed para realizar cálculos de iteración MIPD. El modelo final fue actualizado. Seleccione el valor predeterminado de -0 Calculadora LDA para analizar el tráfico. 1. Analizar parámetros y ajustes de configuración. 2. Lea el modelo (la primera ejecución no se completa). La superficie hfds ha leído el modelo con el programa modelo y el modelo se ha utilizado como readModel inicial para continuar la iteración de cálculo, que es similar al mecanismo de reinicio de apagado. 3. Ejecutar iteraciones computacionales (proceso Mapper) Las complejas etapas del proceso del modelo LDA pueden dejarme claro y haré todo lo posible para explicarlas. Primero analice el asignador, es decir, CachingCVB0Mapper. Como sugiere el nombre, puede almacenar en caché Mapper para expresar su modelo de lectura. Si algún modelo está almacenado en el directorio de superficie seleccionado, inicializará readModel usando RandomSeed; de lo contrario, leerá el modelo del programa cercano, delimitará readModelwriteModel con ModelTrainer y lo programará y administrará.
rLa estructura general de la aeronave se muestra en el mapa completo (consulte el archivo adjunto para obtener un mapa claro), el programa mahout utiliza el algoritmo CVB0 para calcular el modelo LDA. El proceso de mapa conduce a la matriz de docTopic del vector docTopicModel, y resuelve y calcula de forma iterativa cada docTopicModel. La matriz del modelo de tema del documento realiza la suma de vectores durante la fase de actualización y escritura, y finalmente limpia el topicind después de completar todo el proceso del mapa. ex como matriz clave docTopicModel como valor escribir reducir Este proceso implica el diagrama de cálculo y análisis de CVB0 (consulte el archivo adjunto para obtener un diagrama claro). 4. Derive la distribución de probabilidad del tema a través del modelo LDA, resuma la fórmula de Bayes para calcular la superficie esencial y combine el cálculo EM con el proceso E. Primero, suponga una distribución uniforme y normalice el vector de distribución de probabilidad del tema docTopics, y use este valor para calcular la matriz de distribución de probabilidad de tema-palabra docTopicModel mediante la fórmula bayesiana (consulte el paso del diagrama de análisis CVB0). El cálculo y análisis del programa m CVB0 sigue los pasos de las Figuras 2, 3, 4 y 5 de docTopicModel para recalcular nuevos docTopics. Repita el proceso E-M una y otra vez. nconverge docTopicsdocTopicModel. Su docTopicModel se utiliza para actualizar el modelo lda. Mi agrupación requiere el cálculo del vector de distribución de probabilidad del tema. Varias cuestiones siguen sin resolverse. 1.mahout calcula el doble ter de docTopicModel en función de la superficie. mTopicLikelihood =(topictermrow . get(termIndex)+eta)*(topicWeight+alpha)/(topic sum+eta * numTerms); Pregunta: ¿Cuántos coeficientes de suavizado agrega esta fórmula a la fórmula bayesiana? ¿Qué libro o documento representa el coeficiente de suavizado etaalfa? ¿Cómo elegir los dos coeficientes? 2. El segundo paso del gráfico de análisis de cálculo CVB0 es la base teórica para la localización. 3. El proceso de actualización de writeModel se calcula en función de topicTermCounts, lo que significa que cada mapa requiere P (tema | $ TERM). No entiendo completamente el entorno de ejecución del proyecto Hadoop-I 4.4 Instalación e implementación. Entorno mahout-0.9 Consulte los artículos pertinentes para obtener detalles adicionales. Los tres software se implementan en el /Home/Hadoop-User/MAHOUT_Workspace/Directory local, y el proyecto de exploración se implementa en /Home/Hadoop-User/Scout_Workspace/Directory. El código del proyecto se ha cargado con intereses de Github. La atención se centra en los archivos de script del directorio bin y en varios paquetes de archivos Java, como controladores, exportaciones y analizadores. Los datos iniciales de todo el proyecto de análisis de la arquitectura del proyecto se guardan en MySQL. El análisis computacional requiere la participación de programas de mapeo/reducción y sistemas de archivos hdfs, y los resultados se actualizan en MySQL y la oficina de diagramas de flujo completo.