Responsabilidades básicas del arquitecto de Big Data
Responsabilidades Básicas del Arquitecto Big Data 1
Responsabilidades:
1. Responsable del diseño y construcción de toda la arquitectura de la plataforma big data;
2. Responsable de construir una plataforma general para el intercambio de datos y la programación de tareas de la plataforma de big data;
3. Formular estándares y especificaciones para el desarrollo, pruebas, implementación y mantenimiento, guiar y capacitar a los ingenieros. y mejorar continuamente las capacidades del equipo.
4. Participar en el análisis de requisitos del sistema, diseño de arquitectura, selección de tecnología, diseño y desarrollo de aplicaciones, implementación de pruebas y ser responsable de la escritura del código central.
5. Continuar desafiando nuevas direcciones técnicas y superando dificultades técnicas como un gran volumen de datos, alta concurrencia, alta disponibilidad y escalabilidad.
Requisitos:
65438 o más 0,3 años de experiencia en arquitectura de big data, amplia experiencia en proyectos de almacenamiento de datos, minería de datos y aprendizaje automático.
2. Experiencia práctica en la arquitectura y diseño de procesamiento de datos a gran escala.
3. Competente en Spark, MR, HDFS, Yarn, Hbase, Hive, MongoDB, familiarizado con Kafka, Redis, Storm, Mahout, Flume, ElasticSearch, Graph DB (secundario u otro) y rico. Experiencia en ingeniería de plataformas de datos a gran escala.
4. Tener un conocimiento profundo de las tecnologías relevantes y los métodos de implementación del procesamiento de big data (computación en flujo, computación distribuida, sistemas de archivos distribuidos, almacenamiento distribuido, etc.).
5. Estar familiarizado con datos maestros, metadatos, calidad de datos y otros sistemas y métodos relacionados para la gestión de datos empresariales, y estar familiarizado con el entorno de desarrollo en la plataforma Linux/Unix.
6. Licenciatura o superior en software de computadora o especialidades relacionadas. Se prefieren los solicitantes con amplia experiencia en desarrollo de Java y experiencia en Internet.
7. Fuertes capacidades de análisis y procesamiento de problemas, excelente capacidad práctica, entusiasta de la tecnología y lucha por la excelencia.
Responsabilidades básicas del arquitecto de Big Data 2
Responsabilidades:
1. Comprender profundamente el modelo de negocio de la industria gubernamental, construir el modelo de datos de la industria gubernamental. y formular la ruta de desarrollo de la tecnología de big data de la empresa;
2. Conectarse con los departamentos de tecnología e investigación empresarial, recopilar y transformar proactivamente los requisitos, organizar el desarrollo empresarial del centro de datos, analizar y diseñar requisitos de productos relacionados con los datos;
3. Construir un almacén de datos, desarrollar un sistema de gestión de bases de datos, recopilar, extraer y procesar los datos masivos acumulados por la empresa y realizar análisis y extracción de datos.
4. las tareas clave del centro de datos de acuerdo con la estrategia y las necesidades y tareas de desarrollo de la empresa; implementar la gestión de asuntos y personal del departamento, llevar a cabo la cooperación entre departamentos y regiones y ayudar en los intercambios y la cooperación externos.
Requisitos del puesto:
1 o superior. 5 años de experiencia laboral relevante, se dará preferencia a aquellos con experiencia en gestión de equipos y gestión de proyectos;
2. Comprender el mecanismo operativo del gobierno, dominar el conocimiento de la industria financiera, se dará preferencia a aquellos con experiencia en la industria del gobierno electrónico;
3. Se prefieren aquellos con experiencia en el uso de Java o Python, con dominio en lenguajes de consulta de bases de datos como SQL y Oracle, y aquellos con experiencia en modelos y algoritmos de aprendizaje automático;
4. Tener un pensamiento general en la planificación de productos de centros de datos y experiencia en procesamiento de big data. Se dará prioridad a aquellos con experiencia en análisis y minería.
5. pensamiento lógico, capaz de abstraer, descomponer y estandarizar los negocios, y excelentes habilidades de expresión oral y escrita.
6 Tener una fuerte conciencia de la situación general y buen sentido del trabajo en equipo, fuertes habilidades de liderazgo y excelentes relaciones interpersonales y habilidades comunicativas.
Responsabilidades básicas del arquitecto de Big Data 3
Responsabilidades:
1. Participar en la investigación empresarial, la construcción de estándares de productos y el diseño de modelos centrales relacionados con proyectos de Big Data. en la industria de las telecomunicaciones Trabajos relacionados con la optimización, pruebas de sistemas, etc.
2. Trabajar con el comité de profesionales de datos para estudiar soluciones de modelado de datos y herramientas de modelado, y ser responsable de la arquitectura de datos y el diseño del modelo de datos de la línea de productos.
3. Participar en investigaciones sobre métodos de conversión de datos entre bases de datos, participar en la migración de datos en proyectos, recopilar experiencia en migración de datos en proyectos y optimizar los modelos de datos de productos.
4. Responsable de capacitar la teoría básica del modelo de datos para los equipos del departamento y establecer un equipo de modelo de datos.
Requisitos laborales:
1. Licenciatura, más de 3 años de experiencia en diseño y desarrollo de datos convencionales (DB2, Oracle, SQLServer, Mysql, etc.). ), tener experiencia en el diseño de modelos lógicos y modelos físicos de almacenes de datos a gran escala, dominar SQL y tener buena experiencia en el ajuste del rendimiento de SQL;
2. Tener experiencia en el uso de herramientas de modelado matemático como Python y R, tener cierta experiencia en procesamiento y modelado de datos, ser capaz de generar resultados de análisis de modelos correspondientes, comparación de modelos, eficiencia de modelos, teoría y métodos de juicio de modelos, y ser capaz de explicar y explicar completamente;
3. Estar familiarizado con los principios básicos de las estadísticas y haber realizado proyectos de modelado de datos reales;
4. Se prefieren los solicitantes con experiencia en la construcción de almacenes de datos distribuidos y experiencia en la construcción de almacenes de datos en la industria de las telecomunicaciones;
p>Arquitectura de big data Responsabilidades básicas del ingeniero 4
Responsabilidades:
1. Responsable del diseño de la arquitectura y el desarrollo del código central de la plataforma de big data; de acuerdo con los requisitos del proyecto;
2. Responsable de la revisión de la arquitectura, la revisión del código y la revisión en línea de la plataforma de big data; participar en los requisitos, el diseño, la auditoría y la revisión de la aplicación de datos;
3. Responsable de la investigación y el desarrollo del módulo central, la construcción de la plataforma de big data y la finalización de la depuración, integración e implementación del sistema;
4. plataforma y guiar a los desarrolladores para escribir código;
Requisitos:
1, Licenciatura o superior en especialidades relacionadas con la informática;
2 Competente en fuera de línea y procesos de procesamiento de datos en tiempo real, dominar marcos de procesamiento de datos fuera de línea como hive, impala, spark-sql, etc., y dominar tecnologías comunes de procesamiento de datos en tiempo real como Storm y SparkStreaming Tools;
3. Familiarizado con el ecosistema de tecnología de big data, competente en arquitectura de tecnología de big data y con experiencia en la construcción de plataformas de big data;
4. Dominar las herramientas comunes de acceso al flujo de datos, incluidas Flume, Kafka, etc.
5. Dominar el sistema operativo básico Linux y algunos lenguajes de programación (como Shell, etc.)
6. Dominar uno o más lenguajes de procesamiento en tiempo real, como JAVA, SCALA, PYTHON, etc. , Se prefieren los solicitantes con experiencia en SCALA;
7. Se prefieren los solicitantes con experiencia en el procesamiento de datos reales a gran escala (nivel TB o superior);
Responsabilidades básicas del arquitecto de Big Data 5.
Responsabilidades:
1. Responsable del RD y diseño del marco de procesamiento de big data de la empresa, seleccionando soluciones alcanzables y especificaciones técnicas;
2. y mejorar la plataforma de big data de la empresa. Participar en el diseño, desarrollo y prueba de los sistemas de procesamiento de big data fuera de línea y en tiempo real de la empresa y la integración automática de múltiples módulos comerciales;
3. planificación del módulo de análisis estadístico de datos de la plataforma empresarial;
4. Responsable del diseño de datos y almacenamiento en el proceso de desarrollo del producto;
5. descomposición organizacional;
Requisitos:
1. Licenciatura o superior, especialización en ingeniería informática y de software, al menos 8 años de experiencia laboral, 5 años de experiencia en desarrollo de big data;
2. Familiarizado con Java, Hadoop, HDFS, Hive, HBase, Spark, Infrastructure for Storm, Flume y otras tecnologías relacionadas.
3. Familiarizado con la teoría del almacén de datos, algoritmos de datos y tecnología informática distribuida, y tener experiencia en el diseño de la arquitectura general del sistema de big data.
4. en el uso de problemas de procesamiento de scripts de shell/perl/Python;
5. Flujo tensorial y aprendizaje automático (conocimiento de svm random deep forest bayesiano y otros conocimientos). Habilidad;
6. organizar equipos de desarrollo de proyectos para que trabajen juntos, incluida la comunicación del equipo, la planificación, la gestión del entorno de desarrollo, etc.