"¡No es necesario un gran sistema distribuido como Kafka!"

Autor | Normcore Tech

Traducción | Bent Moon, Editor |p>

Salida CSDN (ID: CSDNnews)

A continuación es la traducción:

Es posible que algunos de ustedes no hayan oído hablar de Kafka, que es un software distribuido muy complejo que se utiliza para coordinar la transferencia de datos entre varias computadoras. Más concretamente, la función del software es "aplanar" los datos y luego moverlos rápidamente de un lugar a otro. En términos generales, si tiene muchos datos que deben procesarse rápidamente y enviarse a otro lugar, considere usar Kafka, que también puede retener los datos durante un período de tiempo, como 2 días, 3 días o 7 días, y le permite usarlo cuando ocurren procesos posteriores. Reprocesar los datos almacenados en Kafka en caso de falla.

Muchas empresas manejan datos agregados, como datos de redes sociales como Facebook y Twitter, así como astrónomos que necesitan procesar grandes cantidades de movimientos de estrellas cada noche, o empresas de vehículos autónomos que necesitan comprender rápidamente los datos sobre el entorno alrededor de sus vehículos, etc.) están utilizando Kafka para procesar datos generados en cualquier lugar (es decir, datos ingresados ​​por el usuario a través del teclado), datos ingresados ​​por el usuario a través del teclado, datos leídos por el usuario a través del telescopio. a través del teclado, datos leídos a través del telescopio, a través de la telemetría del vehículo leídos datos, etc.) y transferirlos a procesos posteriores para su procesamiento y análisis.

WeWork ha cambiado recientemente su nombre a The We Company y ha tenido éxito en el espacio de trabajo agradable, con su sitio web proclamando que la misión de la empresa es

"elevar la conciencia del mundo". ". Su actividad principal es alquilar oficinas a empresas de leasing inmobiliario y luego subarrendarlas a particulares y pequeñas empresas que no pueden alquilar oficinas según los procedimientos tradicionales.

Con el fin de "elevar la conciencia mundial", la empresa se esfuerza por crear espacios de trabajo únicos pero no idénticos para individuos y equipos corporativos en todo el mundo. Más recientemente, la empresa también se ha diversificado hacia la educación.

Recientemente, WeWork reveló cierta información financiera como resultado de su salida a bolsa:

En el lado positivo, la tasa de ocupación de WeWork en 2018 fue de 90 miembros, y el total continúa creciendo.

A menudo se cita a WeWork como un ejemplo perfecto de lo sobrevalorada que está una empresa en Silicon Valley. Como empresa de bienes raíces, WeWork quema efectivo muy rápidamente y no hay duda de que tienen que trabajar duro para convencer a los inversores del mercado público sobre el futuro a largo plazo de la empresa y al mismo tiempo mantener su estatus como empresa de tecnología.

La empresa ha enfatizado repetidamente que no es una empresa inmobiliaria (después de todo, está quemando dinero, ¿verdad?)

La empresa ha enfatizado repetidamente que no es una empresa real empresa inmobiliaria (después de todo, es quemar dinero, dinero, ¿no?), entonces, ¿qué tiene para ofrecer exactamente una empresa de tecnología de mensajería? Entonces, ¿qué significa el anuncio de WeWork sobre el uso de Kafka para “necesidades internas de IoT”? ¿Qué quiere decir esto?

El director de desarrollo de WeWork, David Fano, dijo durante la reunión: "Nuestro producto es el espacio físico".

Cada oficina tiene 10 sensores ambientales: pequeñas cajas verdes montadas en la pared que rastrean. temperatura interior, humedad, calidad del aire, presión del aire y niveles de luz ambiental, y 20 balizas más en la pared, distribuidas en forma de triángulo en espacios públicos (áreas de oficinas abiertas y salas de conferencias), se utilizan para medir la ubicación interior. de los miembros de WeWork (datos anonimizados). Los sensores en el cuarto superior observan a los miembros a través de actividades de visión por computadora.

En otras palabras, WeWork rastrea múltiples eventos físicos en WeWork y registra todos estos datos. Pero... ¿realmente lo necesitan? ¿Cómo podría darles una ventaja competitiva registrar la temperatura ambiente del área abierta alrededor del mural de Keith Harring? Más importante aún, ¿pueden utilizar esta información para proyectos importantes?

Es importante que las empresas comprendan la proporción de la "combinación de unidades" de oficinas (oficinas privadas, espacios para reuniones y escritorios abiertos) para que podamos utilizar esta información para tomar decisiones sobre nuestra próxima oficina.

Creo que esta organización de noticias necesita construir un modelo mental para pensar en la tecnología, y Ben Thompson, que ha hecho un gran trabajo con Stratechery, ha creado la Teoría de la Convergencia (/conceptos/), que estoy tratando de crear un sitio web para. Si tuviera que elegir uno, sería:

La mayoría de las nuevas empresas (y también las grandes empresas) tienen pilas de tecnología existentes que son innecesarias

Yo elegiría. Me gustaría desafiar a cualquier desarrollador que crea que puede crear de forma independiente Hacker News de Facebook en un fin de semana, los problemas arquitectónicos y comerciales reales de WeWork son los siguientes:

WeWork Todo lo que se necesita es contar la cantidad de personas que ingresan. y luego optimizar su planificación de capacidad. ¿Cuál es el punto de rastrear la "presión del aire"? Siempre que tenga una identificación de WeWork, debe instalar un sistema de registro en el vestíbulo y dejar que el sistema de reuniones no lo emita. ¿No es más sencillo para las marcas famosas?

El primer requisito no requiere Kafka en absoluto:

WeWork tiene actualmente 280 oficinas y suponemos que hay un promedio de 1000 personas en cada una. ¿Hay tantos?) Miembros que entran y salen. Entonces, serían 280.000 transacciones por día, asumiendo que todos entran una vez durante el desayuno y luego salen una vez por persona. Eso significa alrededor de 4 transacciones por día. , y esta cantidad de datos se puede almacenar en Postgres, la base de datos relacional de código abierto más utilizada. Como estimación conservadora, Postgres puede proporcionar 10.000 escrituras por segundo (o incluso más si se configura correctamente). Esto equivale a 1.000.000 de eventos escritos por segundo. día, o 11 escrituras por segundo.

En cuanto al segundo requisito, la cantidad de datos generados puede variar dependiendo de que la cantidad de personas que reserven la sala sea mayor, pero no es necesario transmitir. los datos en tiempo real. Puede esperar hasta el final del día para procesar por lotes o recopilar los datos, y lo mismo se puede hacer con una base de datos relacional grande

En comparación con otras bases de datos relacionales que se conectan a la web. servicios que reciben datos de sensores JSON), la sobrecarga de Kafka es mucho mayor porque el sistema distribuido es muy, muy complejo, mucho más complejo que los sistemas tradicionales.

Kafka es una herramienta excelente y poderosa, pero las empresas. Necesito pensarlo dos veces antes de adoptar este software. Para WeWork, usar Kafka para registrar la presión del aire en cubículos de oficina abiertos fue un gran desafío.

Aunque muchas veces no necesitamos Kafka, a los desarrolladores les gusta recomendar esta herramienta. mucho porque pueden aprovechar esta oportunidad para acumular experiencia y discutirla. A los desarrolladores les encanta utilizar tecnología de vanguardia para realizar su trabajo, a veces sin siquiera darse cuenta.

La sobrearquitectura es real. Nemil dijo en un artículo:

Al principio de su carrera, una gran cantidad de sistemas de software mal diseñados que encuentre pueden atribuirse a los medios de ingeniería, que difunden ideas falsas.

En la universidad y en los cursos de formación, la mayor parte de lo que sabes sobre ingeniería proviene de medios de ingeniería como Hacker News, reuniones, conferencias, Free Code Camp y Hacker Noon. Las tecnologías que se analizan ampliamente en estos sitios (como microservicios, marcos de front-end o blockchain) ahora aparecerán naturalmente en su pila de tecnología, aunque no necesariamente.

El uso de estas pilas de tecnología puede hacer que las empresas individuales asuman deudas innecesarias, obligándolas a buscar más financiación durante el ciclo del capital de riesgo sin poder avanzar en una dirección eficiente ni obtener financiación beneficiosa de otros.

Esta desafortunada tendencia continuará y lo único que podemos hacer es sacarla a la luz.

Publicación original: /p/no-necesitas-kafka

Fin