Hacía tiempo que no íbamos a evento de este tipo. La commit merece la pena, el sitio es estupendo, los organizadores/as se dan una paliza tremenda y los contenidos son muy interesantes, al menos los que hemos elegido en esta ocasión.

Cosas que hemos aprendido:

Saber más

Data mesh está de moda.

¿En serio? ¿Eso qué es lo que es?

A pesar de que mi Copilot (escribo todo esto en VSCode) me dice que es una arquitectura de datos. Yo creo que no lo es.

Data mesh es una forma de acercarse a los datos que trata de resolver los problemas de escalabilidad y gobernanza de los datos en las organizaciones.

Para mi es más bien una metodología de trabajo que una arquitectura de datos, que será la que tenga que ser.

Crear una oficina del dato con muchas fuentes, algunas en casi tiempo real, orientada a eventos o no, con Datalakes, bases de datos, motores geoespaciales, con ETL o ELTs, con modelos de machine learning y su MLOps, con control de gobernanza del dato, seguridad, dashboards, informes periódicos lanzados por un planificador y un largo etcétera de cosas puede ser un infierno.

El mismo infierno que se despliega ante ti si - en cualquier proyecto de software - no tienes una estrategia de actuación y has hecho un análisis de los problemas antes de quitarte la ropa y meterte en la piscina (¿está vacía?).

Osea, Data Mesh, tiene pinta de surgir cuando las organizaciones se dan cuenta de que el proyecto de convertirse en una compañía “data driven” se ha complicado mucho, no tenemos la información que esperábamos o es incorrecta, y nos hemos gastado un pastón. El remate es que no tenemos ni idea de cómo solucionarlo ni quién tiene la culpa. “Los datos tienen la culpa, señora presidenta”.

Básicamente Data Mesh propone, descentralizar los datos y asignar responsables de cada parcela. Mola y seguro que lo estudiamos en taniwa para aprender a hacerlo mejor, pero suena a lo de siempre: Piensa y luego ponle cariño, en lugar de lo contrario.

ClickHouse:

Esto sí es tecnológico y no lo conocíamos.

Es una base de datos orientada a columnas en lugar de filas. Esto es, todos los valores de la columna “precio” se guardan juntos. Con esta estrategia se aceleran enormemente las consultas de agregación, que son las que más se hacen en los sistemas de BI.

Las inserciones supongo que se verán penalizadas y será típico tener un Postgress y un ClickHouse cada uno con sus tareas.

Además tienen un concepto de Vistas Materializadas muy interesante que permite tener una vista de una tabla que se actualiza cada cierto tiempo.

Esto es muy útil, por ejemplo, para tener un dashboard que se actualiza cada 5 minutos. Las nuevas inserciones se van calculado a parte pero te beneficias, ahorras, de los cálculos hechos hasta el momento.

En resumen, ClickHouse es una base de datos de análisis de alto rendimiento que ofrece velocidades extremadamente rápidas, escalabilidad, análisis en tiempo real, SQL avanzado y compatibilidad con múltiples formatos de datos.

Haremos un post sobre ClickHouse en cuanto lo probemos. Es código abierto. Miel sobre hojuelas.

OpenSpace de código eficiente y el negocio de las consultoras de software.

Ambos temas nos interesan mucho y por eso asistimos al espacio abierto de cada uno de ellos. El modo de compartir de los espacios abiertos es estupendo, habla mucha gente en lugar de uno sólo, se aprende a escuchar, se aprende a no dar la brasa y a aportar según cada cual.

En la parte de código eficiente se habló de la importancia de la arquitectura de software y de la necesidad de tener un buen diseño antes de empezar a programar. Lo dio la gente de LeanMind; nos gustaron.

En la parte de negocio de las consultoras de software se habló de la volatilidad del mercado de cómo actulizar las tarifas etc. Nosotros aportamos nuestra experiencia en taniwa, que será la que sea, pero llevamos ya 10 años en el mercado y con una rotación cero:

• Nos orientamos a entender el negocio de nuestros clientes.
• Analizar primero, diseñar después y programar al final.
• Transparencia en todo lo que hacemos incluidas tarifas, propuestas y sueldos.

La parte de transparencia sigue siendo un problema en el sector, creo yo, pero para nosotros es clave e intuimos que contribuye a que sigamos vivos como empresa.

A mejorar.

La comida bien, pero todo paquetitos envueltos en plástico. No contribuimos así a la sostenibilidad y en un evento como el Commit se debería ser un poco más ecológico.