Análisis Masivo de Datos con BigQuery

Descripción

Cuando un cliente nos dice que ha elegido Google Cloud BigQuery para su oficina de datos, sabemos que se toman en serio el análisis de datos.

Empezar con BigQuery siempre es un buen paso, pero es esencial asegurarse de que se está implementando de la mejor manera posible.

Para Adamo, el análisis diario de datos es crucial, y el volumen de información es enorme. Adamo, un operador de telecomunicaciones nacido en Suecia, comenzó a operar en España en 2007, donde se convirtió en el primer operador en ofrecer fibra óptica de 1 Gbps, el mayor ancho de banda disponible para los hogares hoy en día.

Quieren asegurarse de que se están implementando las mejores prácticas necesarias y necesitan que Taniwa realice un análisis e informe sobre las mejoras.

Valor aportado por Taniwa

Discutimos y revisamos las necesidades de los diferentes departamentos del cliente. Nos reunimos con su proveedor de tecnología para revisar sus procesos de flujo de trabajo.

Revisamos la arquitectura y el código de todos los procesos ETL y de BI y presentamos un informe de consenso que incluye:

Puntos fuertes
Áreas de mejora
Mejores prácticas
Mejoras de rendimiento y seguridad
Plan de acción

Una de nuestras ventajas clave fue contar con Diego Rodríguez como experto en Google Cloud y BigQuery.

Tecnologías

• ETL - DBT
• BIG Query
• Python
• Malla de datos (más una metodología que una tecnología)

DBT son las siglas de Data Build Tool. Es una herramienta de línea de comandos de código abierto escrita en Python que ayuda a los analistas e ingenieros de datos a transformar los datos en sus almacenes de datos de manera más efectiva. DBT es particularmente popular dentro de las comunidades de análisis e ingeniería de datos porque simplifica el proceso de transformación y modelado de datos de una manera escalable y mantenible.