Nuevas soluciones de big data prometen mayor velocidad y ahorro de costos para las empresas Con datos de benchmarks más claros, las empresas podrán tomar decisiones más informadas sobre las herramientas de big data más efectivas de acuerdo a sus necesidades.

El informe Estado de la analítica de Big Data 2024 demostró los grandes retos a los que se enfrentan las empresas debido a los altos costos de los proyectos analíticos y el poco valor operativo que se obtiene.

Si bien no existe una única solución de big data adecuada, es más probable que las organizaciones tengan éxito con el big data si identifican sus propios objetivos y requisitos específicos, y eligen la combinación de hardware y software que mejor se adapte a su arquitectura digital específica.

La llegada de la computación en la nube, así como los avances recientes en la inteligencia artificial generativa, han hecho que grandes organizaciones puedan desbloquear nuevas oportunidades a partir del análisis de datos y los enormes conocimientos que esto pone a su alcance.

Sin embargo, en respuesta a la alta demanda del mercado, ahora existe una amplia variedad de productos y servicios de big data. La gran cantidad de opciones no solo dificulta que las organizaciones encuentren las herramientas adecuadas para sus necesidades, sino que también puede conducir a costos elevados y malos resultados de rendimiento.

El problema se agudiza debido a que los estándares transparentes de la industria y los benchmarks para los productos de big data están introduciendose solo recientemente. Los proveedores de soluciones a menudo se ven obligados a ejecutar pruebas comparativas ad-hoc, pero no necesariamente se relacionan con cómo será la carga de trabajo final.

Es aquí cuando las organizaciones independientes llegan a aportar valor proporcionando marcos mediante los cuales las empresas especializadas en big data pueden demostrar el valor de sus soluciones y las organizaciones puedan acceder y comparar objetivamente los sistemas para encontrar el que más se adapta a sus necesidades.

SQream participó recientemente en las pruebas TPC Express Big Bench del Consejo de Rendimiento de Procesamiento de Transacciones (TPC por sus siglas en inglés), una organización sin fines de lucro, para probar el rendimiento de su solución de data lakehouse conocida como SQream Blue.

La buena noticia para la industria del big data es que los resultados de la prueba superaron los puntos de benchmark existentes en varios aspectos, demostrando que las empresas ahora podrán contar con una nueva era de herramientas de alto rendimiento para llevar a otro nivel sus proyectos de big data.

Relacionado: El poder de la data y su envolvimiento en el mundo digital

Mejorando la velocidad y reduciendo los costos

El sistema de pruebas TPCx-BB proporciona claridad sobre las capacidades de rendimiento de los proveedores de soluciones de big data y sus ofertas.

Los escenarios simulados con parámetros establecidos proporcionan un punto de referencia para realizar pruebas que ayudan a las organizaciones a tomar decisiones más informadas y a comprender qué herramientas de big data probablemente funcionen de manera más efectiva para sus desafíos u objetivos de datos.

En los últimos años, muchas empresas han informado de que los costos asociados a la ejecución de sus proyectos de big data se están volviendo insostenibles. Sin embargo, el hito alcanzado por SQream Blue superó con creces los estándares de costos actuales durante las pruebas de Big Bench con resultados notables.

En los últimos años, muchas empresas han informado de que los costos asociados a la ejecución de sus proyectos de big data se están volviendo insostenibles.

Si bien algunas soluciones ofrecen mejoras incrementales, la destreza de SQream Blue en las tareas de procesamiento de datos está a pasos agigantados. La herramienta fue capaz de manejar 30 TB de datos tres veces más rápido que el motor Photon SQL basado en Spark de Databricks. También se demostró que la enorme reducción en el tiempo de procesamiento generó enormes ahorros de costos, que llegaron a un tercio del precio.

Sobre esta hazaña, Matan Libis, vicepresidente de producto de SQream, argumentó que "en el análisis en la nube, el rendimiento de costos es el único factor que importa. Los complejos algoritmos de ingeniería patentados de SQream Blue ofrecen capacidades incomparables, lo que lo convierte en la mejor opción para cargas de trabajo pesadas al analizar datos estructurados".

El tiempo de ejecución total de SQream Blue fue de 2,462.6 segundos, y el costo total del procesamiento de los datos de extremo a extremo fue de $26.94 dólares. El tiempo de ejecución total de Databricks fue de 8,332.4 segundos, a un costo de $76.94 dólares.

A medida que cada vez más empresas suelen manejar más de 1 PB de datos, estas considerables ganancias de eficiencia se traducirán en una enorme reducción en los costos de los proyectos relacionados con el análisis de los datos.

Los proyectos de big data con costos fuera de control o retrasos prolongados son un gran dolor de cabeza para la transformación digital de las empresas. Si estos desafíos no se controlan, los proyectos de big data podrían perder valor y dejar de ser relevantes para las organizaciones.