DataOps es necesario para comprender el significado de los datos, así como las tecnologías que se aplican a los datos para que los ingenieros puedan mover, automatizar y transformar los datos esenciales que necesitan los consumidores.
De acuerdo con Harvard Business Review, "los estudios intersectoriales muestran que, en promedio, menos de la mitad de los datos estructurados de una organización se usan activamente para tomar decisiones, y menos de 1% de sus datos no estructurados se analizan o se usan en absoluto. Más de 70% de los empleados tienen acceso a los datos que no deberían y 80% del tiempo de los analistas se dedica simplemente a descubrir y preparar datos. Las violaciones de datos son comunes, los conjuntos de datos deshonestos se propagan en silos y la tecnología de datos de las empresas a menudo no es suficiente a las demandas que se plantean". Eso estaba en un informe en 2017. ¿Qué ha cambiado desde entonces?
Pocos marcos de gestión de datos están centrados en los negocios
La administración de datos ha existido desde el inicio de TI centrándose en una gran cantidad de tecnología, así como en implementaciones de grandes volúmenes de datos, gobernabilidad, mejores prácticas, herramientas, etc. Sin embargo, los grandes centros de datos en los últimos 25 años (por ejemplo, almacenamiento de datos, gestión de datos, Data Lakes, Hadoop, Salesforce y ERP han dado como resultado más silos de datos que no son fáciles de entender, relacionar o compartir. Pocos marcos de gestión de datos, si es que hay alguno, se centran en el negocio, no solo para promover el uso eficiente de los datos y la asignación de recursos, sino también para comprender el significado de los datos, así como las tecnologías que se aplican a los datos para que los ingenieros pueden mover y transformar los datos esenciales que necesitan los consumidores.
Introduciendo DataOps
Hoy en día, más clientes se centran en los aspectos operativos de los datos en lugar de los aspectos básicos de captura, almacenamiento y protección de datos. Tras el éxito de DevOps (un conjunto de prácticas que automatiza los procesos entre el desarrollo de software y los equipos de TI, para que puedan construir, probar y lanzar el software de forma más rápida y confiable), las empresas ahora se centran en DataOps. Andy Palmer puede describirlo mejor, quien acuñó el término en 2015, "El marco de herramientas y cultura que permite a las organizaciones de ingeniería de datos entregar datos de forma rápida y completos a sus usuarios, así como la intersección de la ingeniería de datos, integración, calidad y seguridad. Fundamentalmente, DataOps es un término general que intenta unificar todos los roles y responsabilidades en el dominio de la ingeniería de datos mediante la aplicación de técnicas de colaboración en equipo. Su misión es entregar datos alineando la carga de las pruebas junto con diversas tareas de integración y despliegue".
En Hitachi Vantara, hemos estado aplicando nuestras tecnologías a DataOps en cuatro áreas:
- Hitachi Content Platform
- Pentaho
- Infraestructura de TI empresarial
- REAN Cloud
- HCP: almacenamiento de objetos para datos no estructurados a través de nuestro software Hitachi Content Platform y Hitachi Content Intelligence. Las herramientas de almacenamiento de objetos con metadatos completos, inteligencia de contenido, integración de datos y orquestación analítica permiten a los ejecutivos de negocios identificar las fuentes de datos, problemas de calidad de los datos, tipos de análisis y nuevas prácticas de trabajo necesarias para utilizar esos conocimientos.
Pentaho
• Pentaho optimiza todo el flujo de trabajo de aprendizaje automático y permite a los equipos de científicos de datos, ingenieros y analistas entrenar, ajustar, probar e implementar modelos predictivos.
Infraestructura de TI
• Infraestructura de TI empresarial segura que se extiende de un extremo a otro de la nube, basada en API REST para una fácil integración con proveedores externos. Esto nos brinda la oportunidad de no solo conectarnos con las pilas de administración como ServiceNow , sino también de aplicar un análisis y aprendizaje automático y automatizar la implementación de recursos a través de las API REST.
REAN Cloud: Es una plataforma de servicios gestionados independientes para DataOps en la nube. Ofertas altamente diferenciadas para migrar aplicaciones a la nube, modernizar las aplicaciones para aprovechar las ofertas de la nube para la modernización de almacenes de datos, análisis predictivo ágil e IoT en tiempo real. REAN Cloud también proporciona servicios gestionados continuos.
Resumen
Los sistemas de Big Data se están convirtiendo en un centro de gravedad en términos de almacenamiento, acceso y operaciones.
Las empresas buscan DataOps para acelerar el proceso de conversión de datos en negocios.
DataOps es necesario para comprender el significado de los datos, así como las tecnologías que se aplican a los datos para que los ingenieros puedan mover, automatizar y transformar los datos esenciales que necesitan los consumidores.
Hitachi Vantara proporciona herramientas y plataformas DataOps a través de:
- Hitachi Content Platform
- Integración de datos Pentaho y orquestación analítica
- Analítica de infraestructura y automatización
- REAN Migración, modernización y servicios gestionados en la nube
La estudiante graduada Katie Bouman usa DataOps para capturar la primera imagen de un agujero negro.