Para ser competitivas, las empresas están cambiando de la generación de datos a las organizaciones impulsadas por datos y los sistemas de Big Data se están convirtiendo en el centro de gravedad en términos de acceso y operaciones de almacenamiento.
En el evento NEXT 2018 de Hitachi Vantara realizado hace algunos días, tuvimos la suerte de contar con Malcolm Gladwell como orador principal. Malcolm Gladwell es escritor de The New Yorker y ha publicado cinco libros que han estado en la lista de los más vendidos del Times: Tipping Point, Blink, Outliers, What the Dog Saw y David and Goliath. Los libros y artículos de Malcolm a menudo brindan ideas inesperadas que nos ayudan a comprender los eventos que nos rodean y nos permiten tomar mejores decisiones.
En la sesión general, nuestro CEO Brian Householder hizo una entrevista con Malcolm. Algunas de las ideas que surgieron fueron: Un modelo es tan bueno como los datos que contiene, que ilustró con el uso de pruebas estandarizadas de estudiantes para medir la calidad de los maestros. Otro fue centrarse en el problema y no entrar en pánico cuando las circunstancias cambian. El ejemplo aquí fue la industria de la música, que se asustó por la pérdida de ingresos, pero hoy en día está ganando más dinero que nunca debido a las actuaciones en vivo promovidas por su música. Puedo ver una transición similar en nuestra industria, donde la nube era una amenaza para los proveedores de TI, pero hoy en día los ingresos aumentan para los proveedores de TI debido al software y los servicios, lo que facilita que sus clientes desarrollen aplicaciones y generen información.
Más tarde, tuve la oportunidad de moderar una sesión de preguntas y respuestas con Malcolm y un grupo de clientes VIP. Aquí comenzamos con el paradigma de los rompecabezas contra los misterios. Si bien Malcolm es conocido por sus libros más vendidos, hay muchas ideas que se crean en sus artículos del New Yorker que están generando aún más interés en la actualidad. En 2007, escribió un artículo "Secretos abiertos", en el que planteaba el paradigma de los rompecabezas contra los misterios.
Por ejemplo, el paradero de Osama Bin Laden era un rompecabezas. Esto fue finalmente resuelto. Los rompecabezas se pueden resolver mediante la recopilación de más datos. Por otro lado, lo que le sucedió a Irak después de la caída de Saddam Hussein fue un misterio. Los misterios requieren juicios y la evaluación de la incertidumbre, y la parte difícil no es que tengamos muy poca información, sino que tenemos demasiada. Un misterio es un problema causado por un exceso de información, y solo puede resolverse tratando de dar sentido de una manera más sofisticada a lo que ya se conoce. Hoy vivimos en una era de sobrecarga de información y todas las profesiones deben gestionar la transición de la resolución de acertijos a la resolución de misterios.
Si bien la dirección de las preguntas y respuestas no le permitió profundizar en este tema, ha hablado de esto en otras entrevistas, donde ha dicho que la mayoría de las empresas e industrias están diseñadas para resolver rompecabezas, no misterios. Con un mayor acceso a los datos viene una mayor responsabilidad. Los misterios requieren un cambio en el pensamiento para el que la mayoría de las industrias simplemente no están organizadas o preparadas. Los misterios complejos requieren un tipo diferente de pensamiento y habilidades analíticas. Debe decidir si el problema que está resolviendo es un rompecabezas o un misterio. Si crees que estás resolviendo un rompecabezas y recolectando más y más datos, la sobrecarga de datos podría enterrar las pepitas clave que podrían ayudarte a resolver el misterio. Los datos que se utilizan para resolver un rompecabezas se deben analizar de manera diferente cuando se resuelve un misterio. Uno de los errores más grandes que cometen las empresas es tratar a todos los datos por igual, al darle a todos los datos el mismo peso.
Esta idea vuelve al concepto The Signal and the Noise de Nate Silver. Algunos datos le dirán exactamente lo que necesita saber y lo ayudarán a resolver el misterio que está buscando, pero la mayoría de los datos son ruidos, lo que lo distrae de las respuestas que busca. Hoy en día, el truco no consiste en analizar los datos sino en comprender qué datos representan la señal a la que presta atención en comparación con los datos que son el ruido que debe ignorar. Tenemos que comenzar a clasificar los datos en términos de su valor.
La transición de los rompecabezas a los misterios debería resonar en la mayoría de los CIO en lo que respecta a sus datos. Las bases de datos fueron geniales para resolver acertijos, pero la naturaleza compleja de los negocios de hoy es más un misterio que requiere Big Data y análisis. Para ser competitivas, las empresas están cambiando de la generación de datos a las organizaciones impulsadas por datos y los sistemas de Big Data se están convirtiendo en el centro de gravedad en términos de acceso y operaciones de almacenamiento. La curación de datos es necesaria para comprender el significado de los mismos, así como las tecnologías que se aplican para que los ingenieros puedan mover y transformar los datos esenciales que necesitan los consumidores. Hitachi Content Intelligence y Pentaho Data Integration son herramientas claves para buscar, clasificar, curar, enriquecer y analizar los datos para comprender qué tiene y cómo pueden usar para resolver misterios.