Jak technologia wpływa na model zarządzania danymi? Wywiad z dr. Stefanem Jensenem, pełniącym funkcję Sales Engineering Manager w Snowflake.

Dlaczego Data Governance jest dziś tak ważne?

Istnieją trzy główne przyczyny wzrostu zainteresowania zarządzaniem danymi. Jedną z nich jest rosnąca ilość danych i coraz większa liczba źródeł danych w ostatnich latach. Firmy muszą radzić sobie z ogromną ilością danych. Kolejnym powodem jest zwiększony koszt regulacji prawnych i konieczność zapewnienia zgodności z nimi. Mamy RODO, HIPPA i inne. Po trzecie, coraz więcej firm chce poprawić jakość danych, aby podejmować lepsze decyzje biznesowe. 

Digitalizacja to gorący temat. Firmy chcą zapewnić pracownikom większy dostęp do danych, aby mieć pewność, że podejmują decyzje oparte na danych. Dlatego też jakość danych jest dla nich bardzo ważna. Jeśli stworzysz strategię zarządzania danymi w swojej firmie, możesz uzyskać kontrolę nad nimi. Korzyści z niej płynące to: lepsza, globalna zgodność z regulacjami prawnymi, zwiększone bezpieczeństwo i lepsza jakość danych. 

Jakie wyzwania tworzą te zmiany technologiczne w zakresie zarządzania danymi?

Jeśli spojrzymy na ostatnie lata – jak zmienia się technologia, jak firmy wykorzystują dane – to jedną naprawdę ważną rzeczą jest rozwój chmury. Powodem jest to, że w przeciwieństwie do tradycyjnych platform chmura oferuje prawie nieograniczoną pojemność na przechowywane dane oraz nieograniczone możliwości przetwarzania danych i wykorzystywania ich do generowania za ich pomocą wartości biznesowej.

Mamy dzisiaj do czynienia z eksplozją danych – mamy dane IoT, dane mobilne, dane z mediów społecznościowych. Firmy zwykle przechowywały wiele z tych danych w tzw. data lakes. Wynikało to z faktu, że standardowa technologia hurtowni danych nie jest w stanie obsłużyć danych częściowo ustrukturyzowanych. W większości przypadków z danych znajdujących się w data lakes mogą jednak korzystać tylko specjaliści. Firmy potrzebują nowych rozwiązań, które zapewniłyby łatwość korzystania z tych danych.

Widzimy również pewną dywersyfikację w obszarze analityki. Analityka się rozwija. Mamy coraz więcej przypadków zastosowań, gdzie data science jest niezbędna do prognozowania i tym podobnych działań. Dlatego coraz częściej mówimy o demokratyzacji danych i rozwijaniu umiejętności w zakresie korzystania z danych. Firmy chcą zapewnić ludziom jak największy dostęp do danych. Tylko w ten sposób wszyscy będą mogli podejmować decyzje na bazie danych.

Jeśli stworzysz strategię zarządzania danymi w swojej firmie, możesz uzyskać kontrolę nad nimi. Korzyści z niej płynące to: lepsza, globalna zgodność z regulacjami prawnymi, zwiększone bezpieczeństwo i lepsza jakość danych.

Jak Snowflake rozwiązuje te problemy związane z danymi?

Oferujemy zestaw rozwiązań, które można wykorzystać w codziennej pracy. Rdzeniem całości jest oczywiście nasza hurtownia danych w chmurze. Jest to rozwiązanie wysoce zautomatyzowane. Umożliwia konsolidację i przeszukiwanie zgromadzonych danych wszystkim analitykom i użytkownikom, dzięki czemu można szybciej i lepiej prowadzić biznes. 

Kolejna oferta dotyczy inżynierii danych. Obecnie potoki danych są siłą napędową większości przedsiębiorstw. Jeśli chcemy analizować dane, musimy je wprowadzić do swojego systemu. Dostarczamy również uporządkowany, a przy tym prosty proces ładowania danych do hurtowni. Każdy więc może korzystać z danych, analizować je, nie tracąc czasu na ich szukanie.

Wiele firm ma tradycyjną hurtownię danych oraz data lake do przechowywania dużych ilości danych częściowo ustrukturyzowanych, w formacie surowym. Snowflake oferuje możliwość przechowywania ustrukturyzowanych i częściowo ustrukturyzowanych danych w jednym miejscu. Dzięki temu można analizować oba rodzaje danych równocześnie. Nawet dla użytkownika biznesowego używanie standardowego SQL do analizy danych jest bardzo łatwe.

Kolejnym elementem oferty jest data science. Snowflake pomaga data scientistom szybciej i wydajniej analizować dane. Dostarczamy bowiem scentralizowane źródło danych, które jest bardzo wydajne. Ponadto mamy wiele konektorów do standardowych narzędzi data science. W naszej sieci partnerskiej jest wiele firm zajmujących się analizą danych. Mamy klientów, którzy tworzą aplikacje, a te aplikacje przechowują dane w Snowflake. Umożliwia to tworzenie nowoczesnych aplikacji bez konieczności zarządzania złożonymi infrastrukturami danych.

Gorącym tematem jest dzisiaj wymiana danych. Firmy zastanawiają się, jak zarabiać na danych, jak je sprzedawać. Udostępnianie danych to technologia wbudowana w Snowflake, która umożliwia bardzo łatwe udostępnianie danych wewnątrz lub na zewnątrz organizacji. 

Wiele firm ma tradycyjną hurtownię danych oraz data lake do przechowywania dużych ilości danych częściowo ustrukturyzowanych. Snowflake oferuje możliwość przechowywania ustrukturyzowanych i częściowo ustrukturyzowanych danych w jednym miejscu. Dzięki temu można analizować oba rodzaje danych równocześnie.

Co jest wyjątkowego w podejściu Snowflake?

Oddzielamy pamięć masową od warstwy obliczeniowej. Wszystkie dane, które są przechowywane centralnie, mogą być wykorzystywane przez wiele tak zwanych wirtualnych hurtowni lub klastrów obliczeniowych, które są w stanie obsługiwać różne obciążenia parami. Udaje się więc bez problemów ładować dane i wykonywać zadania związane z analizą danych lub korzystać równolegle z narzędzi BI. Powyżej tej warstwy mamy usługi w chmurze. To „mózg” rozwiązania. Odpowiadają one za optymalizację zapytań, zarządzanie systemem, bezpieczeństwo danych i zarządzanie danymi oraz operacje na metadanych. Wszystko to jest niezależne od rozwiązań poszczególnych dostawców chmury. Będzie działać w Google Cloud, AWS czy Azure, a my jesteśmy dostępni we wszystkich regionach świata.

Jakie zatem korzyści może zaoferować Snowflake w zakresie Data Governance?

Jeśli chcesz stworzyć lub udoskonalić procesy Data Governance, to jedną z korzyści jest oczywiście bezpieczeństwo. Snowflake zapewnia bezpieczeństwo danych na wielu poziomach. Przede wszystkim oferujemy kompleksowe szyfrowanie. Zapewniamy także silne uwierzytelnianie, pełną audytowalność, kontrolę dostępu opartą na rolach i odzyskiwanie danych.

Jak chronimy dane? Snowflake synchronizuje dane w co najmniej trzech regionalnych strefach dostępności dostawców usług w chmurze. Jest więc mało prawdopodobne, że dane zostaną utracone. Chronimy dane przed uszkodzeniem i błędami użytkowników, a także oferujemy długoterminową ochronę danych. Zapewniamy ochronę nawet dla danych wrażliwych. Odpowiada za to technologia dynamicznego maskowania, która pozwala nam kontrolować, jakie dane użytkownicy są w stanie zobaczyć.

Oddzielamy pamięć masową od warstwy obliczeniowej. Wszystkie dane, które są przechowywane centralnie, mogą być wykorzystywane przez wiele tak zwanych wirtualnych hurtowni lub klastrów obliczeniowych, które są w stanie obsługiwać różne obciążenia parami.

Dr Stefan Jensen był prelegentem podczas zdalnego spotkania „Fundamenty udanego wdrożenia Data Governance”. Spotkanie było wprowadzeniem do e-konferencji „CDO Forum 2020”, która odbędzie się 16 września br. Informacje na jej temat można znaleźć na stronie https://www.cdoforum.pl.