Utwórz w pełni zarządzalne jezioro danych, które będzie zawsze aktualne, przygotowane do analiz, bez konieczności kodowania, stosując Qlik Compose for Data Lake
Qlik Data Integration (QDI) for Data Lake Creation to rozwiązanie, które pomaga przedsiębiorstwom w osiągnięciu zwrotu z inwestycji w jezioro danych (Data Lake), zapewniając ciągłe dostarczanie dokładnych, aktualnych i wiarygodnych zestawów danych transakcyjnych do celów analiz biznesowych. W przeciwieństwie do innych rozwiązań, QDI for Data Lakes zapewnia architekturę wielostrefową z pełnym magazynem danych historycznych i operacyjnych oraz obsługuje praktycznie wszystkie standardowe źródła danych i cele. Automatyzuje przepływ danych od poziomu systemów źródłowych, z których to dane są pozyskiwane w czasie rzeczywistym, przez udoskonalenie danych, po ich udostępnienie do końcowego wykorzystania. Dodatkowo profiluje i kataloguje zawartość jeziora danych i nie wymaga ręcznego kodowania ani znajomości języków skryptowych Hadoop. Dzięki temu, inżynierowie danych mogą wypełniać rosnące wymagania w zakresie przygotowywania w czasie rzeczywistym data martów, z danymi gotowymi do analizy. Otrzymują również wsparcie w zakresie szybkiego dodawania nowych źródeł.
Udostępnianie danych transakcyjnych do analiz bez opóźnień, bez typowych problemów wynikających z architektury jeziora danych
Projekty budowy jeziora danych (Data Lake) często nie przynoszą zwrotu z inwestycji, ponieważ są skomplikowane we wdrożeniu, wymagają specjalistycznej wiedzy w tej dziedzinie, a ich wdrożenie zajmuje miesiące, a nawet lata.
W rezultacie inżynierowie danych tracą czas na generowanie w trybie ad hoc zestawów danych, z kolei naukowcy zajmujący się danymi, nie tylko nie mają pewności co do pochodzenia danych, ale także mają trudności z wyciągnięciem wniosków z nieaktualnych informacji.
Projekty budowy jeziora danych (Data Lake) często nie przynoszą zwrotu z inwestycji, ponieważ są
Qlik Compose ™ for Data Lakes (dawniej Attunity Compose for Data Lakes) automatyzuje tworzenie i wdrażanie potoków, które pomagają inżynierom danych z powodzeniem zapewnić zwrot z istniejących inwestycji w Data Lake.
Dzięki podejściu nie wymagającemu kodowania, specjaliści do spraw danych są w stanie wdrożyć jezioro danych w ciągu kilku dni, a nie miesięcy, zapewniając bardzo krótki czas do wglądu w dokładne i nadzorowane dane transakcyjne.
Koncepcja wielostrefowego jeziora danych
Niepowodzenia rozwiązań jeziora danych często wynikają z wykorzystywania jednej strefy do pozyskiwania danych, zapytań i analiz. Qlik Compose for Data Lakes wychodzi naprzeciw temu problemowi, promując wielostrefowe podejście oparte na najlepszych praktykach.
- Landing Zone = Strefa lądowania – nieprzetworzone dane są stale wprowadzane do jeziora danych z różnych źródeł danych.
- Assemble Zone = Strefa montażu – dane są ustandaryzowane, podzielone na partycje i scalone w gotowy do transformacji magazyn.
- Provision Zone = Strefa zaopatrzenia – inżynierowie danych tworzą wzbogacone podzbiory danych do wykorzystania przez analityków danych lub naukowców.
Zautomatyzowane potoki danych
Szybsze uzyskiwanie korzyści z danych, dzięki automatyzacji ich pozyskiwania, tworzenia schematów docelowych i ciągłej aktualizacji danych w poszczególnych strefach.
- Projektant potoku danych – projektant typu „wskaż i kliknij” automatycznie generuje logikę transformacji i przekazuje ją do silników zadań w celu wykonania.
- Silniki zadań Hive lub Spark – uruchamia zadania transformacji jako pojedynczy, kompleksowy proces w silnikach Hive lub Spark.
- Magazyn danych historycznych – standaryzuje i łączy wiele strumieni zmian w jeden magazyn danych historycznych gotowy do dalszego przetwarzania.
- Dostarczanie danych – łatwe tworzenie gotowych do analizy podzbiorów danych dla analityków lub dalszego przetwarzania.
- Wiele formatów eksportu – zestawy danych można eksportować w kilku formatach, w tym ORC, AVRO i Parquet.
Scentralizowana integracja metadanych
Zrozum, wykorzystaj i działaj na zaufanych przepływach danych za pomocą scentralizowanego repozytorium metadanych.
- Katalog danych – automatyczne zbieranie metadanych z systemów źródłowych i docelowych
- Profilowanie danych – generowanie podsumowania i szczegółowych raportów dotyczących atrybutów danych w jeziorze danych i potokach danych
- Pochodzenie danych – opisuje pochodzenie danych i dalszy wpływ zmian danych
- Współdziałanie katalogu metadanych – synchronizacja metadanych z wiodącymi repozytoriami metadanych, takimi jak Apache Atlas
Pozyskiwanie, przenoszenie i aktualizacja danych w czasie rzeczywistym
Proste w użyciu i uniwersalne rozwiązanie do ciągłego pozyskiwania danych przedsiębiorstwa i udostępniania ich w czasie rzeczywistym do popularnych platform jezior danych, w środowiskach lokalnych, rozproszonych i chmurowych.
Automatyczne i ciągłe udoskonalanie procesu
Sterowane modelami podejście do szybkiego projektowania i tworzenia rozwiązań jezior danych oraz zarządzania nimi w środowiskach lokalnych lub w chmurowych.
Zaufane dane w przedsiębiorstwie
Zapewnienie inteligentnego katalogu danych w skali przedsiębiorstwa, celem bezpiecznego udostępniania użytkownikom biznesowym, wszystkich zbiorów danych, data martów i nie tylko.
Wartość biznesowa
- Ratunek dla nieudanych inicjatyw „jezioro danych w wersji 1” poprzez uzyskanie widocznego zwrotu z inwestycji w jezioro danych
- Zapewnienie pewnych danych gotowych do analizy, aby firmy mogły identyfikować i wykorzystywać możliwości oparte na danych
- Zwiększenie zwinności i elastyczności biznesowej poprzez wdrażanie rozwiązania, które może dostosowywać się zarówno do oczekiwanych, jak i nieoczekiwanych zmian architektonicznych rozwiązania jezioro danych
Cechy rozwiązania
- Zautomatyzowany, kompletny przepływ pracy: Automatyzacja dostarczania kompletnych potoków danych
- Prowadząca przez proces metodologia: Wielostrefowa metodologia budowy jeziora danych, wraz z pełnym magazynem danych historycznych
- Pełen obraz pochodzenia danych: Integracja metadanych z zachowaniem pochodzenia danych (data lineage)
- Integracja z mechanizmami Change Data Capture: Ciągłe strumieniowe przesyłanie danych i aktualizacji metadanych przez mechanizmy Change Data Capture
- Zarządzanie na skalę dużych organizacji: Scentralizowana administracja i zarządzanie na poziomie przedsiębiorstwa
- Uniwersalność połączeń oraz szerokie wsparcie technologiczne: Obsługa praktycznie wszystkich standardowo spotykanych na rynku źródeł danych oraz rozwiązań dedykowanych do budowy jezior danych, zarówno w architekturze lokalnej, jak i w chmurze
- Automatyzacja i prostota: Intuicyjny interfejs graficzny, który eliminuje konieczność ręcznego kodowania oraz znajomość skryptów Hadoop
- Smart Data Catalog: Bezpieczny, skalowalny dla dowolnej wielkości organizacji „sklep z danymi”, który zapewnia konsumentom jeden spójny katalog danych przedsiębiorstwa.
Korzyści dostarczane przez rozwiązanie
- Natychmiastowe dostarczanie zaufanych danych transakcyjnych do analiz
- Zwiększenie wydajności operacyjnej dzięki zautomatyzowanym potokom danych, wielokrotnego użytku
- Ustanowienie najlepszych praktyk i standardów w zakresie utrzymywania aktualności danych w jeziorze danych
- Elastyczność, przygotowująca dane do bieżących i przyszłych potrzeb analitycznych, dostosowująca środowisko do zmian w technologiach jezior danych
- Większa odporność na zmienność, dzięki szybkiemu propagowaniu zmian zachodzących w źródłach lub modelu na środowisko jeziora danych
- Świadomość zawartości i zgodności hurtowni danych z regulacjami, takimi jak np. RODO i CCPA
