Integracja Custom Queries

Aktualizacja

Wprowadzenie

Moduł Custom Queries pozwala tworzyć, uruchamiać i automatyzować własne zapytania SQL na danych z Twojej hurtowni danych — zarówno zebranych przez WitCloud, jak i pochodzących z innych źródeł. Dzięki temu możesz budować własne widoki, raporty i zbiory danych bez zmieniania struktury głównego datasetu.

Instrukcja konfiguracji

Wykonaj poniższe kroki, aby utworzyć moduł Custom Queries.

Konfiguracja modułu

Przejdź do Integracje w menu i kliknij Dodaj integrację.

Lista integracji z przyciskiem Dodaj integrację

Z listy dostępnych integracji wybierz Custom Queries.

Katalog integracji z wybraną integracją Custom Queries

Wpisz Nazwę zapytania, np. "Example Custom Query".

Pole Nazwa zapytania wypełnione przykładową nazwą Example Custom Query

Wpisz zapytanie SQL w polu Treść zapytania. Możesz użyć pełnej składni BigQuery oraz zmiennej {{RUN_DATE}}, którą system automatycznie zastąpi datą wykonania procesu.

Zmienna {{RUN_DATE}} ma format YYYYMMDD i odpowiada dacie uruchomienia zaplanowanego zadania lub dacie ręcznego uruchomienia.

Pole Treść zapytania wypełnione przykładowym zapytaniem SQL ze zmienną RUN_DATE

Zapisywanie wyników

Aby zapisać wyniki zapytania w BigQuery, włącz przełącznik Zapisuj wyniki zapytania. Bez niego zapytanie jest tylko uruchamiane i nic nie jest zapisywane.

Pojawi się sekcja Ustawienia tabeli. W polu Tabela docelowa wpisz nazwę tabeli, do której trafią wyniki. Domyślnie jest to results_{id}: {id} zamienia się na id tego zapytania, więc każde zapytanie dostaje własną tabelę. Nazwa może zawierać tylko litery, cyfry i _, jest zapisywana małymi literami, a tabela zawsze trafia do datasetu Twojego projektu - tekst nad polem pokazuje, gdzie zapiszą się wyniki.

Włączony przełącznik Zapisuj wyniki zapytania z sekcją Ustawienia tabeli - Tabela docelowa z domyślną nazwą results_ i miejscem zapisu wyników, Tryb zapisu, Clustering i Partycjonowanie

Dwa zapytania Custom Queries w jednym projekcie nie mogą zapisywać do tej samej tabeli.

Tryb zapisu – sposób zapisu danych:

  • Nadpisz, jeśli tabela/partycja istnieje – zastępuje tabelę, a przy partycjonowaniu według Czasu wczytania tylko partycję z datą uruchomienia.
  • Dopisz do tabeli/partycji – dopisuje wyniki do tabeli.
  • Zapisz tylko, jeśli tabela/partycja jest pusta – zapisuje tylko wtedy, gdy tabela (albo partycja z datą uruchomienia) jest pusta.

Otwarta lista Tryb zapisu z opcjami Nadpisz, jeśli tabela/partycja istnieje, Dopisz do tabeli/partycji i Zapisz tylko, jeśli tabela/partycja jest pusta

W trybie Dopisz do tabeli/partycji, a także Nadpisz, jeśli tabela/partycja istnieje dla tabeli partycjonowanej według Czasu wczytania, kolumny dodane do zapytania są automatycznie dodawane do tabeli.

Clustering

Clustering porządkuje zapisane dane według maksymalnie 4 kolumn wyniku zapytania. Wpisz nazwy kolumn oddzielone przecinkami, w kolejności, w jakiej najczęściej filtrujesz, np. channel, country. Zostaw puste, jeśli nie chcesz clusteringu.

Tryb zapisu ustawiony na Nadpisz, jeśli tabela/partycja istnieje, i pole Clustering z wartością channel, country

Kolumny muszą być wśród kolumn wyniku zapytania, mieć typ, po którym BigQuery może klastrować, i nie mogą się powtarzać. Gdy zmienisz clustering zapytania, którego tabela już istnieje, tabela zmieni się przy następnym uruchomieniu.

Partycjonowanie danych

Jeśli wyniki mają trafić do tabeli partycjonowanej, włącz opcję Partycjonowanie. Pojawi się sekcja Ustawienia partycjonowania:

  • Partycjonuj według:
    • Czas wczytania – każde uruchomienie zapisuje do partycji ze swoją datą.
    • Własne pole – partycje według kolumny z wyniku zapytania. Wpisz jej nazwę w polu Własne pole; kolumna musi mieć typ DATE, TIMESTAMP albo DATETIME.
  • Typ partycji – Dzień, Miesiąc albo Rok, a Godzina przy Własnym polu typu TIMESTAMP lub DATETIME. Domyślnie Dzień.
  • Wygasanie partycji (dni) – partycje starsze niż podana liczba dni są usuwane. Zostaw puste, żeby nigdy nie wygasały.
  • Wymagaj filtra partycji – każde zapytanie do tej tabeli musi filtrować po kolumnie partycjonowania (_PARTITIONTIME przy Czasie wczytania), inaczej BigQuery je odrzuci. Dotyczy to też All-in-One, źródeł danych i innych zapytań, które czytają tę tabelę, więc włącz tę opcję tylko wtedy, gdy wszystkie one filtrują po tej kolumnie.

Ustawienia partycjonowania - partycjonowanie po własnym polu date, Typ partycji Dzień, Wygasanie partycji 730 dni i włączone Wymagaj filtra partycji z ostrzeżeniem

Dzięki temu łatwiej zarządzasz dużymi zbiorami danych, a BigQuery przetwarza je szybciej.

Testowanie zapytania

Przed zapisaniem konfiguracji kliknij Testuj zapytanie. Test uruchamia próbne sprawdzenie zapytania (dry run), które nic nie kosztuje i niczego nie zapisuje. {{RUN_DATE}} zostaje zastąpione wczorajszą datą. Test sprawdza też Ustawienia tabeli względem kolumn, które zwraca zapytanie.

Przyciski Testuj zapytanie i Utwórz pod formularzem

Jeśli zapytanie jest poprawne, okno Zapytanie poprawne pokazuje, ile danych przetworzy jedno uruchomienie (Przetworzy ... na jeden run), Datę testową, Typ instrukcji, tabele, z których zapytanie Czyta, i Kolumny wyniku.

Okno Zapytanie poprawne z przykładowym wynikiem próbnego sprawdzenia - ile danych przetworzy jeden run, data testowa, typ instrukcji, czytana tabela i kolumny wyniku

W przeciwnym razie okno Błąd zapytania pokazuje błąd z BigQuery albo, w części Konfiguracja tabeli, co w ustawieniach tabeli nie pasuje do zapytania (zobacz Rozwiązywanie problemów).

Okno Błąd zapytania, w którym Konfiguracja tabeli podaje, że przykładowej kolumny clusteringu region nie ma wśród kolumn zapytania

Kliknij Utwórz, aby zapisać moduł. Utwórz najpierw uruchamia ten sam test: jeśli znajdzie problem, nic nie zostanie zapisane, a okno Nie zapisano: popraw zapytanie pokaże, co poprawić.

Gotowe! Moduł Custom Query pojawił się na liście Integracje i jest gotowy do użycia.

Pamiętaj, że tabela pojawi się dopiero po uruchomieniu modułu w harmonogramie!

Żeby później zmienić zapytanie, otwórz je z listy Integracje, zmień ustawienia i kliknij Zapisz. Zapisz też uruchamia test.

Uruchamianie i planowanie

Aby uruchomić moduł i ustawić jego harmonogram, skonfiguruj harmonogram. Więcej na ten temat przeczytasz tutaj.

Rozwiązywanie problemów

Test oraz Utwórz/Zapisz mogą zgłosić te problemy z ustawieniami tabeli. Komunikaty sprawdzane przez panel są po polsku, a te z BigQuery i serwera - po angielsku:

  • Nazwa tabeli nie może zawierać kropki: wyniki zawsze trafiają do datasetu projektu. – wpisz nazwę tabeli bez datasetu.
  • Nazwa tabeli może zawierać tylko litery, cyfry i _. / Jedyny dostępny placeholder w nazwie tabeli to {id}. – usuń inne znaki z pola Tabela docelowa.
  • Clustering obsługuje najwyżej 4 kolumny. / Kolumny clusteringu nie mogą się powtarzać. – skróć listę w polu Clustering.
  • Clustering column "…" is not among the query's columns / Partitioning column "…" is not among the query's columns – tej kolumny nie ma w wyniku zapytania; sprawdź jej nazwę w Kolumnach wyniku.
  • Partitioning column "…" is STRING; it must be DATE, TIMESTAMP, DATETIME – partycjonuj po kolumnie z datą lub czasem albo przekonwertuj kolumnę w zapytaniu.
  • Query job "…" already writes to …; choose another destinationTable – inne zapytanie Custom Queries w tym projekcie zapisuje już do tej tabeli; wybierz inną Tabelę docelową.