Integracja Custom Queries
Aktualizacja
Wprowadzenie
Moduł Custom Queries pozwala tworzyć, uruchamiać i automatyzować własne zapytania SQL na danych z Twojej hurtowni danych — zarówno zebranych przez WitCloud, jak i pochodzących z innych źródeł. Dzięki temu możesz budować własne widoki, raporty i zbiory danych bez zmieniania struktury głównego datasetu.
Instrukcja konfiguracji
Wykonaj poniższe kroki, aby utworzyć moduł Custom Queries.
Konfiguracja modułu
Przejdź do Integracje w menu i kliknij Dodaj integrację.

Z listy dostępnych integracji wybierz Custom Queries.

Wpisz Nazwę zapytania, np. "Example Custom Query".

Wpisz zapytanie SQL w polu Treść zapytania.
Możesz użyć pełnej składni BigQuery oraz zmiennej {{RUN_DATE}}, którą system automatycznie zastąpi datą wykonania procesu.
Zmienna {{RUN_DATE}} ma format YYYYMMDD i odpowiada dacie uruchomienia zaplanowanego zadania lub dacie ręcznego uruchomienia.

Zapisywanie wyników
Aby zapisać wyniki zapytania w BigQuery, włącz przełącznik Zapisuj wyniki zapytania. Bez niego zapytanie jest tylko uruchamiane i nic nie jest zapisywane.
Pojawi się sekcja Ustawienia tabeli. W polu Tabela docelowa wpisz nazwę tabeli, do której trafią wyniki. Domyślnie jest to results_{id}: {id} zamienia się na id tego zapytania, więc każde zapytanie dostaje własną tabelę. Nazwa może zawierać tylko litery, cyfry i _, jest zapisywana małymi literami, a tabela zawsze trafia do datasetu Twojego projektu - tekst nad polem pokazuje, gdzie zapiszą się wyniki.

Dwa zapytania Custom Queries w jednym projekcie nie mogą zapisywać do tej samej tabeli.
Tryb zapisu – sposób zapisu danych:
- Nadpisz, jeśli tabela/partycja istnieje – zastępuje tabelę, a przy partycjonowaniu według Czasu wczytania tylko partycję z datą uruchomienia.
- Dopisz do tabeli/partycji – dopisuje wyniki do tabeli.
- Zapisz tylko, jeśli tabela/partycja jest pusta – zapisuje tylko wtedy, gdy tabela (albo partycja z datą uruchomienia) jest pusta.

W trybie Dopisz do tabeli/partycji, a także Nadpisz, jeśli tabela/partycja istnieje dla tabeli partycjonowanej według Czasu wczytania, kolumny dodane do zapytania są automatycznie dodawane do tabeli.
Clustering
Clustering porządkuje zapisane dane według maksymalnie 4 kolumn wyniku zapytania. Wpisz nazwy kolumn oddzielone przecinkami, w kolejności, w jakiej najczęściej filtrujesz, np. channel, country. Zostaw puste, jeśli nie chcesz clusteringu.

Kolumny muszą być wśród kolumn wyniku zapytania, mieć typ, po którym BigQuery może klastrować, i nie mogą się powtarzać. Gdy zmienisz clustering zapytania, którego tabela już istnieje, tabela zmieni się przy następnym uruchomieniu.
Partycjonowanie danych
Jeśli wyniki mają trafić do tabeli partycjonowanej, włącz opcję Partycjonowanie. Pojawi się sekcja Ustawienia partycjonowania:
- Partycjonuj według:
- Czas wczytania – każde uruchomienie zapisuje do partycji ze swoją datą.
- Własne pole – partycje według kolumny z wyniku zapytania. Wpisz jej nazwę w polu Własne pole; kolumna musi mieć typ
DATE,TIMESTAMPalboDATETIME.
- Typ partycji – Dzień, Miesiąc albo Rok, a Godzina przy Własnym polu typu
TIMESTAMPlubDATETIME. Domyślnie Dzień. - Wygasanie partycji (dni) – partycje starsze niż podana liczba dni są usuwane. Zostaw puste, żeby nigdy nie wygasały.
- Wymagaj filtra partycji – każde zapytanie do tej tabeli musi filtrować po kolumnie partycjonowania (
_PARTITIONTIMEprzy Czasie wczytania), inaczej BigQuery je odrzuci. Dotyczy to też All-in-One, źródeł danych i innych zapytań, które czytają tę tabelę, więc włącz tę opcję tylko wtedy, gdy wszystkie one filtrują po tej kolumnie.

Dzięki temu łatwiej zarządzasz dużymi zbiorami danych, a BigQuery przetwarza je szybciej.
Testowanie zapytania
Przed zapisaniem konfiguracji kliknij Testuj zapytanie.
Test uruchamia próbne sprawdzenie zapytania (dry run), które nic nie kosztuje i niczego nie zapisuje. {{RUN_DATE}} zostaje zastąpione wczorajszą datą. Test sprawdza też Ustawienia tabeli względem kolumn, które zwraca zapytanie.

Jeśli zapytanie jest poprawne, okno Zapytanie poprawne pokazuje, ile danych przetworzy jedno uruchomienie (Przetworzy ... na jeden run), Datę testową, Typ instrukcji, tabele, z których zapytanie Czyta, i Kolumny wyniku.

W przeciwnym razie okno Błąd zapytania pokazuje błąd z BigQuery albo, w części Konfiguracja tabeli, co w ustawieniach tabeli nie pasuje do zapytania (zobacz Rozwiązywanie problemów).

Kliknij Utwórz, aby zapisać moduł. Utwórz najpierw uruchamia ten sam test: jeśli znajdzie problem, nic nie zostanie zapisane, a okno Nie zapisano: popraw zapytanie pokaże, co poprawić.
Gotowe! Moduł Custom Query pojawił się na liście Integracje i jest gotowy do użycia.
Pamiętaj, że tabela pojawi się dopiero po uruchomieniu modułu w harmonogramie!
Żeby później zmienić zapytanie, otwórz je z listy Integracje, zmień ustawienia i kliknij Zapisz. Zapisz też uruchamia test.
Uruchamianie i planowanie
Aby uruchomić moduł i ustawić jego harmonogram, skonfiguruj harmonogram. Więcej na ten temat przeczytasz tutaj.
Rozwiązywanie problemów
Test oraz Utwórz/Zapisz mogą zgłosić te problemy z ustawieniami tabeli. Komunikaty sprawdzane przez panel są po polsku, a te z BigQuery i serwera - po angielsku:
- Nazwa tabeli nie może zawierać kropki: wyniki zawsze trafiają do datasetu projektu. – wpisz nazwę tabeli bez datasetu.
- Nazwa tabeli może zawierać tylko litery, cyfry i _. / Jedyny dostępny placeholder w nazwie tabeli to {id}. – usuń inne znaki z pola Tabela docelowa.
- Clustering obsługuje najwyżej 4 kolumny. / Kolumny clusteringu nie mogą się powtarzać. – skróć listę w polu Clustering.
Clustering column "…" is not among the query's columns/Partitioning column "…" is not among the query's columns– tej kolumny nie ma w wyniku zapytania; sprawdź jej nazwę w Kolumnach wyniku.Partitioning column "…" is STRING; it must be DATE, TIMESTAMP, DATETIME– partycjonuj po kolumnie z datą lub czasem albo przekonwertuj kolumnę w zapytaniu.Query job "…" already writes to …; choose another destinationTable– inne zapytanie Custom Queries w tym projekcie zapisuje już do tej tabeli; wybierz inną Tabelę docelową.
