Integracja Custom Queries


📢 Wprowadzenie

Moduł Custom Queries umożliwia tworzenie, uruchamianie oraz automatyzację własnych zapytań SQL w obrębie danych zgromadzonych w Twojej hurtowni danych — zarówno tych pobieranych przez WitCloud, jak i pochodzących z zewnętrznych źródeł. Dzięki temu możesz tworzyć niestandardowe widoki, raporty i zbiory danych bez konieczności modyfikowania głównej struktury datasetów.


📝 Przewodnik konfiguracyjny

Wykonaj poniższe kroki, aby utworzyć moduł Custom Queries.


🔧 Konfiguracja modułu

Przejdź do sekcji Solutions w menu > Kliknij Create Data Solutions.





Z listy dostępnych integracji wybierz Custom Queries.





Podaj nazwę procesu, np. "Example Custom Query".





Wprowadź treść zapytania SQL w polu Query content.
Możesz korzystać z pełnej składni BigQuery oraz ze zmiennej {{RUN_DATE}}, która automatycznie zostanie zastąpiona datą uruchomienia procesu.

Zmienna {{RUN_DATE}} przyjmuje format YYYYMMDD i odpowiada dacie wykonania zadania w harmonogramie lub dacie ręcznego uruchomienia.



💾 Zapis wyników

Aby zapisać wyniki zapytania w BigQuery, włącz przełącznik Save Query results.





W sekcji Table settings możesz zdefiniować parametry zapisu:


Table prefix – prefiks nazw tabel, w których będą zapisywane wyniki (np. total_spend).



Write disposition – sposób zapisu danych:

  • Overwrite if table/partition exists – nadpisuje istniejącą tabelę lub partycję.
  • Append to table/partition – dopisuje dane do istniejącej tabeli.
  • Write only if table/partition is empty – zapisuje dane tylko, jeśli tabela jest pusta.



🧱 Partycjonowanie danych

Jeśli chcesz, aby wyniki były zapisywane w partycjonowanej tabeli, włącz opcję Partitioned.

Następnie wybierz metodę partycjonowania:

  • Ingestion time – partycjonowanie według czasu wczytania danych.
  • Custom field – partycjonowanie po wybranym polu z zapytania (np. date, event_date itp.).

Dzięki temu możesz łatwo zarządzać dużymi zbiorami danych i przyspieszyć ich przetwarzanie w BigQuery.





🧪 Testowanie zapytania

Przed zapisaniem konfiguracji możesz uruchomić testowe wykonanie, klikając Test Query.
Pozwala to sprawdzić poprawność składni i danych przed dodaniem zadania do harmonogramu.





✅ Gotowe! Moduł Custom Query pojawił się na liście Solutions i jest teraz gotowy do użycia.

Pamiętaj, że tabela pojawi się dopiero po uruchomieniu modułu w Workflow!


⏳ Uruchamianie i harmonogram

Aby uruchomić moduł i ustawić harmonogram jego działania, musisz skonfigurować Workflow.
Więcej na ten temat przeczytasz tutaj.