# Email To BigQuery

# Wprowadzenie

Moduł pozwala na przesyłanie plików z danymi na dedykowany adres e-mail. Po przesłaniu pliku na adres e-mail zostanie on automatycznie zapisany w tabeli BigQuery, dzięki czemu będzie można te dane użyć do integracji lub analizy.

# Przykład działania

Załóżmy, że klient posiada status transakcji w swoim systemie CRM i chciałby je przesyłać systematycznie do BigQuery, aby później połączyć je z danymi Google Analytics. Niestety, zautomatyzowanie tego procesu wymagałoby zaangażowania programisty, co nie zawsze jest możliwe. Na szczęście niemal każdy system CRM pozwala ustawić wysyłkę pliku CSV z transakcjami na maila w ustalonym harmonogramie. Subskrybentem takiego maila może być dedykowany adres e-mail dostarczony przez nasz moduł.

Za każdym razem, kiedy przyjdzie nowy plik na dedykowany adres e-mail, zostanie on automatycznie zaimportowany do Twojego projektu WitCloud w BigQuery.

W późniejszym etapie będzie on mógł być wykorzystywany do zaplanowanej integracji lub analizy danych.

image alt text

# Konfiguracja

# Rozpocznij tworzenie modułu

Z menu po lewej stronie wybierz zakładkę "Collect", następnie kliknij przycisk “Add new pipeline”.

image alt text

Z listy dostępnych modułów wybieramy "Email to BigQuery"

image alt text

# Początkowe ustawienia

W pierwszym kroku mamy do wyboru 2 ustawienia.

Name - nazwa naszego procesu np. "CRM Statuses"

Write Disposition:

  • Overwrite if partition exists- opcja ta oznacza, że dane będą nadpisywane za każdym razem gdy zostaną one wysłane na maila. Opcje warto wybrać, jeżeli występuje duplikacja danych w wysyłanych plikach. Taka sytuacja może wystąpić np. jeżeli wysyłamy dane 2 razy dziennie i plik zawiera w sobie te same identyfikatory transakcji. Aby uniknąć duplikacji tabeli, dane będą za każdym razem nadpisywane, aby posiadać tylko te najbardziej aktualne.

  • Append to partitions- opcja ta oznacza, że dane będą dodawane do istniejącej już tabeli. Opcję tą warto zaznaczyć jeżeli przesyłane pliki zawierają w sobie tylko nowe dane.

  • Write only to empty partitions - opcja ta pozwala zapisać dane tylko wtedy, kiedy tabela w BigQuery nie zawiera jeszcze żadnych danych. Dla przykładu jeżeli wyślemy w ciągu dnia 2 pliki z danymi, zostanie zapisany tylko ten pierwszy. Drugi zostanie odrzucony, gdyż tabela w BigQuery będzie posiadała już zaimportowane inne dane.

image alt text

# Otrzymanie dedykowanego adresu e-mail

W drugim kroku otrzymujemy adres e-mail, który powinien zostać ustawiony jako odbiorca maila z plikiem danych. Po wysłaniu maila z danymi jako załącznik CSV, dane zostaną automatycznie zaimportowane do Twojego projektu WitCloud w BigQuery.

image alt text

Last updated: 2/3/2021, 10:28:38 AM