Integracja XML z BigQuery

Importuj elementy pliku lub feedu XML dostępnego pod adresem URL do Google BigQuery w WitCloud - jeden wiersz na element, odświeżany według harmonogramu.

Aktualizacja

Wprowadzenie

Ten moduł odczytuje feed lub plik XML dostępny pod adresem internetowym i zapisuje jego elementy w Google Cloud BigQuery. Użyj go dla plików produktowych i innych źródeł XML, które nie mają dedykowanego konektora, aby analizować je razem z resztą swoich danych w WitCloud.

Każdy powtarzalny element pliku (na przykład każdy <item> lub <product>) staje się jednym wierszem, a cały element jest zapisywany jako JSON w jednej kolumnie. Kolumny nie są stałe - zawartość JSON zależy od Twojego pliku.

Konfiguracja

Wykonaj poniższe kroki, aby połączyć XML z BigQuery. Po zakończeniu konfiguracji zawartość Twojego pliku trafi do Twojego projektu BigQuery.

Plik musi być dostępny z internetu pod adresem URL. Jeśli jest chroniony nazwą użytkownika i hasłem (basic authentication), możesz je wpisać w ustawieniach zaawansowanych.

Dodanie integracji

Przejdź do Integracje w menu i kliknij Dodaj integrację.

Lista integracji z przyciskiem Dodaj integrację

Wybierz Xml z listy dostępnych integracji.

Katalog integracji zawężony do XML

Wpisz Nazwa źródła danych, np. „XML Feed PL”.

Pole Nazwa źródła danych wypełnione przykładową nazwą XML Feed PL

Wpisz URL swojego pliku XML.

Pole URL wypełnione przykładowym adresem https://demo-feed.example/products.xml

Ustawienia zaawansowane

Kliknij Pokaż ustawienia zaawansowane, aby otworzyć ustawienia opcjonalne.

Domyślnie WitCloud szuka powtarzalnych elementów item, entry, product i offer. Jeśli Twój plik używa innej nazwy elementu dla swoich pozycji, włącz Własny element powtarzalny i wpisz nazwę w polu Własne pole. Wtedy odczytywany jest tylko ten element.

Ustawienia zaawansowane z włączonym przełącznikiem Własny element powtarzalny i wpisaną przykładową nazwą elementu offer-row

Jeśli serwer z Twoim plikiem blokuje nieznanych odwiedzających (na przykład przez Cloudflare), włącz Stały adres IP. Wszystkie zapytania wychodzą wtedy z adresu 34.118.32.227, który możesz dodać do listy dozwolonych adresów na swoim serwerze.

Włączony przełącznik Stały adres IP z widocznym stałym adresem 34.118.32.227

Jeśli Twój plik jest chroniony nazwą użytkownika i hasłem (basic authentication), włącz Chroniony hasłem i wpisz Nazwa użytkownika oraz Hasło.

Włączony przełącznik Chroniony hasłem z polami Nazwa użytkownika i Hasło wypełnionymi przykładowymi wartościami

Sprawdzenie i utworzenie

Kliknij Sprawdź, aby upewnić się, że plik można odczytać. Sprawdzenie kończy się powodzeniem, gdy plik da się pobrać i w ciągu 5 sekund zawiera co najmniej jeden powtarzalny element. W przeciwnym razie zobaczysz błąd i warto sprawdzić adres URL, element powtarzalny i hasło.

Kliknij Utwórz, aby zakończyć konfigurację. WitCloud wykonuje to samo sprawdzenie przed zapisaniem integracji, więc plik, którego nie da się odczytać, nie zostanie dodany. Harmonogram synchronizacji danych utworzy się automatycznie - zobacz Automatyczne harmonogramy.

Wypełnione ustawienia XML z przyciskami Sprawdź i Utwórz na dole

Gotowe! Twoje dane XML będą teraz synchronizowane z BigQuery.

Synchronizacja danych

Każde uruchomienie pobiera cały plik od nowa i zastępuje dane z danego dnia jego aktualną zawartością - nie dodaje wierszy do wcześniejszych uruchomień. Uruchomienie, które trwa dłużej niż 30 minut, jest przerywane.

Edycja integracji

Otwórz integrację z listy Integracje, aby zmienić jej ustawienia (te same pola co wyżej, zapisywane przyciskiem Zapisz) i ponownie użyć przycisku Sprawdź. Drugi panel pokazuje status zbierania danych i logi uruchomień.

Schemat danych

Tabela ma jedną kolumnę. Struktura wewnątrz JSON zależy od Twojego pliku: zagnieżdżone elementy i atrybuty pozycji pozostają w jej wnętrzu.

Schemat danych tabeli xml_data
Field NameModeType
xmlNULLABLEJSON