Integracja XML z BigQuery
Importuj elementy pliku lub feedu XML dostępnego pod adresem URL do Google BigQuery w WitCloud - jeden wiersz na element, odświeżany według harmonogramu.
Aktualizacja
Wprowadzenie
Ten moduł odczytuje feed lub plik XML dostępny pod adresem internetowym i zapisuje jego elementy w Google Cloud BigQuery. Użyj go dla plików produktowych i innych źródeł XML, które nie mają dedykowanego konektora, aby analizować je razem z resztą swoich danych w WitCloud.
Każdy powtarzalny element pliku (na przykład każdy <item> lub <product>) staje się jednym wierszem, a cały element jest zapisywany jako JSON w jednej kolumnie. Kolumny nie są stałe - zawartość JSON zależy od Twojego pliku.
Konfiguracja
Wykonaj poniższe kroki, aby połączyć XML z BigQuery. Po zakończeniu konfiguracji zawartość Twojego pliku trafi do Twojego projektu BigQuery.
Plik musi być dostępny z internetu pod adresem URL. Jeśli jest chroniony nazwą użytkownika i hasłem (basic authentication), możesz je wpisać w ustawieniach zaawansowanych.
Dodanie integracji
Przejdź do Integracje w menu i kliknij Dodaj integrację.

Wybierz Xml z listy dostępnych integracji.

Wpisz Nazwa źródła danych, np. „XML Feed PL”.

Wpisz URL swojego pliku XML.

Ustawienia zaawansowane
Kliknij Pokaż ustawienia zaawansowane, aby otworzyć ustawienia opcjonalne.
Domyślnie WitCloud szuka powtarzalnych elementów item, entry, product i offer. Jeśli Twój plik używa innej nazwy elementu dla swoich pozycji, włącz Własny element powtarzalny i wpisz nazwę w polu Własne pole. Wtedy odczytywany jest tylko ten element.

Jeśli serwer z Twoim plikiem blokuje nieznanych odwiedzających (na przykład przez Cloudflare), włącz Stały adres IP. Wszystkie zapytania wychodzą wtedy z adresu 34.118.32.227, który możesz dodać do listy dozwolonych adresów na swoim serwerze.

Jeśli Twój plik jest chroniony nazwą użytkownika i hasłem (basic authentication), włącz Chroniony hasłem i wpisz Nazwa użytkownika oraz Hasło.

Sprawdzenie i utworzenie
Kliknij Sprawdź, aby upewnić się, że plik można odczytać. Sprawdzenie kończy się powodzeniem, gdy plik da się pobrać i w ciągu 5 sekund zawiera co najmniej jeden powtarzalny element. W przeciwnym razie zobaczysz błąd i warto sprawdzić adres URL, element powtarzalny i hasło.
Kliknij Utwórz, aby zakończyć konfigurację. WitCloud wykonuje to samo sprawdzenie przed zapisaniem integracji, więc plik, którego nie da się odczytać, nie zostanie dodany. Harmonogram synchronizacji danych utworzy się automatycznie - zobacz Automatyczne harmonogramy.

Gotowe! Twoje dane XML będą teraz synchronizowane z BigQuery.
Synchronizacja danych
Każde uruchomienie pobiera cały plik od nowa i zastępuje dane z danego dnia jego aktualną zawartością - nie dodaje wierszy do wcześniejszych uruchomień. Uruchomienie, które trwa dłużej niż 30 minut, jest przerywane.
Edycja integracji
Otwórz integrację z listy Integracje, aby zmienić jej ustawienia (te same pola co wyżej, zapisywane przyciskiem Zapisz) i ponownie użyć przycisku Sprawdź. Drugi panel pokazuje status zbierania danych i logi uruchomień.
Schemat danych
Tabela ma jedną kolumnę. Struktura wewnątrz JSON zależy od Twojego pliku: zagnieżdżone elementy i atrybuty pozycji pozostają w jej wnętrzu.
Schemat danych tabeli xml_data
| Field Name | Mode | Type |
|---|---|---|
| xml | NULLABLE | JSON |
