Zbiorczy eksport danych z GSC do BigQuery w Google Cloud. Konfiguracja
Zbiorczy eksport danych z Google Search Console do BigQuery w Google Cloud pozwala na regularne eksportowanie danych z pierwszego do drugiego narzędzia. Po co jednak eksportować dane tym sposobem? Jest ku temu wiele przesłanek, których dowiesz się z poniższego artykułu.
Z artykułu dowiesz się:
Zastanawiasz się, jakie korzyści wynikają z eksportu danych z GSC do BigQuery? Poniżej znajdziesz listę najważniejszych.
Zbiorczy eksport danych z GSC do BigQuery ma też jednak swoje ograniczenia. Oto one:
Format CSV z powodzeniem może być oczywiście otwarty w zwykłym arkuszu kalkulacyjnym.
Zbiorczy eksport danych możesz uruchomić bezpośrednio w Google Search Console.
Zbiorczy eksport danych przygotowuje się dla konkretnej usługi w GSC. Dlatego w pierwszej kolejności zaloguj się na konto GSC i z menu bocznego wybierz tę usługę, dla której chcesz uruchomić eksport.
Kolejnym krokiem będzie wejście w ustawienia usługi. Opcja ta znajduje się w lewym menu bocznym w GSC:
W ustawieniach usługi znajdź pozycję „Zbiorczy eksport danych”. Powinna znajdować się na dole sekcji „Ustawienia ogólne”:
Zobaczysz okno ustawień zbiorczego eksportu danych:
Jeżeli jeszcze nie korzystasz z BigQuery na koncie Google Cloud, musisz najpierw przygotować projekt Cloud. Więcej przeczytasz o tym w rozdziale „Przygotowanie projektu w Google Cloud”.
Jeżeli już masz poprawnie założony projekt BigQuery, możesz przejść od razu do rozdziału „Ustawienie w GSC miejsca docelowego eksportu”.
Niezbędnym krokiem jest skonfigurowanie projektu w Google Cloud z uruchomionymi płatnościami.
Korzystanie z zasobów Google Cloud do przechowywania danych i wykonywania zapytań jest bowiem płatne. Warto jednak wspomnieć, że do pewnego poziomu korzystanie z tego rozwiązania jest darmowe. Więcej piszę o tym w rozdziale „Google Cloud – cennik”.
Co ważne, każdy eksport danych będzie potrzebował osobnego projektu Google Cloud.
Oznacza to, że musisz założyć projekt Google Cloud dla każdej usługi Google Search Console, z której dane chcesz eksportować.
Przejdźmy już jednak do konfiguracji w Google Cloud:
Zaloguj się na odpowiednio konto Chrome, a następnie przejdź pod adres: https://console.cloud.google.com/getting-started?pli=1.
Po zaznaczeniu zgody na warunki usługi Google Cloud zostanie utworzone konto Google Cloud.
Z górnej belki menu kliknij przycisk „Wybierz projekt”:
Pojawi się okienko „Wybór projektu”. Kliknij „Nowy projekt”:
Pojawi się okno „nowy projekt” (obrazek poniżej), w którym nadaj projektowi nazwę.
Najlepiej, jeśli nazwa będzie zawierać usługę, której dotyczy eksport – będzie to bardzo pomocne, jeżeli planujesz eksport dla wielu usług Google Search Console.
Ponadto nazwa powinna zawierać przedrostek wskazujący, że projekt jest utworzony na potrzeby eksportu danych. Czemu? Kto wie, może w przyszłości dla danej usługi będziesz zakładać projekty Google Cloud na potrzeby inne niż eksport danych.
Po nadaniu projektowi nazwy przypisz doń organizację lub pozostaw to pole puste.
Na koniec naciśnij przycisk „Utwórz”:
Po chwili Google Cloud założy dla Ciebie nowy projekt. Aby do niego przejść, najszybciej będzie Ci skorzystać z opcji dostępnej w powiadomieniu o utworzeniu projektu:
Po wybraniu projektu znajdziesz się w jego panelu informacyjnym.
Z lewego menu bocznego wybierz „Płatności”:
Następnym krokiem jest wybór opcji „Połącz konto rozliczeniowe”:
Jeżeli jeszcze nie masz konta rozliczeniowego, potrzebujesz je utworzyć:
Pojawi się formularz, wybierz kraj (1) i określ swoją firmę (2):
Zaakceptuj regulaminy (3) i kliknij „Dalej” (4).
Opcjonalnie możesz przedtem zgłosić się o dodatkowe środki na Google Cloud.
W kroku 2. formularza uzupełnij informacje o płatniku oraz podać dane karty.
Pojawi się też tutaj informacja o tym, że płatności mają charakter automatyczny po wygenerowaniu rzeczywistych kosztów przekraczających limit darmowego miesięcznego zużycia.
Następnie Google Cloud rozpocznie konfigurację, podczas której poprosi Cię o weryfikację swojej tożsamości.
Na koniec zobaczysz poniższy formularz, w którym Google Cloud zbierze od Ciebie nieco informacji o Twoim zapotrzebowaniu względem narzędzia:
Kliknij „Gotowe” i… gotowe!
Jak wspominałem, korzystanie z BigQuery w Google Cloud jest darmowe do pewnego miesięcznego poziomu. Po jego przekroczeniu zostaną naliczone opłaty za nadmiarowe przechowywane dane i generowane zapytania BigQuery.
Więcej piszę o tym w rozdziale: „Google Cloud – cennik”.
Warto na wszelki wypadek ustawić budżet dla swojego projektu oraz alerty uruchamiane po osiągnięciu określonych progów proc. łącznej wartości ustalonego budżetu.
Budżet i alerty w Google Cloud możesz ustawić w sekcji „Płatności”. W lewym menu bocznym znajduje się opcja „Budżety i alerty”.
Pozostała część procesu jest bardzo intuicyjna, więc na pewno sobie z tym poradzisz.
Wejdź do wybranego projektu eksportu danych w Google Cloud.
Następnie z menu głównego wybierz „Interfejsy API i usługi”, a później „Włączone interfejsy API i usługi”:
Po przeładowaniu ekranu wybierz opcję „Włącz interfejsy API i usługi”:
Korzystając z wyszukiwarki, odnajdź “BigQuery API” i kliknij w nie:
Domyślnie BigQuery API powinno być uruchomione, co poznasz po poniższym oznaczeniu:
Jeżeli tak nie jest, uruchom BigQuery API. Odpowiedni przycisk powinien być dla Ciebie dostępny w tym samym miejscu.
Kolejnym krokiem jest przyznanie Google Search Console uprawnień do eksportu danych.
Z menu głównego wybierz „Administracja” i „Uprawnienia”:
Następnie z górnej belki wybierz „Przyznaj dostęp”:
Wysunie się boczny panel zaprezentowany poniżej.
Po pierwsze, dodaj „search-console-data-export@system.gserviceaccount.com” w polu „Nowe podmioty zabezpieczeń” (1).
Następnie przypisz dwie role (po dodaniu pierwszej skorzystaj z przycisku “Dodaj kolejną rolę”):
Na koniec kliknij „Zapisz”.
Skopiuj jeszcze identyfikator projektu zbiorczego eksportu danych w Google Cloud. (NIE numer projektu!).
Znajdziesz go np. w panelu projektu:
I to na tyle w Google Cloud. Pora powrócić do Google Search Console.
Przejdź do ustawień zbiorczego eksportu danych w Google Search Console.
Jeżeli nie pamiętasz, jak to zrobić, wróć do rozdziału „Ustawienia zbiorczego eksportu danych w GSC”.
Wklej skopiowany z Google Cloud identyfikator projektu zbiorczego eksportu danych w formularzu (1). Następnie wybierz fizyczną lokalizację przechowywania danych (2).
Pamiętaj, że koszty wykraczającego poza darmowy limit korzystania z opcji eksportu danych mogą się różnić w zależności od wybranej tu lokalizacji.
Więcej piszę o tym w rozdziale: „Google Cloud – cennik”.
Na koniec kliknij „Dalej” (3).
Pojawi się okienko, w którym narzędzie poprosi o przejrzenie ustawień. Jeśli wszystko się zgadza, kliknij „Skonfiguruj eksport”.
Uwaga! Jeżeli dopiero co skonfigurowałeś Google Cloud, płatności i projekt zbiorczego eksportu danych to możliwe, że w tym momencie dostaniesz komunikat o błędzie. Spróbuj dokonać konfiguracji po ok. 48h.
Jeśli wszystko zostało poprawnie skonfigurowane, zostanie przeprowadzona symulacja eksportu. Jeżeli się powiedzie, to otrzymasz poniższy komunikat:
Ponadto regularny eksport danych powinien rozpocząć się w ciągu 48 godzin.
Jeżeli natomiast symulacja się nie powiedzie, otrzymasz powiadomienie mailowe z informacją o problemie.
Lista potencjalnych problemów z eksportem jest dostępna pod tym linkiem.
Po pozytywnym rozpoczęciu regularnych eksportów, dane będą przechowywane w Google Cloud. Aby móc się do nich dostać, należy wysyłać zapytania w SQL dotyczące żądanych danych.
Jak to zrobić – opiszę to krok po kroku i na praktycznych przykładach w kolejnych artykułach
Jeżeli jednak chcesz zacząć działać od razu, zapoznaj się z materiałami od Google „Wytyczne i materiały referencyjne dotyczące tabel” oraz „Wskazówki dotyczące zapytań i przykładowe zapytania”.
Aktualny cennik i zasady naliczania opłat w Google Cloud są dostępne pod linkiem: https://cloud.google.com/pricing/ oraz https://cloud.google.com/free/docs/free-cloud-features.
Cennik stricte dla BigQuery jest dostępny pod linkiem: https://cloud.google.com/bigquery/pricing
Najważniejsze informacje dotyczące cennika:
Miesięczne limity na darmowe korzystanie z Google Cloud wyoszą:
Koszty te będą różnić się w zależności od fizycznej lokalizacji przechowującej Twoje dane. Możesz sprawdzić koszt dla konkretnej lokalizacji w cenniku BigQuery.
Przykładowe koszty dla lokalizacji „Warsaw (europe-central2):
Grzegorz
Maliszewski
HEAD OF BUSINESS DEVELOPMENT
tel. +48 577 997 701
e-mail g.maliszewski@promotraffic.pl
PromoTraffic to przede wszystkim wysoki standard obsługi. Jest to agencja, która podchodzi do zagadnienia marketingu w sposób kompleksowy.
Adam Grybalow
4FIZJO
Przeprowadzane przez PromoTraffic kampanie są kluczowe dla naszego biznesu. Razem skutecznie realizujemy je na ponad 20 rynkach.
Łukasz Gwóźdź
Picodi
Ponad 11 lat doświadczenia, nieustanny #PROgress i sukcesy naszych Klientów.
