Eksportowanie danych z Google Cloud Storage do Amazon S3

Chciałbym przesłać dane z tabeli w BigQuery, do innej w Redshift. Moja planowany przepływ danych jest następujący:Eksportowanie danych z Google Cloud Storage do Amazon S3

BigQuery -> Google Cloud Storage -> Amazon S3 -> Redshift

wiem o Google Cloud Storage Transfer Service, ale nie jestem pewien, to może mi pomóc. Z dokumentacji chmurze Google:

Cloud Storage Transfer Service

Ta strona opisuje Cloud Storage usługę transferu, za pomocą którego można szybko importować do danych online w Google Cloud Storage.

Rozumiem, że usługa ta może być używana do importowania danych do Google Cloud Storage, a nie do eksportu z niego.

Czy istnieje sposób na eksport danych z Google Cloud Storage do Amazon S3?

Źródło

2016-09-05 Onca

Można użyć gsutil skopiować dane z Google Cloud Storage do wiadra Amazon, używając polecenia takie jak:

gsutil -m rsync -rd gs://your-gcs-bucket s3://your-s3-bucket

Uwaga że opcja -d powyżej spowoduje gsutil rsync, aby usunąć obiekty z twoje wiadro S3, którego nie ma w twoim wiadrze GCS (oprócz dodawania nowych obiektów). Możesz opuścić tę opcję, jeśli chcesz tylko dodać nowe obiekty z GCS do swojego kubełka S3.

Źródło

2016-09-05 14:59:30

Otrzymuję błąd dla tej samej operacji, chociaż wiadro s3 ma publiczny dostęp do odczytu i zapisu. Mam nadzieję, że niczego tu nie brakuje. Gsutil został wykonany wewnątrz powłoki chmury Google. Komunikat o błędzie - BŁĄD 1228 14: 00: 22.190043 utils.py] Nie można odczytać danych instancji, podając Błąd: Żaden program obsługi nie był gotowy do uwierzytelnienia. Sprawdzono 4 procedury obsługi. ['HmacAuthV1Handler', 'DevshellAuth', 'OAuth2Auth', 'OAuth2ServiceAccountAuth'] Sprawdź swoje poświadczenia. –

Korzystanie z Rclone (https://rclone.org/).

Rclone jest programem wiersza poleceń do synchronizacji plików i katalogów do iz

Google Drive 
Amazon S3 
Openstack Swift/Rackspace cloud files/Memset Memstore 
Dropbox 
Google Cloud Storage 
Amazon Drive 
Microsoft OneDrive 
Hubic 
Backblaze B2 
Yandex Disk 
SFTP 
The local filesystem

Źródło

2017-04-03 16:02:24 Itsites

Może mogę zaoferować Ci jeszcze jeden sposób eksportowania danych. Użyj narzędzia CloudBerry, które instalujesz w Google VW lub Amazon EC2a, a następnie skonfiguruj je, aby pobrać dane z Google do S3. Co myślisz o drodze?

Źródło

2017-04-12 07:46:29 Mary17

Eksportowanie danych z Google Cloud Storage do Amazon S3

Odpowiedz

Powiązane problemy