Scalanie ponad 32 plików w Google Cloud Storage

Mam skrypt Apache Spark działający w Google Compute Engine, który na potrzeby wypuszczenia Google Cloud Storage. Mam ponad 300 częściowych plików 00XXX w folderze Cloud Storage. Chciałbym je połączyć.Scalanie ponad 32 plików w Google Cloud Storage

Próbowałem:

[email protected]:~$ gsutil compose gs://mybucket/data/* gs://mybucket/myfile.csv

Ale mam ten błąd:

CommandException: "compose" called with too many component objects. Limit is 32.

jakieś pomysły roztworu do scalić wszystkie pliki tezy części?

Źródło

2014-10-03 poiuytrez

Podziel pliki na porcje zawierające 32 pliki. Scalaj każdy indywidualnie. Zaczynając od plików N, będziesz mieć teraz pliki N/32. powtarzać. Jeśli masz wystarczająco dużo pamięci, możesz to zrobić za pomocą linii podrzędnych i nie będziesz musiał za każdym razem czytać/zapisywać na dysku. –

Można komponować tylko 32 obiekty w jednym żądaniu, ale obiekt złożony może mieć do 1024 składników. W szczególności można tworzyć obiekty 0-31 w obiektach 0 ', 32-63 na 1', itd. - wtedy każdy z tych złożonych obiektów może być ponownie złożony poprzez komponowanie (0 ', 1', ..., podłoga (300/32) ").

Źródło

2014-10-03 23:45:03

Nie wahaj się dać mi znać, jeśli ktoś napisze scenariusz, aby to zrobić. – poiuytrez

Scalanie ponad 32 plików w Google Cloud Storage

Odpowiedz

Powiązane problemy