Aby uzyskać dostęp do zasobnika S3 z R

Question

Mam ustawienie R na instancji EC2 na AWS. Mam kilka plików CSV przesłanych do wiadra S3. Zastanawiam się, czy istnieje sposób dostępu do plików CSV w pakiecie S3 od R.

Każda pomoc/wskazówki byłyby mile widziane.

Answer 1

Wprowadź następującą komendę: install.packages("AWS.tools")

stamtąd, użyj komendy s3.get(). Zakładka Help powinna Ci powiedzieć, co się dzieje z argumentami.

Answer 2

Zainstaluj pakiet libdigest-hmac-perl;

sudo apt-get install libdigest-hmac-perl 

Answer 3

Wystarczy popatrzeć na opakowaniu cloudyr aws.s3 (https://github.com/cloudyr/aws.s3), to może zrobić to, co trzeba. Niestety (w czasie pisania), ten pakiet jest dość wczesny etap & trochę niestabilny.

Osiągnąłem dobry sukces, po prostu używając polecenia R system(), aby nawiązać połączenie z interfejsem CLI AWS. Jest to stosunkowo łatwe do uruchomienia, bardzo solidne i bardzo dobrze obsługiwane.

1. Rozpocznij tutaj: http://aws.amazon.com/cli/
2. obiekty Lista użyciu S3 API: http://docs.aws.amazon.com/cli/latest/reference/s3api/list-objects.html
3. Get obiekty wykorzystujące S3 API: http://docs.aws.amazon.com/cli/latest/reference/s3api/get-object.html

Tak więc, na przykład, w linii poleceń spróbuj następujących:

pip install awscli 
aws configure 
aws s3 help 
aws s3api list-objects --bucket some-bucket --query 'Contents[].{Key: Key}' 
aws s3api get-object --bucket some-bucket --key some_file.csv new_file_name.csv 

W języku R można zrobić coś takiego: