Czy mogę używać Hadoop z AWS4-HMAC-SHA256?

Question

Moje nowo utworzone wiadro używa AWS Signature Version 4. Staram się używać go z Hadoop i się komunikat:

Exception in thread "main" org.apache.hadoop.fs.s3.S3Exception: 
org.jets3t.service.S3ServiceException: S3 GET failed for '/' XML Error Message: 
<?xml version="1.0" encoding="UTF-8"?> 
<Error> 
<Code>InvalidRequest</Code> 
<Message>The authorization mechanism you have provided is not supported. 
     Please use AWS4-HMAC-SHA256.</Message> 
</Error> 

Nie ma żadnej wzmianki na ten temat na stronie Hadoop Amazon S3. Czy Hadoop jest teraz niekompatybilny z S3 lub czy brakowało mi opcji konfiguracyjnej?

Próbowałem dodać -Dcom.amazonaws.services.s3.enableV4 zgodnie z sugestią na suggested on the SDK page, bez powodzenia. Zakładam, że Hadoop nie korzysta z pakietu Amazon SDK.

FWIW Używam Apache Spark, ale używa Hadoop.

EDYCJA: Znalazłem this Jira ticket.

Answer 1

Prawdopodobnie próbujesz uzyskać dane za pomocą s3n, które nie będą działać. Przełączyć się S3A i nie zapomnij podać punkt końcowy:

hdfs dfs -Dfs.s3a.awsAccessKeyId=<access key ID> -Dfs.s3a.awsSecretAccessKey=<secret acces key> -Dfs.s3a.endpoint=<s3 enpoint> -ls s3a://<bucket_name>/... 

punktów końcowych można znaleźć tutaj: http://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region