Korzystałem z internetowej konsoli AWS, aby uruchomić mój klaster wraz z Apache Spark. Mam gruby pojemnik bazujący na mojej aplikacji Spark i przesłałem go do kubła S3. Kiedy próbuję wysłać jako Step with a Custom Jar
, proces kończy się niepowodzeniem. Wszelkie wskazówki byłyby bardzo mile widziane.Jak przesłać jar Spark do klastra EMR?
6
A
Odpowiedz
2
Zastosowanie EMR bootstrap to install Spark i przesłać pracę w sposób opisany w dokumentacji: https://github.com/awslabs/emr-bootstrap-actions/blob/master/spark/examples/spark-submit-via-step.md
Powiązane problemy
- 1. Jak przesłać kod do zdalnego klastra Spark z IntelliJ IDEA
- 2. Jak mogę podłączyć PySpark (komputer lokalny) do mojego klastra EMR?
- 3. Tryb klastra Spark Mesos przy użyciu Dispatchera
- 4. uruchamianie skryptu Pyspark na EMR
- 5. Jak uruchomić Spark kod Scala na Amazon EMR
- 6. problem Running Spark Praca na Yarn Klastra
- 7. EMR iskra skorupa nie zbierając słoików
- 8. Spark Standalone: Różnice między trybami wdrażania klienta i klastra
- 9. AWS EMR importuj bibliotekę zewnętrzną od S3
- 10. Spark, Niepoprawne zachowanie podczas rzucania wyjątku SparkException w EMR
- 11. Spark + EMR z ustawieniem "maximResourceAllocation" w Amazon nie używa wszystkich rdzeni/voidów
- 12. Konfiguracja i konfiguracja JanusGraph dla klastra Spark i Cassandra
- 13. Jak znaleźć główny adres URL iskry na Amazon EMR
- 14. Jak przesłać zadanie iskrzenia z programu java do niezależnego klastra iskier bez używania funkcji wysyłania iskier?
- 15. Jak ustawić liczbę executorów Spark?
- 16. Podłączanie do zdalnego Mistrza Spark - Java/Scala
- 17. Przepływ powietrza - Instancja zadania w sterowniku EMR
- 18. elasticsearch - jak skopiować dane do innego klastra
- 19. Jak przesłać topologię w klastrze produkcji burzowej za pomocą IDE
- 20. Boto3 EMR - Hive krok
- 21. Jak skopiować pliki z S3 do Amazon EMR HDFS?
- 22. Jak przeprowadzić migrację pojedynczego klastra do nowego klastra vNodes bez przestojów?
- 23. Jak zbudować Uber JAR (Fat JAR) za pomocą SBT w ramach IntelliJ IDEA?
- 24. Jak wyczyścić listę zakończonych klastrów AWS EMR?
- 25. Jak ponownie uruchomić przędzę na AWS EMR
- 26. Spark on Amazon EMR: "Limit czasu oczekiwania na połączenie z puli"
- 27. Używanie s3distcp z Amazon EMR do skopiowania pojedynczego pliku
- 28. Kod Ruby do JAR
- 29. Spark: RDD do listy
- 30. Konfiguracja klastra Jetty do udostępniania stron internetowych
Dzięki za wejście. Jednak moje wyjścia aws-cli nie zawierają żadnej metody dodawania. Czy powinienem użyć swojego klienta ruby? – dataker
W dokumentacji używana jest domyślna aws cli, która ma tę metodę: http://docs.aws.amazon.com/cli/latest/reference/emr/index.html Możesz użyć alternatywnego polecenia, które masz w swoim interfejsie CLI jeśli takowy istnieje, lub zaktualizuj najnowszą wersję domyślnej implementacji interfejsu CLI. –
Mam to! Wielkie dzięki – dataker