5
Jak uruchomić skrypt we wszystkich węzłach (master i slaves) na Amazon EMR, skrypt-runner.jar działa tylko na Namenode.Uruchamianie skryptu na wszystkich węzłach Hadoop w Amazon EMR
A
Odpowiedz
0
Masz możliwość bootstrap:
Można użyć działanie bootstrap instalowania dodatkowego oprogramowania i zmiany konfiguracji aplikacji w klastrze. Akcje Bootstrap to skrypty uruchamiane w węzłach klastra, gdy usługa Amazon EMR uruchamia klaster. Działają przed uruchomieniem Hadoop i zanim węzeł rozpocznie przetwarzanie danych. Można tworzyć niestandardowe akcje ładowania początkowego lub korzystać z predefiniowanych akcji ładowania początkowego dostarczanych przez usługę Amazon EMR.
z dokumentacji: http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html
Jest to tak proste, jak umieszczenie skryptu wykonać kopiowanie do S3, a następnie, jeśli zaczynasz EMR z wiersza poleceń, należy dodać parametr takiego:
--bootstrap-action 's3://my-bucket/boostrap.sh'
Lub jeśli robisz to przez interfejs sieciowy, po prostu wprowadź lokalizację pliku jako "Niestandardową akcję" w "Akcje Bootstrap".
Powiązane problemy
- 1. uruchamianie skryptu Pyspark na EMR
- 2. Uruchamianie skryptu na serwerze AWS
- 3. Jak uruchomić Spark kod Scala na Amazon EMR
- 4. Własne log4j.properties na AWS EMR
- 5. Amazon EMR: uruchamianie niestandardowego słoika z wejściami i wyjściami z S3
- 6. Spark + EMR z ustawieniem "maximResourceAllocation" w Amazon nie używa wszystkich rdzeni/voidów
- 7. Uruchamianie serwera http na Amazon EC2
- 8. Uruchamianie kodu Pythona na Hadoop Failed
- 9. Uruchamianie skryptu w Dockerfile
- 10. Nutch na odczyt problemu EMR z S3
- 11. Jak znaleźć główny adres URL iskry na Amazon EMR
- 12. Hadoop na EC2 vs Elastyczna mapa Reduce
- 13. Uruchamianie wiosny rozruchu na Amazon Lambda
- 14. Najlepszy sposób wysyłania logu apache-iskry do redis/logstash w klastrze Amazon EMR
- 15. Jak skopiować pliki z S3 do Amazon EMR HDFS?
- 16. Jak ponownie uruchomić przędzę na AWS EMR
- 17. Uruchamianie skryptu jabłka na akcie folderu
- 18. DistCp z lokalnego Hadoop do Amazon S3
- 19. Uruchamianie węzła ze skryptu bash
- 20. Używanie s3distcp z Amazon EMR do skopiowania pojedynczego pliku
- 21. Uruchamianie zadania Hadoop bez pliku wyjściowego
- 22. Przejazd przez wszystkich węzłach binarnego drzewa w Javie
- 23. Uruchamianie skryptu Pythona w skrypcie - Sprawdzić stan
- 24. Uruchamianie dużego skryptu SQL w pętli
- 25. Uruchamianie skryptu perl w oknach bez rozszerzenia
- 26. Uruchamianie phantomJS ze skryptu w cronjob
- 27. Ustawianie parametrów hadoop za pomocą boto?
- 28. Jak skonfigurować wysoką wydajność BLAS/LAPACK dla Breeze na Amazon EMR, EC2
- 29. Uruchamianie wszystkich konfiguracji kompilacji w TeamCity
- 30. Hadoop wysłać rekord do wszystkich reduktorów
Czy możesz wyjaśnić, czy mówisz o uruchomieniu skryptu w czasie ładowania początkowego, o odpowiedzi na @ Paulo's poniżej, czy w częściowym przebiegu? Jeśli to pierwsze, prawdopodobnie powinieneś przyjąć odpowiedź Paula. –
Mam to samo pytanie, a akcja ładowania początkowego nie jest dla mnie wyborem. Jak korzystać ze skryptu-runner.jar, aby uruchomić skrypt we wszystkich węzłach (master i slaves). – jyu