Wyjątek IOException: wyjątek dotyczący systemu plików został zamknięty podczas działania oozie workflow

Question

Uruchomiliśmy przepływ pracy w oozie. Zawiera dwie akcje: pierwsza to mapa zmniejszająca zadanie generujące pliki w hdfs, a druga to zadanie, które powinno skopiować dane z plików do bazy danych.

Obie części są wykonywane z powodzeniem, ale oozie zgłasza wyjątek na końcu, który oznacza to jako proces zakończony niepowodzeniem.

Jest to wyjątek:

2014-05-20 17:29:32,242 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:lpinsight (auth:SIMPLE) cause:java.io.IOException: Filesystem closed 
2014-05-20 17:29:32,243 WARN org.apache.hadoop.mapred.Child: Error running child 
java.io.IOException: Filesystem closed 
    at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:565) 
    at org.apache.hadoop.hdfs.DFSInputStream.close(DFSInputStream.java:589) 
    at java.io.FilterInputStream.close(FilterInputStream.java:155) 
    at org.apache.hadoop.util.LineReader.close(LineReader.java:149) 
    at org.apache.hadoop.mapred.LineRecordReader.close(LineRecordReader.java:243) 
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.close(MapTask.java:222) 
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:421) 
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:332) 
    at org.apache.hadoop.mapred.Child$4.run(Child.java:268) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:396) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408) 
    at org.apache.hadoop.mapred.Child.main(Child.java:262) 

2014-05-20 17: 29: 32.256 INFO org.apache.hadoop.mapred.Task: runnning porządki dla zadania

Każdy pomysł?

Answer 1

Skorzystaj z poniższej konfiguracji podczas uzyskiwania dostępu do systemu plików.

Configuration conf = new Configuration(); 
conf.setBoolean("fs.hdfs.impl.disable.cache", true); 
FileSystem fileSystem = FileSystem.get(conf); 

Answer 2

Wystąpił podobny problem, który wywołał java.io.IOException: Filesystem closed. W końcu odkryłem, że zamknąłem system plików w innym miejscu. Funkcja API systemu plików hadoop zwraca ten sam obiekt. Więc jeśli zamknę jeden system plików, wszystkie systemy plików zostaną zamknięte. Otrzymuję rozwiązanie z tego answer