Jak mogę uniknąć OutOfMemoryErrors podczas korzystania z FileFoldItem Commons FileUpload do przesyłania dużych plików?

Question

Otrzymuję OutOfMemoryErrors przy przesyłaniu dużych plików (> 300 MB) do serwletu wykorzystującego Commons FileUpload 1.2.1. Wydaje się to dziwne, ponieważ cały problem z używaniem DiskFileItem polega na tym, aby zapobiec przechowywaniu w pamięci (prawdopodobnie large) pliku. Używam domyślnego rozmiaru próg 10KB, więc to wszystko powinno być kiedykolwiek załadowane do sterty , prawda? Oto częściowy ślad stosu:

java.lang.OutOfMemoryError 
     at java.io.FileInputStream.readBytes(Native Method) 
     at java.io.FileInputStream.read(FileInputStream.java:177) 
     at org.apache.commons.fileupload.disk.DiskFileItem.get(DiskFileItem.java:334) 
     at org.springframework.web.multipart.commons.CommonsMultipartFile.getBytes(CommonsMultipartFile.java:114) 

Dlaczego tak się dzieje? Czy brakuje jakiejś konfiguracji? Wszelkie wskazówki/wskazówki, aby uniknąć tej sytuacji oprócz zwiększania mojego rozmiaru sterty?

Naprawdę nie powinienem zwiększać sterty, ponieważ teoretycznie to, co powinno być załadowane do pamięci z tej operacji, jest nieco ponad 10KB. Plus, mój heap max (-Xmx) jest już ustawiony na 1 GB, który powinien być dużo.

Answer 1

W przypadku przesyłania plików, zwłaszcza dużych, należy przetworzyć te pliki jako strumienie, które sąsiadują ze średnim rozmiarem w pamięci i kopiować bezpośrednio do pliku wyjściowego. Błędnym sposobem na to jest wdychanie całej rzeczy do pamięci przed jej zapisaniem.

The doc on commons-upload wspomina, tuż pod środkowym, jak "Przetwarzanie przesłania pliku". Jeśli pamiętasz, aby kopiować z wejścia do strumienia wyjściowego w porcjach o rozsądnej wielkości (powiedzmy 1 MB), nie powinieneś mieć problemu.

Answer 2

Chociaż odpowiedź Carla Smotricz jest prawdopodobnie lepsza w przypadku ogólnym, wyjątek można uzyskać jest błąd JVM, które jest zgłaszane tutaj:

http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=6478546