Najbardziej efektywny sposób odczytywania dużych plików w kawałkach

Question

Jaki jest najbardziej efektywny ogólny sposób czytania "dużych" plików (które mogą być tekstowe lub binarne), bez wchodzenia na terytorium unsafe? Byłem zaskoczony, jak mało istotnych wyników było, gdy zrobiłem wyszukiwanie w Internecie "rdzy czytać duży plik w kawałkach".

Na przykład jedna z moich przypadków użycia jest do obliczania sum kontrolnych MD5 dla pliku przy użyciu rust-crypto (moduł Md5 pozwala na dodawanie &[u8] kawałki iteracyjnie).

Oto co mam, co wydaje się wykonać nieco lepiej niż w niektórych innych metod, takich jak read_to_end:

const CAP: usize = 1024 * 128; 
let mut file = try!(File::open("my.file")); 
let mut reader = BufReader::with_capacity(CAP, file); 

loop { 
    let length = { 
     let buffer = try!(reader.fill_buf()); 
     // do stuff with buffer here 
     buffer.len() 
    }; 
    if length == 0 { break; } 
    reader.consume(length); 
} 

Answer 1

Nie sądzę, można napisać kod bardziej wydajne niż. fill_buf na BufReader przez File to po prostu proste połączenie z read(2). Zobacz https://github.com/rust-lang/rust/blob/e1195c24bb567019d7cdc65bf5a4c642e38475d1/src/libstd/io/buffered.rs#L185.

To powiedziawszy, BufReader nie jest tak naprawdę użyteczną abstrakcją, gdy używa się jej w ten sposób; prawdopodobnie będzie mniej kłopotliwe, po prostu zadzwoń bezpośrednio pod numer file.read(&mut buf).