Odczyt pliku do wektora naraz

Question

Czy to dobry pomysł na czytanie w std::vector, czy jest jakiś haczyka tutaj:

using namespace std; 
ifstream file("blah.dat", ios::binary); 

vector<T> v(N); 

file.read(static_cast<char*>(v.data()), N * sizeof(T)); 

Czy vector norma pozwala mi to zrobić, aby wypełnić wektor ? Dla uproszczenia załóżmy, że T jest zwykłym starym typem danych.

Answer 1

Nie ma niezdefiniowanego zachowania tutaj, jeśli można łatwo kopiować T, co z pewnością stanowi POD. vector<T>::data gwarantuje zwrócenie wskaźnika do sąsiedniej tablicy vector<T>::sizeT s, a reprezentacja obiektu typu możliwego do kopiowania T gwarantuje ciągłą sekwencję bajtów sizeof(T) (ewentualnie z wewnętrznym dopełnieniem).

Jeśli bajty, które przechowujesz w tym miejscu, są nieprawidłowe T reprezentacji obiektów, możesz uzyskać niezdefiniowane zachowanie podczas uzyskiwania do nich dostępu. Dokładnie to, które sekwencje bajtów stanowią poprawną reprezentację obiektu, to trochę szarego obszaru; przynajmniej powinieneś być w stanie w przenośny sposób zapisać bazowe bajty obiektu o typie kopiowalnym trywialnie do pliku i skutecznie odczytać je z powrotem do bazowych bajtów obiektu tego samego typu.

Na litość paranoja jest, prawdopodobnie umieścić:

static_assert(std::is_trivially_copyable<T>(), 
       "NO NO NO - T MUST BE TRIVIALLY COPYABLE!"); 

przed file.read dla przyszłych-proofing.

Answer 2

Nie mają to zrobić, w rzeczywistości, co masz robić (od oryginalnego C++) jest to

std::ifstream file("foo.txt"); 
file >> std::noskipws;   // use this line so that whitespace won't be skipped 
std::vector<char> buffer(std::istream_iterator<char>(file), 
         std::istream_iterator<char>()); 

Powodem, dla którego nie masz robić to na swój sposób jest ponieważ nie ma sensu, aby obiekt znajdował się w pliku (przynajmniej w C++). Pliki zawierają tylko znaki, które są następnie formatowane przez operator>> w celu tworzenia obiektów. Standard umożliwia kompilatorowi wykonywanie naprawdę dziwnych rzeczy na obiekcie (szczególnie gdy włączono RTTI), co czyni go bezużytecznym dla "zapisania" obiektu do pliku. O wiele lepiej jest po prostu stworzyć własny format serializacji.

Answer 3

Wygląda na to, że skorzystasz z pliku odwzorowanego w pamięci. Funkcja Boost zapewnia dwie implementacje, więc nie musisz bezpośrednio mieszać z mmap().

Korzystanie boost.iostreams:

#include <boost/iostreams/device/mapped_file.hpp> 

boost::iostreams::mapped_file_source file("blah.dat"); 
std::size_t size = file.size()/sizeof(T); 
const T * ptr = reinterpret_cast<const T*>(file.data()); 
for (std::size_t i=0; i<size; ++i) 
    std::cout << ptr[i] << std::endl; 

Można również użyć boost.interprocess, ale wymaga więcej kodu na zasadzie takiej samej funkcjonalności.

Główną zaletą jest to, że nie można przydzielić pamięci w celu uzyskania dostępu do pliku, zostanie ona załadowana na żądanie w miarę uzyskiwania dostępu do danych. Same dane będą żyć w buforowanych/buforowanych stronach, więc nie zabierają żadnej pamięci (są odrzucane, jeśli system potrzebuje pamięci na coś innego.)