Działanie arytmetyczne na bardzo dużych macierzach statycznych w C/C++

Question

Jestem nowy w High Performance Computing i moje pierwsze pytanie na tym forum, na którym długo byłem czytnikiem.

Zasadniczo muszę zrobić operacji arytmetycznych na bardzo dużych tablic jak na przykład

double variable [9][4][300][300][300] (uninitialized) 

case 1: Gdybym zadeklarować tablicę powyżej jako local/automatic następnie otrzymuję błąd czasu gdybym skompilowany bez optymalizacja jak „g++ file.cpp” .. (błąd jest segmentacja winy - przepełnienie stosu ???)

przypadek 2: W tej samej sprawie jak wyżej, gdybym miał Compi le z optymalizacją kodu działa zgodnie z oczekiwaniami. "g++ -O2 file.cp p”(jest array w bss teraz ???)

przypadek 3: Jeśli zrobię zmienna global/static następnie kompiluje w porządku, ale mimo to nie działa i po prostu daje komunikat«killed»na terminalu i kończy.

nie ma prawdziwy problem, ale jestem ciekawy i chcesz dowiedzieć się, co się dzieje, gdy wyjątkowo duże tablice zostały zgłoszone i skąd one znajdować się w pamięci w zależności od ich typu danych.

Zdaję sobie również sprawę z metoda generowania tych tablic w czasie wykonywania za pomocą malloc lub Nowy. Wtedy oczywiście będzie na kupie.

Więc najważniejsze pytanie dla mnie jest -> co jest najskuteczniejszą metodą (tj najmniejszy run-time podczas obliczania tablic w pamięci) radzenia sobie z dużymi tablicami przy kompilacji z g++ i działa na linux clusters.

Dziękuję za cierpliwość w czytaniu.

Answer 1

Zmienne lokalne będą zawsze na stosie, niezależnie od optymalizacji flagi. A ta tablica będzie miała około 7 gigabajtów! O wiele większy niż jakikolwiek możliwy stos.

Wielkość może być również przyczyną tego, że nie rozpocznie się, jak gdyby umieścić go jako zmienną globalną/statyczne to trzeba mieć więcej niż 7 GB lub pamięć wirtualną darmo i przyległe aby móc nawet załadować program.

Answer 2

Mogę zaproponować coś wzdłuż linii:

typedef double slice[300][300][300]; 

std::vector<slice> variable[9] = { 4, 4, 4, 4, 4, 4, 4, 4, 4 }; 

ten sposób każdy wektor z 4 slice obiektów będą dynamicznie przydzielane zawartość 9 wektory nie muszą sąsiadować ze sobą, a stos zużycie wystarcza tylko dla metadanych dla 9 wektorów.