Który z nich jest szybszy, odczytywanie z dysku lub przydzielanie pamięci systemowej

Question

Moje środowisko to XP 32-bitowe. Znajduję się, gdy przydzielona pamięć ma prawie maksymalny rozmiar, 2 GB, co oznacza, że ​​dostępna jest niewielka przestrzeń wirtualna, przydział pamięci jest bardzo wolny.

Więc jeśli mam plik strony, moja aplikacja musi je przeanalizować. Mam dwa sposoby. Jednym jest odczytanie ich wszystkich w pamięci systemowej, a następnie wykonanie analizy. Drugim jest zachowanie bufora pamięci najpierw jako pamięci podręcznej, a następnie odczytanie części pliku strony do tego bufora, przeanalizowanie, a następnie odrzucenie, następnie odczytanie drugiej części pliku strony i zastąpienie pamięci podręcznej, wykonaj ponownie analizę.

Z profilowania wygląda na to, że drugi jest szybszy, ponieważ pozwala uniknąć kosztu czasu przydziału.

Co myślisz? Dzięki w adavance.

Answer 1

(1) Nie jestem pewien, czy pytanie pasuje do tytułu. Jeśli przydzielasz do 2 GB pamięci RAM w 32-bitowym systemie Windows, system prawdopodobnie wywołuje dużo pamięci na dysku i właśnie tam najpierw przyjrzę się spowolnieniu. Gdy używasz dużo pamięci, powinieneś pomyśleć o tym, że jest przechowywana na dysku (w pliku pagefile.sys), ale jest przechowywana w pamięci fizycznej. Drugi może być szybszy nie ze względu na koszt alokacji, ale ze względu na koszt użycia dużej ilości pamięci naraz. W efekcie, gdy kopiujesz plik do jednej dużej alokacji, kopiujesz jego dużą część na dysk-> dysk przez RAM, a następnie, gdy ponownie go prześlesz do analizy, ładujesz kopię z powrotem do pamięci RAM. Jeśli twoja analiza jest algorytmem jednoprzebiegowym, to jest dużo pracy nadmiarowej.

(2) Myślę, że jest to plik mmap (MapViewOfFile i znajomi w systemie Windows).

Edycja: (3) uwaga. Jeśli plik ma obecnie 1,8 GB, może być szansa, że ​​w przyszłym roku może to być 4 GB. Jeśli tak, planowałbym teraz, aby miał rozmiar większy niż 2^32 na maszynie 32-bitowej, co oznacza albo drugą opcję, albo nadal używającą MapViewOfFile, ale robiącą jedną porcję pliku o czas, a nie wszystkie naraz. W przeciwnym razie będziesz powracał do tego kodu za pierwszym razem, gdy ktoś spróbuje go na dużym pliku i zgłosi błąd.

Answer 2

Zapominasz 3d drogę - do mapowania pamięci na pliku, patrz funkcja CreateFileMapping/MapViewOfFile Jest to najbardziej szybki sposób

Answer 3

Dlaczego kwota alokowana pamięć jest tak wysoki? Jeśli alokacja pamięci zajmie rozsądny czas, to odkryjesz, że robienie tego w pamięci jest o wiele szybsze - moim podejściem byłoby zrobienie tego w pamięci i spróbowanie znaleźć sposób na zmniejszenie użycia pamięci do punktu, w którym znowu jest szybki .

Answer 4

Najlepiej jest używać okien MapViewOfFile i podobnych funkcji (odpowiednik mmap Windows). Umożliwi to systemowi operacyjnemu zarządzanie stronicowaniem różnych części pliku.

Answer 5

Jak widzę, sam zarządzasz stronicowaniem lub pozwól systemowi zarządzać stronicowaniem dla ciebie. W większości przypadków sugerowałbym, aby system operacyjny obsługiwał stronicowanie (używaj pamięci wirtualnej). Ponieważ mam nieufność wobec systemów operacyjnych MS, nie mogę zalecić tej techniki, chociaż twój przebieg może się różnić.