Czytanie bardzo dużych plików w PHP

Question

fopen kończy się niepowodzeniem, gdy próbuję odczytać w pliku o bardzo umiarkowanym rozmiarze w PHP. A 6 meg file sprawia, że ​​się dusi, choć mniejsze pliki około 100k są w porządku. Czytałem, że czasami konieczna jest ponowna kompilacja PHP z flagą -D_FILE_OFFSET_BITS=64 w celu odczytania plików z ponad 20 koncertów lub coś niedorzecznego, ale czy nie powinienem mieć problemów z plikiem 6 megapikselowym? W końcu będziemy chcieli czytać pliki o wielkości około 100 meg, i byłoby mi miło móc je otworzyć, a następnie odczytać je wiersz po wierszu za pomocą fgetów, tak jak w przypadku mniejszych plików.

Jakie są twoje sztuczki/rozwiązania do czytania i wykonywania operacji na bardzo dużych plikach w PHP?

Aktualizacja: Oto przykład prostego bloku kodu, który zawodzi w moim pliku 6 megaplików - PHP nie wydaje się zgłaszać błędu, po prostu zwraca wartość false. Może robię coś wyjątkowo głupiego?

$rawfile = "mediumfile.csv"; 

if($file = fopen($rawfile, "r")){ 
    fclose($file); 
} else { 
    echo "fail!"; 
} 

Kolejna zmiana: Dzięki wszystkim za pomoc, to nie okazać się coś niewiarygodnie głupiego - problem uprawnienia. Mój mały plik miał niewytłumaczalnie uprawnienia do odczytu, gdy większy plik nie był. Doh!

Answer 1

Czy jesteś pewien, że to fopen że jest zepsuty i nie Ustawianie limitu czasu skryptu? Wartość domyślna wynosi zwykle około 30 sekund, a jeśli pobieranie pliku trwa dłużej, może to być przyczyną potknięcia.

Inną kwestią, którą należy wziąć pod uwagę, może być ograniczenie pamięci skryptu - odczytanie pliku do tablicy może spowodować potknięcie się o to, dlatego należy sprawdzić dziennik błędów pod kątem ostrzeżeń dotyczących pamięci.

Jeśli żaden z powyższych problemów nie stanowi problemu, możesz zapoznać się z plikiem fgets, aby odczytać plik wiersz po wierszu i kontynuować przetwarzanie.

$handle = fopen("/tmp/uploadfile.txt", "r") or die("Couldn't get handle"); 
if ($handle) { 
    while (!feof($handle)) { 
     $buffer = fgets($handle, 4096); 
     // Process buffer here.. 
    } 
    fclose($handle); 
} 

Edit

PHP wydaje się nie rzucać się błąd, to po prostu zwraca false.

Czy ścieżka do $rawfile jest poprawna w stosunku do miejsca, w którym uruchomiony jest skrypt? Być może spróbuj tu ustawić bezwzględną ścieżkę dla nazwy pliku.

Answer 2

Cóż, możesz spróbować użyć funkcji readfile, jeśli chcesz wydrukować plik.

Jeśli tak nie jest - może powinieneś pomyśleć o projekcie aplikacji, dlaczego chcesz otwierać tak duże pliki na żądanie internetowe?

Answer 3

Użyłem fopen do otwierania plików wideo do przesyłania strumieniowego, używając skryptu php jako serwera strumieniowego przesyłania wideo, i nie miałem problemu z plikami o rozmiarze większym niż 50/60 MB.

Answer 4

Czy próbowałeś pliku()?

http://is2.php.net/manual/en/function.file.php

Albo pliku_ get_contents()

http://is2.php.net/manual/en/function.file-get-contents.php

Answer 5

Jeśli problem wynika z przekroczenia limitu pamięci, możesz spróbować ustawić wyższą wartość (może to działać lub nie, zależnie od konfiguracji php).

ta ustawia limit pamięci do 12 MB

ini\_set("memory_limit","12M"); 

Answer 6

dla mnie, fopen() jest bardzo powolny z plikami ponad 1MB, plik() jest znacznie szybsze. Po prostu próbuje czytać linie 100 na raz i tworzyć wsadowe wstawki, fopen() trwa 37 sekund w stosunku do pliku() zajmuje 4 sekundy. Musi to być ciąg znaków-> krok tablicy wbudowany w plik()

Chciałbym wypróbować wszystkie opcje obsługi plików, aby zobaczyć, które najlepiej sprawdzą się w twojej aplikacji.

Answer 7

Czy 2 testy z pliku 1.3GB i 9.5GF Plik

1,3

Korzystanie fopen()

Proces ten stosowany 15555 ms dla swoich obliczeń.

To spędził 169 ms w systemie nazywa

Korzystanie file()

Proces ten wykorzystywany 6983 ms dla swoich obliczeń.

To spędził 4469 ms w systemie nazywa

9.5GB

Korzystanie fopen()

Proces ten wykorzystywany 113559 ms dla swoich obliczeń

wydano 2532 ms w systemie nazywa

Używanie file()

Proces ten wykorzystywany 8221 ms dla swoich obliczeń

spędził on 7998 ms w system wywołuje

Wydaje file() jest szybsza