Efektywny sposób importowania wielu plików CSV do PostgreSQL db

Question

Widzę mnóstwo przykładów importowania pliku CSV do bazy danych PostgreSQL, ale potrzebuję skutecznego sposobu na zaimportowanie 500 000 plików CSV do jednego pliku bazy danych PostgreSQL. Każdy plik CSV ma nieco ponad 500 KB (łącznie ok. 272 ​​GB danych).

Pliki CSV są identycznie sformatowane i nie ma duplikatów (dane zostały wygenerowane programowo z surowego źródła danych). Szukałem i będę nadal szukał opcji w Internecie, ale byłbym wdzięczny za wszelkie wskazówki, jak to zrobić w najbardziej efektywny sposób. Mam pewne doświadczenie z Pythonem, ale przekopię się do każdego innego rozwiązania, które wydaje się odpowiednie.

Dzięki!

Answer 1

Niezły fragment danych, które tam masz. Nie jestem w 100% pewny co do Postgre, ale przynajmniej MySQL dostarcza kilka poleceń SQL, aby podać csv bezpośrednio do tabeli. Pomija to wszelkie kontrole wkładek i tak dalej, i jest większe niż o rząd wielkości szybsze niż zwykłe operacje wstawiania.

Jedną z najszybszych możliwych dróg jest stworzenie prostego skryptu Pythona, informującego serwer postgre, które pliki csv, w których porządku chciwie pożerają jego niekończące się tabele.

Answer 2

Jeśli zacząć od czytania PostgreSQL guide "Populating a Database" zobaczysz kilka rad:

1. załadować dane w ramach jednej transakcji.
2. Użyj COPY, jeśli to możliwe.
3. Usuń indeksy, ograniczenia klucza obcego itp. Przed załadowaniem danych i ich późniejszym przywróceniem.

PostgreSQL COPY statement już obsługuje format csv:

COPY table (column1, column2, ...) FROM '/path/to/data.csv' WITH (FORMAT CSV) 

więc wygląda na to, czy jesteś najlepszy off nie używając Pythona w ogóle, lub przy użyciu Python tylko do generowania wymaganej sekwencji COPY wypowiedzi.

Answer 3

używam php i postgres i odczytać pliku CSV z php i jeździć ciąg w następującym formacie:

{ {line1 column1, line1 column2, line1 column3} , { line2 column1,line2 column2,line2 column3} } 

starannością w pojedynczej transakcji przekazując parametr ciąg do funkcji PostgreSQL.

Mogę sprawdzić wszystkie rekordy, formatowanie, ilość danych itd. I uzyskać wynik importowania 500 000 rekordów w około 3 minuty.

Aby odczytać dane w funkcji postgresql:

DECLARE 
    d varchar[]; 
BEGIN 

    FOREACH d SLICE 1 IN ARRAY p_dados 
    LOOP 


    INSERT INTO schema.table (
     column1, 
     column2, 
     column3, 
    ) 
    VALUES ( 
     d[1], 
     d[2]::INTEGER, -- explicit conversion to INTEGER 
     d[3]::BIGINT, -- explicit conversion to BIGINT 
    );   
    END LOOP; 

    END;