MySQL ładowanie danych infile - przyspieszenie?

Question

Czasami muszę ponownie zaimportować dane do projektu, czytając w ten sposób około 3,6 miliona wierszy do tabeli MySQL (obecnie InnoDB, ale tak naprawdę nie jestem ograniczony do tego silnika). "Load data infile ..." okazało się najszybszym rozwiązaniem, jednak ma kompromis: - podczas importowania bez kluczy, samo importowanie trwa około 45 sekund, ale tworzenie klucza trwa wieki (trwa już 20 minut. ..). - wykonywanie importu za pomocą klawiszy na stole powoduje, że import jest znacznie wolniejszy

Istnieją klucze nad trzema polami tabeli, odnoszącymi się do pól numerycznych. Czy istnieje sposób na przyspieszenie tego?

Inną kwestią jest: gdy kończę proces, który rozpoczął powolne zapytanie, kontynuuje działanie w bazie danych. Czy istnieje sposób na zakończenie kwerendy bez restartowania mysqld?

Thanks a lot dBA

Answer 1

Jeśli korzystasz z innodb i ładowanie zbiorcze, oto kilka wskazówek:

posortuj plik CSV w podstawowej kolejności klawiszy tabeli docelowej: pamiętaj, że innodb używa klastrowane klucze główne, dzięki czemu ładują się szybciej, jeśli zostaną posortowane!

typowy plik_we dane obciążenie używam:

truncate <table>; 

set autocommit = 0; 

load data infile <path> into table <table>... 

commit; 

inne optymalizacje można użyć, aby zwiększyć czas ładowania:

set unique_checks = 0; 
set foreign_key_checks = 0; 
set sql_log_bin=0; 

podzielić plik csv na mniejsze kawałki

typowe stats import I zaobserwowałem podczas ładowania zbiorczego:

3.5 - 6.5 million rows imported per min 
210 - 400 million rows per hour 

Answer 2

Ten blog post jest prawie 3 lat, ale nadal jest istotne i ma pewne dobre propozycje dla optymalizacji wydajności "LOAD DATA INFILE":

http://www.mysqlperformanceblog.com/2007/05/24/predicting-how-long-data-load-would-take/

Answer 3

InnoDB to całkiem niezły silnik. Jednak bardzo zależy od bycia "nastrojonym". Jedną rzeczą jest to, że jeśli twoje wstawki nie są w porządku zwiększania podstawowych kluczy, innoDB może potrwać nieco dłużej niż MyISAM. Można to łatwo pokonać, ustawiając wyższą wartość innodb_buffer_pool_size. Moją sugestią jest ustawienie jej na 60-70% całkowitej pamięci RAM na dedykowanym urządzeniu MySQL.