Jak zoptymalizować MySQL, aby wstawić miliony wierszy?

Question

Potrzebuję wstawić miliony wierszy do bazy danych MySQL (silnik InnoDB). Mam problem z czasem, kiedy stoły mają duże rozmiary. Prawie cały czas poświęca się na wstawianie zapytań. Może ktoś wie, jak ją zoptymalizować?

Answer 1

celu importowania dużą objętość danych do InnoDB:

1. ustawiana w konfiguracji MySQL

   • innodb_doublewrite = 0
   • innodb_buffer_pool_size = 50% + pamięci systemowej
   • innodb_log_file_size = 512m
   • log-bin = 0
   • innodb_support_xa = 0
   • innodb_flush_log_at_trx_commit = 0

2. Dodaj zaraz po rozpoczęciu transakcji:

   SET FOREIGN_KEY_CHECKS = 0;

   USTAW UNIQUE_CHECKS = 0;

   SET AUTOCOMMIT = 0;

3. ustawiona tuż przed końcem transakcji:

   SET UNIQUE_CHECKS = 1;

   SET FOREIGN_KEY_CHECKS = 1;

Answer 2

Jeśli mówisz o dużej liczbie instrukcji INSERT, spójrz na coś zwane transakcjami. Jestem całkiem pewien, że większość (jeśli nie wszystkie) języki obsługują transakcje SQL. Przyspieszą wszystko, co wiąże się z pisaniem do DB. Dodatkową korzyścią jest to, że jeśli coś pójdzie nie tak, możesz wycofać zmiany.