Jak pominąć kolumny w pliku CSV podczas importowania do tabeli MySQL za pomocą LOAD DATA INFILE?

Question

Mam plik CSV z 11 kolumnami i mam tabelę MySQL z 9 kolumnami.

Plik CSV wygląda następująco:

col1, col2, col3, col4, col5, col6, col7, col8, col9, col10, col11 

i tabela MySQL wygląda następująco:

col1, col2, col3, col4, col5, col6, col7, col8, col9 

muszę mapować kolumn 1-8 z pliku CSV bezpośrednio do pierwszych 8 kolumn tabela MySQL. Następnie należy pominąć następne dwie kolumny w pliku CSV, a następnie zmapować kolumnę 11 pliku CSV do kolumny 9 tabeli MySQL.

Obecnie używam następującą komendę SQL:

LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE my_table 
FIELDS TERMINATED BY ',' 
ENCLOSED BY '' 
LINES TERMINATED BY '\n' 

Ale powyższy kod mapy pierwsze 9 kolumny pliku CSV do 9 kolumn w tabeli MySQL.

Answer 1

From Mysql docs:

Można też odrzucić wartość wejściową przez przypisaniem go do zmiennej użytkownika i nie przypisując zmiennej tabeli kolumny:

LOAD DATA INFILE 'file.txt' 
INTO TABLE t1 (column1, @dummy, column2, @dummy, column3); 

Answer 2

Step1. radzić sobie z awk.

cat file.txt |awk '{print $1,$2,$5...}'>new_file.txt 

step2.load do mysql.

load data local infile 'new_file' into table t1(...) 

Poniższa metoda jest prosta, ale niedozwolona w niższej wersji mysql.

LOAD DATA INFILE 'file.txt' 
INTO TABLE t1 (column1, @dummy, column2, @dummy, column3); 

Answer 3

@deemi:

Jedynym sposobem, aby ignorować @dummy jest ustawienie domyślne Pole do AUTO INCREMENT. Więc można pominąć pole i tylko kod tak,

LOAD DATA INFILE 'file.txt' 
INTO TABLE t1 (column2, column3, column4, column5); 

// zakłada, że ​​nazwa_pola column1 jest ustawiony na AUTO INCREMENT domyślnie.

Answer 4

Myślę, że jest jeszcze jedna zmiana w kodzie:

Poniższa komenda SQL:

LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE my_table 
FIELDS TERMINATED BY ',' 
ENCLOSED BY '' 
LINES TERMINATED BY '\n' 

-will prawdopodobnie spowodować błąd obcięcia danych.

Więc lepiej jest używać LINES TERMINATED BY '\r\n' zamiast LINES TERMINATED BY '\n'

więc kod będzie:

LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE my_table 
FIELDS TERMINATED BY ',' 
ENCLOSED BY '' 
LINES TERMINATED BY '\r\n'