AWK do filtrowania plików CSV

Question

Chcę odfiltrować linie, które mają "synonimy" w trzeciej kolumnie. Polecenie jest poniżej:

awk '$3 !~ /^synonymous/' fileCSV.csv > fileCSV2.csv 

Ale plik fileSVV.csv nadal zawiera słowo "synonim" w trzeciej kolumnie. Zastanawiam się, co może być nie tak?

Dwie linie z fileCSV.csv:

"exonic","LINC00115","synonymous SNV","uc010nxx.2:c.C299T:p.P100L",,"0.99",,0.56,rs3115849,,,,,,,,,,,,,chr1,762273,762273,G,A,"chr1","762273",".","G","A","30483.62","PASS","AC=24;AF=1.00;AN=24;DP=2972;FS=0.000;MLEAC=8;MLEAF=1.00;MQ0=0;VQSLOD=19.50;culprit=FS;set=Intersection","GT:AD:DP:GQ:PL","1/1:0,2:2:6:66,6,0","1/1:0,297:297:99:10476,951,0","1/1:0,304:304:99:10098,950,0","1/1:0,295:295:99:9869,929,0","1/1:0,292:292:99:8655,895,0","1/1:0,304:304:99:10006,965,0","1/1:0,179:179:99:5862,568,0","1/1:0,273:273:99:9328,851,0","1/1:0,279:279:99:7946,850,0","1/1:0,283:283:99:9214,866,0","1/1:0,8:8:21:229,21,0","1/1:0,456:456:99:16385,1285,0"  
"exonic","SAMD11","synonymous SNV","uc001abw.1:c.T1027C:p.W343R","559;Name=lod=249",,,1.00,rs6672356,1,0.916445,N,0.0,T,0.0,B,0.998605,N,4.19E-4,N,3.17,chr1,877831,877831,T,C,"chr1","877831",".","T","C","3594.56","PASS","AC=24;AF=1.00;AN=24;DP=387;FS=0.000;MLEAC=8;MLEAF=1.00;MQ=60.00;MQ0=0;VQSLOD=15.00;culprit=DP;set=Intersection","GT:AD:DP:GQ:PL","1/1:0,3:3:9:97,9,0","1/1:0,3:3:12:113,12,0","1/1:0,64:64:99:1805,189,0","1/1:0,57:57:99:1605,168,0","1/1:0,30:30:90:768,90,0","1/1:0,69:69:99:2026,216,0","1/1:0,15:15:45:428,45,0","1/1:0,23:23:81:809,81,0","1/1:0,22:22:69:562,69,0","1/1:0,40:40:99:1142,117,0","1/1:0,3:3:9:94,9,0","1/1:0,58:58:99:14,7,0" 

Answer 1

Jeśli fileCSV.csv ma ​​kolumny oddzielone , niż trzeba

awk -F, '$3 !~ /^synonymous/' fileCSV.csv > fileCSV2.csv 

Jeśli -F nie działać z tą wersją awk spróbuj

awk 'BEGIN{FS=","} $3 !~ /^synonymous/' fileCSV.csv > fileCSV2.csv 

EDIT: trzeba także wziąć pod uwagę ", więc używaj /^"synonymous/

Answer 2

Aby przetworzyć pliku csv za pomocą awk wolałbym następującą metodę automatycznego konta dla cudzysłowie, mianowicie Preprocesuj sed.

Dla konkretnej kwestii użyłbym

sed -e 's/^"//;s/"$//' fileCSV.csv | awk -F '"?,"?' '$3 !~ /^synonymous/' 

Jeśli chcesz także prawidłowo przetwarzać pliki z polami ciąg zawierających cudzysłowy (które będą reprezentowane przez cudzysłów w plikach CSV), trzeba zmienić sed wyraz następujący sposób

sed -e 's/^"//;s/"$//;s/""/"/g' fileCSV.csv | awk -F '"?,"?' '$3 !~ /^synonymous/' 

Ta metoda ma tę zaletę, że pozwala poprawnie wydrukować lub przetwarzać niektóre pola za pomocą awk. Na przykład, jeśli chcesz wydrukować pierwszą i piątą pole z przefiltrowanych wierszy, oddzielonych przez : można teraz używać

sed -e 's/^"//;s/"$//;s/""/"/g' fileCSV.csv | awk -F '"?,"?' '$3 !~ /^synonymous/ { print $1,":",$5}' 

(Jeżeli różnica między tymi metodami nie jest dla ciebie jasne, można spróbować ostatni komenda awk bez wstępnego przetwarzania sed)