Używanie jq do łączenia plików json, uzyskanie zbyt długiej długości listy plików

Question

Używanie jq do dołączania plików json do katalogu.

Katalog zawiera kilkaset tysięcy plików.

jq -s '.' *.json > output.json

zwraca błąd, że lista plików jest zbyt długa. Czy istnieje sposób na zapisanie tego, który używa metody, która zajmie więcej plików?

Answer 1

Jeśli jq -s . *.json > output.json tworzy "zbyt długą listę argumentów"; mógłbyś fix it using zargs in zsh:

$ zargs *.json -- cat | jq -s . > output.json 

że można naśladować stosując find jak pokazano na @chepner's answer:

$ find -maxdepth 1 -name \*.json -exec cat {} + | jq -s . > output.json 

"Data in jq is represented as streams of JSON values ... This is a cat-friendly format - you can just join two JSON streams together and get a valid JSON stream.":

$ echo '{"a":1}{"b":2}' | jq -s . 
[ 
    { 
    "a": 1 
    }, 
    { 
    "b": 2 
    } 
] 

Answer 2

[edytowane używać find]

Oczywistą rzeczą do rozważenia będzie przetwarzać jeden plik na raz, a potem "slurp" im:

$ while read f ; cat "$f" ; done <(find . -maxdepth 1 -name "*.json") | jq -s . 

to jednak przypuszczalnie wymagać dużo pamięciowy. W ten sposób następuje może być bliżej, co trzeba:

#!/bin/bash 
# "slurp" a bunch of files 
# Requires a version of jq with 'inputs'. 
echo "[" 
while read f 
do 
    jq -nr 'inputs | (., ",")' $f 
done < <(find . -maxdepth 1 -name "*.json") | sed '$d' 
echo "]" 

Answer 3

Problemem jest to, że długość linii poleceń jest ograniczona, a *.json produkuje zbyt wiele argumentów za jednym wierszu poleceń. Jednym rozwiązaniem jest rozbudować wzór w for pętli, które nie mają znaczenia takie same ograniczenia jak w linii polecenia ponieważ bash może iteracyjnego wyniku wewnętrznie zamiast konstruowania listę argumentów na polecenie zewnętrznej:

for f in *.json; do 
    cat "$f" 
done | jq -s '.' > output.json 

Jest to raczej nieefektywne, ponieważ wymaga jednorazowego uruchomienia cat dla każdego pliku. Bardziej wydajnym rozwiązaniem jest użycie find do wywoływania cat z jak największą liczbą plików za każdym razem.

find . -name '*.json' -exec cat '{}' + | jq -s '.' > output.json 

(może być w stanie po prostu użyć

find . -name '*.json' -exec jq -s '{}' + > output.json 

jak dobrze, może to zależeć od tego, co jest w plikach i jak wiele połączeń do jq używając opcji -s porównuje się do jednego połączenia.)