Jak mogę dopasować znak nowej linii w grok/logstash?

Question

Mam zdalną maszynę, która łączy zdarzenia wielowierszowe i wysyła je przez protokół drwala.

Co przychodzi coś, co wygląda tak:

{ 
    "message" => "2014-10-20T20:52:56.133+0000 host 2014-10-20 15:52:56,036 [ERROR ][app.logic  ] Failed to turn message into JSON\nTraceback (most recent call last):\n File \"somefile.py", line 249, in _get_values\n return r.json()\n File \"/path/to/env/lib/python3.4/site-packages/requests/models.py\", line 793, in json\n return json.loads(self.text, **kwargs)\n File \"/usr/local/lib/python3.4/json/__init__.py\", line 318, in loads\n return _default_decoder.decode(s)\n File \"/usr/local/lib/python3.4/json/decoder.py\", line 343, in decode\n obj, end = self.raw_decode(s, idx=_w(s, 0).end())\n File \"/usr/local/lib/python3.4/json/decoder.py\", line 361, in raw_decode\n raise ValueError(errmsg(\"Expecting value\", s, err.value)) from None\nValueError: Expecting value: line 1 column 1 (char 0), Failed to turn message into JSON" 
} 

Kiedy próbuję dopasować wiadomość z

grok {   
    match => [ "message", "%{TIMESTAMP_ISO8601:timestamp} \[%LOGLEVEL:loglevel}%{ SPACE}\]\[%{NOTSPACE:module}%{SPACE}\]%{GREEDYDATA:message}" ] 
} 

GREEDYDATA nie jest tak chciwy jak chciałbym.

Więc starałem się używać gsub:

mutate { 
    gsub => ["message", "\n", "LINE_BREAK"] 
} 
# Grok goes here 
mutate { 
    gsub => ["message", "LINE_BREAK", "\n"] 
} 

ale jeden nie działa zamiast

The Quick brown fox 
jumps over the lazy 
groks 

mam

The Quick brown fox\njumps over the lazy\ngroks 

więc ...

Jak mogę dodać wrócić do moich danych, sprawić, że GREEDYDATA pasuje do moich nowych linii, lub w jakiś inny sposób pobrać odpowiednią część mojej wiadomości?

Answer 1

GREEDYDATA Wszystko to jest .*, ale . nie pasuje do nowej linii, więc można zastąpić %{GREEDYDATA:message} z (?<message>(.|\r|\n)*) i zmusić go do być naprawdę chciwi.

Answer 2

dodanie flagi regex początku umożliwia dopasowanie nowej linii:

match => [ "message", "(?m)%{TIMESTA...