Usuwanie pola z dokumentu Elasticsearch

Question

Potrzebuję usunąć pole we wszystkich dokumentach indeksowanych do Elasticsearch. Jak mogę to zrobić. Czy którekolwiek z zapytań o usunięcie pomoże mi to osiągnąć.

Answer 1

Co @backtrack powiedział jest prawdą, ale to nie jest bardzo wygodny sposób robienia tego w Elasticsearch. Elasticsearch usunie wewnętrzną złożoność usuwania. Trzeba użyć aktualizacji API do osiągnięcia tego celu -

curl -XPOST 'localhost:9200/test/type1/1/_update' -d '{ 
    "script" : "ctx._source.remove(\"name_of_field\")" 
}' 

Można znaleźć więcej dokumentacji here.

Uwaga: Zgodnie z elastycznej Szukaj 6 które są wymagane, aby zawierać nagłówek Content-Type:

-H 'Content-Type: application/json' 

Answer 2

Domyślnie nie jest to możliwe, ponieważ teraz Lucene tego nie obsługuje. Zasadniczo można tylko umieszczać lub usuwać całe dokumenty Lucene z indeksów Lucene.

1. Pobierz pierwszą wersję swojej doc
2. usunąć pole
3. Push nowej wersji swojej doc

Answer 3

Elasticsearch dodaną update_by_query w 2.3. Ten eksperymentalny interfejs umożliwia aktualizację wszystkich dokumentów pasujących do zapytania.

Wewnętrznie elastyczne wyszukiwanie polega na skanowaniu/przewijaniu w celu zebrania partii dokumentów, a następnie ich aktualizacji, tak jak w przypadku interfejsu aktualizacji zbiorczej. Jest to szybsze niż robienie tego ręcznie za pomocą własnego interfejsu skanowania/przewijania ze względu na brak obciążenia sieci i serializacji. Każdy rekord musi być załadowany do pamięci RAM, zmodyfikowany, a następnie zapisany.

Wczoraj usunąłem duże pole z mojego klastra ES. Widziałem stałą przepustowość 10.000 rekordów na sekundę podczas update_by_query, ograniczoną przez CPU, a nie IO.

Sprawdź w ustawieniu conflict=proceed, czy klastrze ma inny ruch aktualizacji, lub całe zadanie zostanie zatrzymane, gdy trafi na ConflictError, gdy jeden z rekordów zostanie zaktualizowany pod jedną z partii.

Podobnie ustawienie wait_for_completion=false spowoduje, że update_by_query będzie działał przez interfejs tasks. W przeciwnym razie zadanie zostanie zakończone, jeśli połączenie zostanie zamknięte.

url: ciało

http://localhost:9200/type/_update_by_query?wait_for_completion=false&conflict=proceed 

POST:

{ 
    "script": ctx._source.remove("name_of_field"), 
    "query": { 
    "bool": { 
     "must": [ 
     { 
      "exists": { 
      "field": "name_of_field" 
      } 
     } 
     ] 
    } 
    } 
} 

Od Elasticsearch 1.43, inline groovy scripting is disabled by default. Musisz go włączyć, aby skrypt wbudowany działał, dodając script.inline: true do pliku konfiguracyjnego.

Lub prześlij groovy jako skrypt i użyj formatu "script": { "file": "scriptname", "lang": "groovy"}.