W jaki sposób mogę wyszkolić identyfikator nazwy rozpoznawanego podmiotu w OpenNLP?

Question

Ok, mam następujący kod do trenowania Identifier NER z OpenNLP

FileReader fileReader = new FileReader("train.txt"); 
ObjectStream fileStream = new PlainTextByLineStream(fileReader); 
ObjectStream sampleStream = new NameSampleDataStream(fileStream); 
TokenNameFinderModel model = NameFinderME.train("pt-br", "train", sampleStream, Collections.<String, Object>emptyMap()); 
nfm = new NameFinderME(model); 

ja nie wiem, czy robię coś źle z jeśli czegoś brakuje, ale klasyfikowanie nie działa. Przypuszczam, że plik train.txt jest nieprawidłowy.

Wystąpił błąd, który powoduje, że wszystkie tokeny są sklasyfikowane tylko dla jednego typu.

Dane mojego pliku train.txt są podobne do poniższego przykładu, ale zawierają dużo więcej zmian i ilości wpisów. Inną rzeczą jest to, że jestem klasyfikuje słowo po słowie z tekstu na czas, a nie wszystkie tokeny.

<START:distance> 8000m <END> 
<START:temperature> 100ºC <END> 
<START:weight> 50kg <END> 
<START:name> Renato <END> 

Ktoś może pokazać, co robię źle?

Answer 1

Twoje dane treningowe nie są prawidłowe.

Należy umieścić wszystkie podmioty w kontekście wewnątrz zdaniu:

At an altitude of <START:distance> 8000m <END> the temperature of boiling water is less than <START:temperature> 100ºC <END> . 
The climber <START:name> Renato <END> is carrying <START:weight> 50kg <END> of equipment. 

Będziesz miał lepsze wyniki jeśli dane szkolenie pochodzi od prawdziwych zdań światowych i mają ten sam styl zdań jesteś klasyfikowanie. Na przykład powinieneś ćwiczyć używając korpusu gazety, jeśli będziesz przetwarzał wiadomości.

Potrzebujesz również tysięcy zdań do zbudowania swojego modelu! Być może możesz zacząć od setki do bootstrapu i użyć słabego modelu, by ulepszyć swój korpus i ponownie trenować swój model.

Oczywiście należy również sklasyfikować wszystkie tokeny zdania, w przeciwnym razie nie będzie kontekstu dla określenia typu jednostki.