Znajdowanie znaczących zdań podrzędnych od zdania

Question

Czy istnieje sposób, aby znaleźć wszystkie zdania podrzędne zdania, które są nadal znaczące i zawierać co najmniej jeden temat, czasownik i predykat/obiekt?

Na przykład, jeśli mamy zdanie typu "Mam zamiar zrobić seminarium na temat NLP na SXSW w Austin w przyszłym miesiącu". Możemy wydobyć następujące znaczące podpunkty tego zdania: "Zrobię seminarium", "Zorganizuję seminarium na temat NLP", "Zorganizuję seminarium na temat NLP na SXSW", " Mam zamiar zrobić seminarium na SXSW "," Mam zamiar zrobić seminarium w Austin "," Mam zamiar zrobić seminarium na temat NLP w przyszłym miesiącu ", itp.

Należy pamiętać, że nie ma wydedukowane zdania tutaj (np. "W przyszłym miesiącu odbędzie się seminarium NLP na SXSW". Chociaż to prawda, nie potrzebujemy tego jako części tego problemu.). Wszystkie generowane zdania są ściśle częścią danego zdania.

Jak możemy podejść do rozwiązania tego problemu? Myślałem o stworzeniu adnotowanych danych treningowych, które mają zestaw legalnych pod zdań dla każdego zdania w zbiorze danych treningowych. A następnie napisz kilka nadzorowanych algorytmów uczenia się, aby wygenerować model.

Jestem całkiem nowy w NLP i uczeniu maszynowym, więc byłoby wspaniale, gdybyście mogli zaproponować kilka sposobów rozwiązania tego problemu.

Answer 1

Istnieje artykuł zatytułowany "Using Discourse Commitments to Recognize Textual Entailment" autorstwa Hickla i wsp., Który omawia ekstrakcję zobowiązań dyskursu (pod zdań). Artykuł zawiera opis algorytmu, który na pewnym poziomie działa na regułach. Wykorzystali go do RTE, a na wyjściu mogą być minimalne poziomy dedukcji. Uproszczenie tekstu może być pokrewnym obszarem do obejrzenia.

Answer 2

Jednym z podejść byłoby narzędzie do analizowania składni, takie jak PCFG. Próbowanie po prostu wytrenowania modelu wykrywającego "podświadomość" może cierpieć z powodu niespójności danych. Ponadto mam wątpliwość, czy można napisać naprawdę czystą i jednoznaczną definicję subsentencji, a jeśli nie można jej zdefiniować, nie można uzyskać adnotacji, aby ją opatrzyć komentarzem.

Answer 3

Można użyć parsera zależności dostarczonego przez Stanford CoreNLP. Zwinięte wyjście twojego zdania będzie wyglądało jak poniżej.

nsubj(going-3, I-1) 
xsubj(do-5, I-1) 
aux(going-3, am-2) 
root(ROOT-0, going-3) 
aux(do-5, to-4) 
xcomp(going-3, do-5) 
det(seminar-7, a-6) 
dobj(do-5, seminar-7) 
prep_on(seminar-7, NLP-9) 
prep_at(do-5, -11) 
prep_in(do-5, Austin-13) 
amod(month-15, next-14) 
tmod(do-5, month-15) 

Ostatnie 5 wyników zdania jest opcjonalne. Możesz usunąć jedną lub więcej części, które nie są niezbędne dla twojego zdania.
Większość tych opcjonalnych części należy do przyimków i modyfikatorów np. prep_in, prep_do, advmod, tmod, itp.. Zobacz Stanford Dependency Manual.

Na przykład, jeśli usunąć wszystkie modyfikator z wyjścia, dostaniesz

mam zamiar zrobić seminarium na temat NLP na SXSW w Austin.

Answer 4

Następujący papier przetwarza zależności od parsera Stanford i konstruuje proste zdania (uproszczenie tekstu).

Zobacz demo online - https://d5gate.ag5.mpi-sb.mpg.de/ClausIEGate/ClausIEGate