Jak korzystać z tekstu?

Question

Podążałem za linkiem this, aby użyć tekstu. Wyszkoliłem model za pomocą dostarczonego polecenia. Ale nie widzę żadnego folderu "train" w katalogu "textsum/log_root /". Ponieważ szkolenie odbywa się na przykładowym pliku, czy model będzie mógł pracować na danych testowych w czasie rzeczywistym? Jeśli nie, w jaki sposób mogę utworzyć dane szkoleniowe i przeszkolić model? A co najważniejsze, w jaki sposób mogę przetestować/użyć modelu, aby zobaczyć podsumowanie wyników?

Answer 1

Szczerze nie mogę odpowiedzieć, dlaczego nie widziałbyś folderu kolejowego w katalogu katalog_główny_logów, jeśli poprawnie przekazałeś wszystkie parametry. Jeszcze jedną rzeczą do zapamiętania jest upewnienie się, że czekasz wystarczająco długo. Więc kiedy wykonasz ćwiczenie treningowe za pomocą funkcji Textsum, widzisz jakieś szczegółowe dzienniki z informacją, że jest jakiś błąd, na przykład brak listy plików lub coś podobnego. Jeśli tak, to ścieżka przekazana do jednego z parametrów jest prawdopodobnie wyłączona. Jest to względne względem ścieżki, z której ją wywołujesz, więc musisz upewnić się, że jesteś na ścieżce głównej, gdzie znajduje się plik obszaru roboczego.

Kolejna rzecz, czy korzystasz z procesora lub GPU? Jeśli korzystasz z procesora CPU, to zajmuje trochę czasu, zanim model osiągnie punkt, w którym jest nawet w stanie zapisać dane. Teraz, jeśli używasz GPU, jest to znacznie szybsze, ale musisz poczekać, aż logi "average_loss" zaczną drukować na twoim ekranie. Gdy zauważysz te, istnieje duża szansa, że ​​zobaczysz swój folder "train" z danymi.

Jeśli chodzi o dane testowe "w czasie rzeczywistym", wciąż w to wpatruję, a teraz, gdy moje bieżące dane są przeszkolone w tym modelu, zacznę od tego również. Kierunek, jak rozumiem do tej pory, polega na tym, że gdy już wyćwiczysz swój model i posiadasz plik pikla lub coś innego, możesz "obsłużyć" go przy użyciu informacji tutaj: https://tensorflow.github.io/serving/

W tym momencie twój model jest przeszkolony i możesz zapytać o niego i podać nową odpowiedź, aby z czasem twój model stał się mądrzejszy. Jeszcze raz nie dowiodłem tego na przykładzie, ale jest to podejście, które niedługo rozpocznę.

Jeśli chodzi o "testowanie modelu", wystarczy wykonać instrukcje zawarte w pliku tekstowym git, ponownie wygenerować plik vocabu, a następnie szkolenie. Następnie, po tym, jak otrzymasz średnią stratę do wystarczająco małej frakcji, możesz uruchomić dekodowanie względem danych. Następnie w folderze dekodowania log_root zobaczysz wygenerowane nagłówki i powiązane z nimi pliki referencyjne (jaki był rzeczywisty nagłówek). Mam nadzieję, że to pomoże i powodzenia!