caffe ze zdjęciami z wieloma etykietami

Question

Mam zbiór danych obrazów, które mają wiele etykiet; W zestawie danych znajduje się 100 klas, a każdy obraz ma przypisane od 1 do 5 etykiet.

Obserwuję dyspozycję w następującym adresem URL:

https://github.com/BVLC/caffe/issues/550

Mówi, że muszę wygenerować plik tekstowy z listą obrazów i jego etykiety jak w

/home/my_test_dir/picture-foo.jpg 0 
/home/my_test_dir/picture-foo1.jpg 1 

w moim przypadku, ponieważ mam obrazów multi-label, to działa po prostu dodać etykiety jak w następujących?

/home/my_test_dir/picture-foo.jpg 0 2 5 
/home/my_test_dir/picture-foo1.jpg 1 4 

Mam wrażenie, że to chyba nie będzie takie proste, a jeśli mam rację, w jakim etapie iw jaki sposób należy zintegrować multi-label-ności zbioru danych w proces zakładania Caffe?

Answer 1

Wierzę odpowiedź Shai nie up-to-date jest. Caffe supports multi-label/matrix ground truth dla formatów HDF5 i LMDB. Fragment pyton w this github komentarzu pokazuje jak zbudować multi-label LMDB gruntowych prawdy (patrz Shai's answer dla formatu HDF5). W odróżnieniu od konstrukcji zestawów danych obrazu pojedynczych etykiet, dla obrazów tworzony jest plik lmdb, natomiast drugi plik LMDB jest tworzony dla danych z wielu podstawowych danych o ziemi. Fragment zajmuje się przestrzenną prawdą opartą na wielu etykietach, przydatną do oznaczania obrazów w pikselach.

Kolejność, w którym dane są zapisywane do lmdb ma kluczowe znaczenie. Porządek ziemskiej prawdy musi być zgodny z kolejnością obrazów.

Warstwy strat, takie jak SOFTMAX_LOSS, EUCLIDEAN_LOSS, SIGMOID_CROSS_ENTROPY_LOSS, również obsługują dane z wieloma etykietami. Jednak warstwa dokładności jest nadal ograniczona do danych pojedynczych etykiet. Możesz obserwować numer this github issue, aby śledzić, kiedy ta funkcja zostanie dodana do Caffe.

Answer 2

AFAIK, obecna wersja Caffe nie obsługuje zestawy danych lmdb/leveldb dla obrazów z multilabels. Możesz jednak (i ​​prawdopodobnie powinieneś) przygotować swoje dane wejściowe w formacie HDF5. Warstwa wejściowa Caffe HDF5 jest znacznie bardziej elastyczna i pozwala na umieszczenie wielu etykiet na jednym wejściu.
This answer zawiera krótki opis tworzenia danych wejściowych HDF5 dla caffe.

Kolejną kwestią należy rozwiązać, jest fakt, że jesteś zainteresowany nie tylko w wielu -label za obrazem, ale także z różnym liczbę etykiet na obrazie. Jak definiujesz stratę na obraz, na etykietę? może się zdarzyć, że będziesz musiał napisać własną warstwę strat.
Istnieje kilka warstw strat, które obsługują "ignorowanie etykiety": to znaczy, że do obrazu przypisana jest określona etykieta wejściowa, nie jest obliczana strata dla danego obrazu. Zobacz, np. AccuracyLayer i SoftmaxWithLossLayer.

Answer 3

caffe obsługuje wielokategorialnym. Możesz umieścić etykiety w gorących wektorach np. [0,1,1,0,0,1, ...].Musisz przekształcić etykiety na tensory n * k * 1 * 1 i użyć sigmoidalnej entropii krzyżowej lub euklidesowej, a nie softmax (która wymusza sumę (wyniki) = 1)