5
Niedawno zacząłem szukać apaszki. Mógłbym skonfigurować i móc indeksować strony internetowe z mojego zainteresowania z nutch. Nie bardzo rozumiem, jak czytać te dane. Zasadniczo chcę powiązać dane każdej strony z niektórymi metadanymi (niektóre losowe dane na razie) i przechowywać je lokalnie, które później zostaną wykorzystane do wyszukiwania (semantyczne). Czy muszę używać solr lub lucenu do tego samego? Jestem nowy w tych wszystkich dziedzinach. O ile wiem, Nutch jest używany do indeksowania stron internetowych. Czy może wykonywać dodatkowe funkcje, takie jak dodawanie metadanych do przeszukiwanych danych?Nutch: Dane odczytują i dodają metadane
Hi CRS, ponieważ określili swoje pytanie z „semantycznej-web” Zakładam, że chcesz, aby wyodrębnić pewne ustrukturyzowanych danych ze stron, które chcesz indeksować (albo mikroformaty RDFa i/lub Mikrodane). Jeśli tak jest, zaoszczędzi to dużo czasu na Any23 (http://incubator.apache.org/any23/) (który może być zintegrowany z Nutch i prawdopodobnie ktoś już próbuje to zrobić lub zrobił to już). – castagna
Dziękuję za odpowiedź. Rzucę okiem na Any23. Właściwie to indeksuję "normalne" strony internetowe. Nie jest powiązany z żadnymi metadanymi. Mamy pewien algorytm, który wylicza metadane z tekstu z tych stron. Te metadane powinny zostać dodane do lokalnej kopii strony internetowej. Dlatego szukam robota przeszukującego strony internetowe i wyodrębniającego zawartość, a następnie wstawia metadane do lokalnej kopii stron internetowych. – CRS