Nowości Zestawy danych artykułów

Question

Robię projekt w klasyfikacji wiadomości. Zasadniczo system będzie klasyfikował artykuły informacyjne w oparciu o wstępnie zdefiniowany temat (np. Sport, polityka, międzynarodowe). Aby zbudować system, potrzebuję darmowych zestawów danych do szkolenia systemu.

Do tej pory, po kilku godzinach wyszukiwania google i linków z here jedynymi odpowiednimi zestawami danych, jakie mogłem znaleźć, jest this. Choć mam nadzieję, że to wystarczy, myślę, że spróbuję znaleźć więcej.

Zauważ, że zestawy danych chcę:

1. Zawiera pełne artykuły prasowe, a nie tylko tytuł
2. jest w języku angielskim
3. w formacie .txt, a nie XML lub db

Czy ktoś może mi pomóc?

Answer 1

Możesz go zbudować, możesz napisać skrypt Python/Perl/PHP, w którym uruchamiasz wyszukiwanie, a kiedy znajdziesz odpowiedzi, możesz wyizolować atrybuty za pomocą regex ... Myślę, że to najlepsza opcja. Nie jest to łatwe, ale powinno być zabawne, w końcu możesz udostępnić nam ten zestaw danych.

Answer 2

Czy próbowałeś użyć Reuters21578? Jest to najczęstszy zbiór danych do klasyfikacji tekstu. Jest sformatowany w SGML, ale bardzo łatwo jest parsować i przekształcać do formatu txt.