7
Chcę wiedzieć, jak przeanalizować plik robots.txt w języku Java.parser robots.txt java
Czy istnieje już jakiś kod?
A
Odpowiedz
5
1
Istnieje również jrobotx library hostowany na SourceForge.
(Pełne ujawnienie: I wydzielona kod, który tworzy tę bibliotekę.)
0
Jest też nowa wersja robotom Gmin:
https://github.com/crawler-commons/crawler-commons
Biblioteka ma na celu wdrożenie funkcjonalności wspólne do dowolnego robota sieciowego i zawiera bardzo przydatny parser robots.txt.
Powiązane problemy
- 1. Parser robots.txt dla języka Java z obsługą symboli wieloznacznych
- 2. Java Parser RTF
- 3. Czy istnieje parser Java dla języka Java?
- 4. Java SAX Parser podnosi UnknownHostException
- 5. Jsoup Java parser HTML: Wykonywanie zdarzeń javascript
- 6. Parser JAVA SAX dzieli rozmowy na znaki()
- 7. Metatag kontra robots.txt
- 8. Crawler internetowy - Ignoruj plik Robots.txt?
- 9. BingBot & BaiduSpider nie szanują robots.txt
- 10. Wielowątkowe używanie Stanford Parser
- 11. DOM Parser XML Przykład
- 12. Pełny parser LaTeX w Javie
- 13. Proste fizyczna jednostka pomiaru ilości parser dla Java
- 14. java generic String na <T> parser
- 15. data i czas Natural Language parser dla Java
- 16. Robots.txt: czy ta reguła jest ważna?
- 17. Składnia pliku robots.txt nie jest zrozumiała
- 18. coraz zabronione przez plik robots.txt: scrapy
- 19. Nginx: inna robots.txt dla domeny alternte
- 20. Django - ładowanie pliku Robots.txt poprzez ogólne widoki
- 21. Wiele plików robots.txt dla subdomen w szynach
- 22. jak odrzucać wszystkie dynamiczne linki robots.txt
- 23. HTTP 403 podczas pobierania robots.txt o mechanize
- 24. Haskell - Parser rekurencyjny zejście
- 25. C# ASP.NET QueryString parser
- 26. Prosty C XML parser
- 27. Python SVG parser
- 28. Jak zrozumieć parser Anorm?
- 29. Parser z językiem DOT
- 30. parser rss w .net
W robocie plikstxt występuje błąd. Proszę go nie używać. Zmarnowany dużo czasu. Do takiego pliku: User-agent: * Disallow:/ AllowAll metoda Robotstxt mówi "true". – 10101010