Chcę zbudować przeszukiwacz, który pobiera adres URL strony, która ma zostać skradziona i zwraca wynik z powrotem na stronę. Teraz zaczynam scrapy od terminala i przechowuję odpowiedź w pliku. Jak mogę uruchomić przeszukiwacz, gdy niektóre dane wejściowe są wysyłane do Flask, przetwarzać i zwracać odpowiedź?Rozpocznij scrapy z trasy Flask
5
A
Odpowiedz
4
Należy utworzyć CrawlerProcess wewnątrz aplikacji Flask i uruchomić programowo programowanie. Zobacz docs.
import scrapy
from scrapy.crawler import CrawlerProcess
class MySpider(scrapy.Spider):
# Your spider definition
...
process = CrawlerProcess({
'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})
process.crawl(MySpider)
process.start() # The script will block here until the crawl is finished
Przed przejściem z Twojego projektu radzę zajrzeć do kolejki zadań Python (jak rq). Umożliwi to uruchamianie indeksowania Scrapy w tle, a aplikacja Flask nie zawiedzie się podczas działania skrobaków.
+0
Użyłem go pod scrapy. Czy podam fragment kodu, na którym działa pająk pod maską? – Vasim
Powiązane problemy
- 1. Budowanie API RESTful Flask dla Scrapy
- 2. Rozpocznij działanie z PreferenceScreen
- 3. Rozpocznij proces z parametrami
- 4. Rozpocznij aktywność z parametrem
- 5. Scrapy Shell i Scrapy Splash
- 6. Scrapy z zagnieżdżoną tablicą
- 7. Uruchamianie Scrapy z widoku Django
- 8. dane Python skrobanie z Scrapy
- 9. Rozpocznij strategię lokalizacji
- 10. UITextField rozpocznij dyktando
- 11. Rozpocznij proces o nazwie
- 12. Rozpocznij działalność na rozruchu
- 13. Rozpocznij zamiar w adapterze
- 14. Rozpocznij aktywność od fragmentu
- 15. Rozpocznij aktywność z działaniem, ale bez kategorii
- 16. Rozpocznij aktywność dla wyniku z IME
- 17. Flask-auth, Principal and Flask Security
- 18. Integracja Paypal z aplikacją Flask
- 19. Właściwe korzystanie z Flask-ldap
- 20. Python Flask z selerem z kontekstu aplikacji
- 21. Czy istnieje sposób, w Django, do definiowania tras za pomocą składni trasy w stylu Flask?
- 22. Rozpocznij nowy proces na nodejs
- 23. Scrapy Vs Nutch
- 24. strona Scrap użyciu scrapy
- 25. Scrapy grab div z wieloma klasami?
- 26. Iterowanie za pośrednictwem stron z Python Scrapy
- 27. Wywołanie Scrapy z innego pliku bez gwintowania
- 28. Pisząc do wielu plików z Scrapy
- 29. Rozpocznij pobieranie pliku po odświeżeniu
- 30. Rozpocznij nową aktywność od SearchView
Przepraszam, ta ostatnia linia jest trochę rozmyta. Co robisz z Flask? Jaki proces? I wróć odpowiedź z powrotem do miejsca? –
Używam FLASK do odsłonięcia punktów końcowych, aby z aplikacji internetowej ktoś mógł opublikować dane wejściowe, np. Link strony internetowej, która ma zostać skradziona. Następnie chcę uruchomić pająk i przekazać to wejście i zwrócić odpowiedź przeszukiwacza z powrotem do aplikacji internetowej. – Ashish
Właśnie odpowiedziałem na podobne pytanie tutaj: https://stackoverflow.com/questions/36384286/how-to-integrate-flask- scrapy –