Opracowałem kilka pająków w scrapy & Chcę przetestować te na chmurze Heroku. Czy ktokolwiek ma pojęcie o tym, jak wdrożyć spider Scrapy w chmurze Heroku?Jak wdrożyć spider Scrapy na chmurze Heroku
Odpowiedz
Tak, dość łatwo jest wdrożyć i uruchomić pająk Scrapy na Heroku.
Oto kroki wykorzystujące rzeczywisty projekt Scrapy jako przykład:
Clone projekt (należy pamiętać, że musi on mieć plik
requirements.txt
dla Heroku rozpoznać go jako projekt Python):git clone https://github.com/scrapinghub/testspiders.git
Dodaj cffi do pliku requirements.txt (np. Cffi == 1.1.0).
Tworzenie aplikacji Heroku (Spowoduje to dodanie nowego Heroku git remote):
heroku create
Wdrażanie projektu (to zajmie chwilę po raz pierwszy, gdy ślimak jest zbudowany):
git push heroku master
Uruchom swój pajęczy:
heroku run scrapy crawl followall
Kilka uwag:
- dysk Heroku jest ulotne. Jeśli chcesz przechowywać zeskrobane dane w trwałym miejscu, możesz użyć S3 feed export (przez dołączenie
-o s3://mybucket/items.jl
) lub użyć dodatku (takiego jak MongoHQ lub Redis To Go) i napisać potok do przechowywania tam swoich przedmiotów - Byłby to fajnie uruchomić serwer Scrapyd na Heroku, ale nie jest to obecnie możliwe, ponieważ moduł
sqlite3
(który wymaga Scrapyd) nie działa na Heroku - Jeśli potrzebujesz bardziej wyrafinowanego rozwiązania do rozmieszczania pająków Scrapy, zastanów się nad samodzielnym skonfigurowaniem Scrapyd server lub usługa hostowana, taka jak Scrapy Cloud
Wierzę, że "heroku run" uruchamia jednorazowe urządzenie Dyno, które spowoduje dodatkowe koszty. Czy to jedyna opcja? – elgehelge
@Hellge one off dynos nie kosztuje więcej za minutę niż standardowe dynos. –
Możesz użyć scrapy-heroku, aby uruchomić serwer Scrapyd na heroku! Pracuje dla mnie świetnie. https://github.com/dmclain/scrapy-heroku – arctelix
- 1. Scrapy nie można znaleźć spider
- 2. Jak wywołać Scrapy Spider przez aplikację Django
- 3. Scrapy Spider zwraca Brak zamiast pozycji
- 4. Scrapy Spider: Ponownie uruchom pająka, gdy kończy się
- 5. Jak wdrożyć aplikację .NET Heroku
- 6. Jak wdrożyć pulpit analizowania w heroku?
- 7. Jak mogę wdrożyć stare zatwierdzenia do Heroku?
- 8. node.js aplikacja wdrożyć w Heroku
- 9. Fail wdrożyć node.js aplikacji Heroku
- 10. Jak wdrożyć aplikację szyn na heroku z travis-ci?
- 11. Jak uruchomić InfluxDB na Heroku?
- 12. Kubernetes na chmurze AWS
- 13. Jak wdrożyć lokalną bazę danych MySQL do Heroku
- 14. Jak wdrożyć aplikację Angular.js?
- 15. Jak wdrożyć węzeł, który używa pakietu Webpack do heroku
- 16. Wyjątki samouczek Scrapy
- 17. Wdrażanie aplikacji WPF na komputer w chmurze
- 18. Zainstaluj freetds na Heroku
- 19. Scrapy żądanie + odpowiedź + czas pobierania
- 20. Opracowanie oparte na chmurze Android
- 21. GAE Maven, jak wdrożyć
- 22. Jak ustawić różne ustawienia scrapy dla różnych pająków?
- 23. Lokalnie uruchomić wszystkie pająki w Scrapy
- 24. Wywołanie Scrapy z innego pliku bez gwintowania
- 25. Scrapy Shell i Scrapy Splash
- 26. OpenCV w chmurze
- 27. Na Heroku, jak wdrożyć aplikację Rails, która nie znajduje się w katalogu głównym git repo?
- 28. Jak zrestartować Scrapy pająka
- 29. Przekazywanie argumentów do process.crawl w Scrapy pytona
- 30. Jak uruchomić Redis na Heroku?
scrapy-heroku została napisana specjalnie w tym celu: http: //pypi.p ython.org/pypi/scrapy-heroku –