Mam skrypt crawlingu w sieci web, który zajmuje wiele godzin, i nie można go uruchomić w całości na moim komputerze lokalnym. Czy istnieje wygodny sposób wdrożenia tego na prostym serwerze WWW? Skrypt w zasadzie pobiera strony internetowe do plików tekstowych. Jak najlepiej to osiągnąć? Dzięki!Jaki jest najłatwiejszy sposób uruchamiania skryptów Pythona na serwerze w chmurze?
Odpowiedz
Ponieważ powiedziałeś, że wydajność jest problemem i robisz skrobaczki internetowe, pierwszą rzeczą do zrobienia jest framework Scrapy
- jest to bardzo szybki i łatwy w użyciu szkielet internetowy. scrapyd
Narzędzie pozwala na rozpowszechnianie przeszukiwania - możesz mieć wiele usług scrapyd
działających na różnych serwerach i dzielić obciążenie między każdą z nich. Zobacz:
Istnieje również Scrapy Cloud
usługi tam:
Scrapy Chmura mosty wysoce efektywny rozwój środowiska Scrapy z solidnego, fully- zalecane środowisko produkcyjne do wdrożyć i uruchomić indeksowania. To jak Heroku dla Scrapy, choć inne technologie będą obsługiwane w najbliższej przyszłości. Działa na platformie Scrapinghub , co oznacza, że Twój projekt może zostać skalowany na żądanie w razie potrzeby na .
Istnieje wiele miejsc, w których można to zrobić. Wystarczy google dla "Python w chmurze", pojawi się kilka, na przykład https://www.pythonanywhere.com/.
Ponadto istnieje kilka IDE w chmurze, które zasadniczo dają małą maszynę wirtualną za darmo, gdzie można rozwinąć swój kod w opartym na sieci IDE, a także uruchomić go w maszynie wirtualnej, przykładem jest http://www.c9.io.
PythonAnywhere dev tutaj - dzięki za wzmiankę! :-) Dodajmy także, że mamy wielu klientów, którzy używają nas do Scrapy. Ten sposób utrzymywania działających skryptów jest dość popularny: https://www.pythonanywhere.com/wiki/LongRunningTasks –
Jako alternatywę dla już podanych rozwiązań, sugerowałbym Heroku. Możesz nie tylko łatwo wdrożyć stronę internetową, ale także uruchomić skrypty dla botów.
Konto podstawowe jest bezpłatne i jest dość elastyczne.
This blog entry, this one i this video zawierają praktyczne przykłady tego, jak to działa.
- 1. W jaki sposób mogę uruchamiać skrypty uruchamiania przy uruchamianiu w chmurze za każdym razem, gdy uruchamiana jest moja instancja EC2?
- 2. Jaki jest najłatwiejszy sposób obsługi modali w Angular JS?
- 3. Jaki jest najłatwiejszy sposób użycia polecenia HEAD HTTP w PHP?
- 4. Jaki jest najłatwiejszy sposób implementacji funkcji Scala PartialFunction w Javie?
- 5. Najłatwiejszy sposób instalacji zależności Pythona na węzłach executorów Spark?
- 6. Jaki jest najłatwiejszy sposób wyodrębniania danych z pliku PDF?
- 7. Jaki jest najłatwiejszy/najszybszy sposób sprawdzenia, kiedy utworzono gałąź git?
- 8. Jaki jest najlepszy i najłatwiejszy sposób utworzenia formularza UITableView?
- 9. Jaki jest najłatwiejszy sposób podglądu danych z kolumny graficznej?
- 10. Jaki jest najłatwiejszy sposób odbierania poczty przychodzącej przez aplikację Java?
- 11. OpenCV: Jaki jest najłatwiejszy sposób dzielenia maty przez skalarne?
- 12. Określanie argumentów ze spacjami do uruchamiania skryptów Pythona
- 13. Bezpieczne wykonywanie skryptów PHP użytkowników na serwerze
- 14. Jaki jest najłatwiejszy sposób przetestowania interfejsu REST interfejsu API Catalyst?
- 15. Jaki jest najłatwiejszy sposób głębokiego klonowania (kopiowania) zmiennego obiektu Scala?
- 16. Jaki jest najlepszy sposób uruchamiania poleceń powłoki z interfejsu sieciowego?
- 17. jak połączyć wiele skryptów Pythona
- 18. Jaki jest najczystszy sposób sortowania plus uniq na liście Pythona?
- 19. Jaki jest optymalny sposób porównywania dat w serwerze Microsoft SQL?
- 20. Jaki jest najłatwiejszy sposób na wykrycie, czy co najmniej jedno pole zostało zmienione w formularzu HTML?
- 21. Jaki jest najłatwiejszy sposób konwertowania JSON na BSON w świecie .net
- 22. Najłatwiejszy sposób narysowania obrazu?
- 23. Pobieranie skryptów CGI zamiast uruchamiania
- 24. W jaki sposób można publikować pakiety na serwerze nugetowym TeamCity?
- 25. W jaki sposób stosuje się limit dziennych skryptów Google Apps?
- 26. Rozszerzanie funkcji os.walk Pythona na serwerze FTP
- 27. Najłatwiejszy sposób konwersji na wartość logiczną
- 28. Skrypt do uruchamiania innych skryptów w sqldeveloper
- 29. W jaki sposób dane są przechowywane na serwerze SQL?
- 30. Najłatwiejszy sposób na spowodowanie wycieku pamięci w Javie?
Być może prosisz o to (https://www.pythonanywhere.com/). – Skynet