Próbuję zeskanować witrynę i ponownie opublikować dane jako kanał RSS. Jak ciężko to skonfigurować za pomocą Google App Engine? Wady i zalety korzystania z GAE. Wszelkie zalecenia i wskazówki zostały docenione!Przeszukanie stron internetowych za pomocą Google App Engine
Google AppEngine oferuje o wiele więcej funkcjonalności (i złożoności) niż potrzebujesz, jeśli naprawdę wszystko, co chcesz zrobić, to opublikować niektóre dane strukturalne jako RSS. Osobiście użyłbym czegoś takiego jak Yahoo pipes do wykonania zadania takiego jak to.
To znaczy ... jeśli chcesz/musisz zmoczyć stopy przy pomocy GAE, idź do niego!
Mocniej niż w większości innych technologii.
GAE może rodzaj zrobić zaplanowane rzeczy partii jak teraz, ale to naprawdę nie jest przeznaczone dla tego typu rzeczy. Wybierz praktycznie każdy inny język i platformę dla tego konkretnego zadania, a Ty ułatwisz sobie życie.
Praca z Google App Engine jest całkiem prosta. Polecam przejść przez Getting Started guide. Jest krótki i prosty i dotyka istotnych tematów GAE. Jest więcej plusów i minusów, niż będę tutaj wymieniał.
Plusy:
Ogólnie, App Engine jest przeznaczony dla dużych aplikacji internetowych ruchu, które muszą skalować. Co więcej, jest on zaprojektowany z perspektywy programisty. Wiele problemów związanych ze skalowalnością (optymalizacja bazy danych, administrowanie serwerem itp.) Jest rozwiązywanych przez Google. Powiedziawszy to, uważam, że jest to dobra platforma. Nadal jest aktywnie rozwijany przez inżynierów Google, a planowanie zadań (funkcja, o którą długo prosiliśmy) znajduje się na aktualnej mapie drogowej.
Wady:
Prawdopodobnie największym minusem jest teraz znowu brak oficjalnego wsparcia planowania i limity kwotowe aktualnie ustawione dla darmowych kont. Jednak nie można narzekać, jeśli jest za darmo. Obecnie obsługuje on tylko Pythona jako interfejs programowania (chociaż wkrótce pojawi się nowy język Java Java). Ponadto, Python 2.6 (i 3.0 w tej kwestii) nie są jeszcze obsługiwane. Ponadto Django 1.0 nie jest oficjalnie obsługiwany w App Engine (chociaż możesz package Django 1.0 with your application).
Myślę, że może działać na GAE, więc wszystkie twoje potrzeby skrobania są obsługiwane: D Ponadto, GAE ma funurl thingy. Jedyny problem, który wydaje mi się, że nie masz wystarczająco dużo czasu, aby uzyskać dane (ograniczenie 30 sekund).
Pracuję nad tym samym projektem i zdecydowałem, że łatwiej jest przygotować dane na innym serwerze i przekazać je do GAE.
Być może zechcesz również przejrzeć Yahoo! Query Language (YQL)