Automatyzacja przeglądarki Chrome

Question

Podczas wklejenia kodu JavaScript w przeglądarce Firefox i Chrome widziałem pewne dzikie rzeczy. Czy można użyć tej techniki, aby Chrome mógł odwiedzić adres URL, a następnie zapisać go jako plik? Próbuję zautomatyzować Chrome, a Selenium wyglądało wyjątkowo zniechęcająco.

EDYTOWANIE: Niestety, zapomniałem tu być bardziej przejrzystym. Pozwól mi wyjaśnić. Rzeczy takie jak wget, curl, itp. Nie będą działać, ponieważ muszę przejść przez loginy w niektórych z tych skryptów. I patrzyłem na iMacros, ale okazało się, że nie mogę ich uruchomić z wiersza poleceń, z wyjątkiem Windows, chyba że zapłacę za pakiet 499 $. Innymi zaletami GCE jest to, że platforma programistyczna jest darmowa i otwarta w pewnym stopniu, i są one wieloplatformowe. (Używam Linuxa.)

EDYTOWANIE: W tym momencie uczę się o rozszerzeniach Google Chrome. Wygląda na to, że są łatwe do zbudowania i pozwolą mi (jak sądzę) powiedzieć przeglądarce, aby otworzyła nową kartę, przejrzała stronę, manipulowała DOMem na tej stronie (np. Zapełnianiem niektórych pól i logowaniem), a następnie zmanipulowała DOM na stronie odpowiedzi. GCE nie pozwalają na działanie File I/O, więc nie są one jak rozszerzenia Firefox z XPCOM, ale możesz ominąć to poprzez użycie AJAX do wysłania danych do skryptu backendu (jak skrypt PHP na serwerze LAMP), aby zaoszczędzić te dane.

EDIT: Przy okazji, a to jest nieco nie na temat (ale dodam do wyjaśnienia) te „dzikie rzeczy” w JavaScript, które wymieniłem były podczas manipulowania DOM tworzenia URL, który wygląda tak:

javascript:(function(){...your URL-encoded Javascript here...})(); 

Answer 1

Rozwiązaniem wydaje się stworzenie własnego Google Chrome Extension (GCE). Łatwo się nauczyć w ciągu około 4 godzin, jeśli wiesz, jak zrobić nieco zaawansowane rzeczy Javascript i jest bardzo potężny. Za pomocą interfejsu API Tabs mogę utworzyć nową kartę i przejść do określonego adresu URL. Mogę wtedy wstrzyknąć jQuery do tego adresu URL i zmusić go do manipulowania DOM lub zrobić cokolwiek, co normalnie możemy zrobić z jQuery. Nie mogę zrobić pliku I/O, ale są dwa obejścia. Po pierwsze, mogę zmusić przeglądarkę do pobrania pliku ze zdalnej lokalizacji i mogę przesłać dane z bieżącej strony z powrotem do zdalnego serwera za pośrednictwem wywołań jQuery $ .get() lub $ .post().

Answer 2

Możesz spróbować iMacros for Chrome. Jest to dość łatwy w użyciu system automatyzacji.

1. Otwarte iMacros
2. Kliknij Record.
3. Idź o rutynę przeglądania.
4. Kliknij stop.

Nie sądzę, że może to być łatwiejsze. Skrypty, które zapisuje, są w postaci zwykłego tekstu, więc możesz je edytować, aby w razie potrzeby uzyskać precyzyjną kontrolę ziarna.

Answer 3

Możesz używać Pythona do automatyzacji zadań internetowych przy użyciu pywebkitgtk. Jest to powiązanie Pythona dla WebKitGtk, który używa silnika WebKit, tego samego silnika, co chrome.

Dzięki temu wpisowi na blogu, pywebkitgtk - Execute JavaScript from Python, stworzyłem podklasę webkit.WebView, aby ułatwić te zadania.

import gtk 
import webkit 
import json 

class WebView(webkit.WebView): 
    def eval_script(self, script): 
     self.execute_script('oldtitle=document.title;document.title="!!!!";document.title=JSON.stringify(eval(' + json.dumps(script) + '));') 
     result = json.loads(self.get_main_frame().get_title()) 
     self.execute_script('document.title=oldtitle;') 
     return result 
    def wait_for_load(self): 
     handle = None 
     def load_status_cb(view, frame): 
      if frame == view.get_main_frame(): 
       self.disconnect(handle) 
       gtk.main_quit() 
     handle = self.connect('load-finished', load_status_cb) 
     gtk.main() 

dodałem funkcję zwaną eval_script który jakby execute_script, ale można dostać wyniki funkcji jako obiektów Pythona.Musisz tylko upewnić się, że to, co oceniasz, jest serializowane przez JSON.

Dodałem także funkcję wait_for_load, która jest całkiem zrozumiała.

Aby skonfigurować interfejs użytkownika, musisz najpierw utworzyć okno, przewijane okno i widok WWW.

# window 
window = gtk.Window() 
window.set_default_size(800, 600) 

# scroll view 
scroll_view = gtk.ScrolledWindow() 
scroll_view.props.hscrollbar_policy = gtk.POLICY_AUTOMATIC 
scroll_view.props.vscrollbar_policy = gtk.POLICY_AUTOMATIC 

# web view 
web_view = WebView() 

# events 
window.connect('delete-event', lambda window, event: gtk.main_quit()) 

# show 
scroll_view.add(web_view) 
window.add(scroll_view) 
window.show_all() 

Następnie można rozpocząć automatyzację! Na przykład ten kod ładuje stronę logowania StackOverflow, kliknij przycisk logowania do Facebooka, wypełnia nazwę użytkownika i hasło (w tym przypadku "test"). Na końcu pokazuje tekst przycisku logowania.

# the script is here 
web_view.open('http://www.stackoverflow.com/users/login') 
web_view.wait_for_load() 

web_view.execute_script('openid.signin("facebook")') 
web_view.wait_for_load() 

web_view.execute_script('document.querySelector("#email").value = "test"') 
web_view.execute_script('document.querySelector("#pass").value = "test"') 

print "Login's button text is:", web_view.eval_script('document.querySelector("#buttons input[type=\\"submit\\"]").value') 

W moim przypadku interfejs Facebooka był w języku tajskim i mogłem zobaczyć tekst przycisku logowania.

się zalogować na przycisk tekst: เข้า สู่ ระบบ

Można również faktycznie kliknij w przycisk, po prostu dzwoniąc click() na tym elemencie. (Uwaga: click() prace dla elementów przycisków, a nie na linki)

web_view.execute_script('document.querySelector("#buttons input[type=\\"submit\\"]").click()') 
web_view.wait_for_load() 

Można zauważyć, że wszystkie skrypty po zakończeniu aplikacja zamyka się bez oczekiwania.

Jeśli chcesz zachować aplikacji działającej po zakończeniu wszystkich skryptów tam, trzeba dodać ostatnią linię:

gtk.main() 

Ponadto, jeśli usunąć wiersz window.show_all() i ostatni gtk.main() linię. Wtedy Twoja aplikacja będzie działać bez GUI. (Uwaga: trzeba jeszcze serwer wyświetlania.)

tej chwili nie mamy jeszcze dobre docs pywebkitgtk, więc trzeba spojrzeć na WebKitGtk's documentation zamiast. Powodzenia.

Answer 4

Zdecydowanie sprawdź Watir! Uważam to za bardzo proste. Działa tak samo z Selenium, jak z Chrome, IE lub Firefox. Chociaż wersja dla Chrome nie jest jeszcze oficjalnie obsługiwana, twierdzą, że jest ona użyteczna. Ja sam użyłem go tylko dla Selenium, IE i Firefox.

Ponadto Watir z łatwością integruje się z Cucumber, jeśli szukasz najnowocześniejszej technologii BDD (Behavior-Driven Development). To tylko kod w języku Ruby, jest open source i hostowany pod numerem gitHub. Cieszyć się!

Answer 5

Możesz zamówić http://qaagent.com. Jest to łatwy sposób zautomatyzowania niektórych zadań związanych z przeglądarką WWW.