Wyszukiwarka Google z aplikacji Pythona

Question

Próbuję uruchomić kwerendę wyszukiwania google z aplikacji Pythona. Czy istnieje jakiś interfejs python, który pozwoliłby mi to zrobić? Jeśli nie jest nikomu wiadomo, który Google API pozwoli mi to zrobić. Dzięki.

Answer 1

Istnieje prosty przykład here (szczególnie brakuje niektórych cytatów ;-). Większość tego, co zobaczysz w internecie, to interfejsy Pythona ze starym, przestarzałym interfejsem SOAP API - przykład wskazuję, że korzystam z nowszego i obsługiwanego interfejsu API AJAX, to zdecydowanie ten, którego potrzebujesz! -)

Edit: tu jest pełniejsza Python 2.6 przykładem wszystkich potrzebnych cytatów & C; -) ...:

#!/usr/bin/python 
import json 
import urllib 

def showsome(searchfor): 
    query = urllib.urlencode({'q': searchfor}) 
    url = 'http://ajax.googleapis.com/ajax/services/search/web?v=1.0&%s' % query 
    search_response = urllib.urlopen(url) 
    search_results = search_response.read() 
    results = json.loads(search_results) 
    data = results['responseData'] 
    print 'Total results: %s' % data['cursor']['estimatedResultCount'] 
    hits = data['results'] 
    print 'Top %d hits:' % len(hits) 
    for h in hits: print ' ', h['url'] 
    print 'For more results, see %s' % data['cursor']['moreResultsUrl'] 

showsome('ermanno olmi') 

Answer 2

tutaj jest odpowiedź Alexa przeniesiony do Python3

#!/usr/bin/python3 
import json 
import urllib.request, urllib.parse 

def showsome(searchfor): 
    query = urllib.parse.urlencode({'q': searchfor}) 
    url = 'http://ajax.googleapis.com/ajax/services/search/web?v=1.0&%s' % query 
    search_response = urllib.request.urlopen(url) 
    search_results = search_response.read().decode("utf8") 
    results = json.loads(search_results) 
    data = results['responseData'] 
    print('Total results: %s' % data['cursor']['estimatedResultCount']) 
    hits = data['results'] 
    print('Top %d hits:' % len(hits)) 
    for h in hits: print(' ', h['url']) 
    print('For more results, see %s' % data['cursor']['moreResultsUrl']) 

showsome('ermanno olmi') 

Answer 3

Oto moje podejście do tego : http://breakingcode.wordpress.com/2010/06/29/google-search-python/

A przykłady kodu para:

# Get the first 20 hits for: "Breaking Code" WordPress blog 
    from google import search 
    for url in search('"Breaking Code" WordPress blog', stop=20): 
     print(url) 

    # Get the first 20 hits for "Mariposa botnet" in Google Spain 
    from google import search 
    for url in search('Mariposa botnet', tld='es', lang='es', stop=20): 
     print(url) 

Zauważ, że ten kod nie korzysta z API Google i nadal pracuje do chwili obecnej (styczeń 2012).

Answer 4

Jestem nowy w Pythonie i zastanawiałem się, jak to zrobić. Żaden z podanych przykładów nie działa poprawnie. Niektóre z nich są blokowane przez Google, jeśli wykonujesz wiele (kilka) próśb, niektóre są nieaktualne. Parsowanie html wyszukiwania Google (dodanie nagłówka w żądaniu) będzie działało, dopóki google nie zmieni ponownie struktury html. Możesz użyć tej samej logiki do wyszukiwania w dowolnej innej wyszukiwarce, zaglądając do html (view-source).

import urllib2 

def getgoogleurl(search,siteurl=False): 
    if siteurl==False: 
     return 'http://www.google.com/search?q='+urllib2.quote(search) 
    else: 
     return 'http://www.google.com/search?q=site:'+urllib2.quote(siteurl)+'%20'+urllib2.quote(search) 

def getgooglelinks(search,siteurl=False): 
    #google returns 403 without user agent 
    headers = {'User-agent':'Mozilla/11.0'} 
    req = urllib2.Request(getgoogleurl(search,siteurl),None,headers) 
    site = urllib2.urlopen(req) 
    data = site.read() 
    site.close() 

    #no beatifulsoup because google html is generated with javascript 
    start = data.find('<div id="res">') 
    end = data.find('<div id="foot">') 
    if data[start:end]=='': 
     #error, no links to find 
     return False 
    else: 
     links =[] 
     data = data[start:end] 
     start = 0 
     end = 0   
     while start>-1 and end>-1: 
      #get only results of the provided site 
      if siteurl==False: 
      start = data.find('<a href="/url?q=') 
      else: 
      start = data.find('<a href="/url?q='+str(siteurl)) 
      data = data[start+len('<a href="/url?q='):] 
      end = data.find('&amp;sa=U&amp;ei=') 
      if start>-1 and end>-1: 
       link = urllib2.unquote(data[0:end]) 
       data = data[end:len(data)] 
       if link.find('http')==0: 
        links.append(link) 
     return links 

Zastosowanie:

links = getgooglelinks('python','http://www.stackoverflow.com/') 
for link in links: 
     print link 

(Edit 1: Dodanie parametru do zawężenia wyszukiwania Google do określonej strony)

(Edit 2: Kiedy dodałem tę odpowiedź byłem kodowania Skrypt w języku Python do wyszukiwania napisów Ostatnio dodałem go do Github: Subseek)