Pytanie "SSL: certificate_verify_failed"?

Question

Więc zacząłem uczyć się Pythona ostatnio przy użyciu filmów "The New Boston's" na youtube, wszystko szło świetnie, aż dotarłem do jego samouczka tworzenia prostego robota sieciowego. Chociaż zrozumiałem to bez problemu, po uruchomieniu kodu otrzymuję błędy, które wydają się być oparte na "SSL: CERTIFICATE_VERIFY_FAILED". Szukałem odpowiedzi od zeszłej nocy, próbując dowiedzieć się, jak to naprawić, wydaje się, że nikt inny w komentarzach do filmu lub na jego stronie internetowej nie ma takiego samego problemu jak ja, a nawet używając kogoś kodu elses z jego Strona internetowa Mam takie same wyniki. Wyślę kod z tego, który dostałem ze strony internetowej, ponieważ daje mi ten sam błąd, a ten, który zakodowałem, jest teraz bałaganem.

import requests 
from bs4 import BeautifulSoup 

def trade_spider(max_pages): 
    page = 1 
    while page <= max_pages: 
     url = "https://www.thenewboston.com/forum/category.php?id=15&orderby=recent&page=" + str(page) #this is page of popular posts 
     source_code = requests.get(url) 
     # just get the code, no headers or anything 
     plain_text = source_code.text 
     # BeautifulSoup objects can be sorted through easy 
     for link in soup.findAll('a', {'class': 'index_singleListingTitles'}): #all links, which contains "" class='index_singleListingTitles' "" in it. 
      href = "https://www.thenewboston.com/" + link.get('href') 
      title = link.string # just the text, not the HTML 
      print(href) 
      print(title) 
      # get_single_item_data(href) 
    page += 1 
trade_spider(1) 

Pełne błędu: ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] Świadectwo sprawdzenia nie powiodło się (_ssl.c: 645)

Przepraszam jeśli to głupie pytanie, jestem wciąż nowe do programowanie, ale naprawdę nie mogę tego zrozumieć, myślałem o pominięciu tego samouczka, ale przeszkadza mi to, że nie mogę tego naprawić, dzięki!

Answer 1

problem nie jest w kodzie, ale na stronie internetowej, którą próbujesz uzyskać dostęp. Patrząc na analysis by SSLLabs można zauważyć:

This server's certificate chain is incomplete. Grade capped to B.

Oznacza to, że konfiguracja serwera jest nie tak i że nie tylko python ale kilka innych będzie miał problemów z tej strony. Niektóre przeglądarki komputerów stacjonarnych rozwiązują ten problem, próbując wczytać brakujące certyfikaty z Internetu lub wypełnić buforowane certyfikaty. Ale inne przeglądarki lub aplikacje również zawiedzie, podobnie jak python.

Aby obejść awarię konfiguracji serwera, można jawnie wyodrębnić brakujące certyfikaty i dodać je do magazynu zaufanych certyfikatów. Lub możesz nadać certyfikatowi zaufanie w argumencie weryfikacji.Od the documentation:

You can pass verify the path to a CA_BUNDLE file or directory with certificates of trusted CAs:

>>> requests.get('https://github.com', verify='/path/to/certfile') 

This list of trusted CAs can also be specified through the REQUESTS_CA_BUNDLE environment variable.

Answer 2

Zamieszczam to jako odpowiedź, ponieważ do tej pory udało mi się rozwiązać problem, ale nadal występują problemy w kodzie (które po naprawieniu mogę zaktualizować).

Krótko mówiąc: możesz używać starej wersji żądań lub certyfikat ssl powinien być nieprawidłowy. Nie ma więcej informacji w tym SO pytanie: Python requests "certificate verify failed"

I został uaktualniony kod do własnego bsoup.py pliku:

#!/usr/bin/env python3 

import requests 
from bs4 import BeautifulSoup 

def trade_spider(max_pages): 
    page = 1 
    while page <= max_pages: 
     url = "https://www.thenewboston.com/forum/category.php?id=15&orderby=recent&page=" + str(page) #this is page of popular posts 
     source_code = requests.get(url, timeout=5, verify=False) 
     # just get the code, no headers or anything 
     plain_text = source_code.text 
     # BeautifulSoup objects can be sorted through easy 
     for link in BeautifulSoup.findAll('a', {'class': 'index_singleListingTitles'}): #all links, which contains "" class='index_singleListingTitles' "" in it. 
      href = "https://www.thenewboston.com/" + link.get('href') 
      title = link.string # just the text, not the HTML 
      print(href) 
      print(title) 
      # get_single_item_data(href) 

     page += 1 

if __name__ == "__main__": 
    trade_spider(1) 

Kiedy uruchomić skrypt, to daje mi ten błąd:

https://www.thenewboston.com/forum/category.php?id=15&orderby=recent&page=1 
Traceback (most recent call last): 
    File "./bsoup.py", line 26, in <module> 
    trade_spider(1) 
    File "./bsoup.py", line 16, in trade_spider 
    for link in BeautifulSoup.findAll('a', {'class': 'index_singleListingTitles'}): #all links, which contains "" class='index_singleListingTitles' "" in it. 
    File "/usr/local/lib/python3.4/dist-packages/bs4/element.py", line 1256, in find_all 
    generator = self.descendants 
AttributeError: 'str' object has no attribute 'descendants' 

Jest jakiś problem z metodą findAll. Używałem zarówno python3 i python2, w którym raporty to python2:

TypeError: unbound method find_all() must be called with BeautifulSoup instance as first argument (got str instance instead) 

więc wygląda na to trzeba naprawić tę metodę, zanim będzie można kontynuować

Answer 3

Można powiedzieć żądania nie do zweryfikowania certyfikat SSL:

>>> url = "https://www.thenewboston.com/forum/category.php?id=15&orderby=recent&page=1" 
>>> response = requests.get(url, verify=False) 
>>> response.status_code 
200 

Zobacz więcej w requests doc

Answer 4

Prawdopodobnie brakuje certyfikatów giełdowych w systemie. Na przykład. jeśli działasz na Ubuntu, sprawdź, czy jest zainstalowany pakiet ca-certificates.