python爬虫报错：不信任证书问题的解决

SSLError 请求异常，SSL错误，证书认证失败问题解决

在爬取某些网站时，会发现如下报错：

#请求脚本
from lxml import etree
import os
import requests


headers = {
        "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36",
        }

url = 'https://www.ygdy8.net/index.html'

response = requests.get(url,  headers=headers)
content = response.content.decode('gbk')

#报错信息
SSLError: ("bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')],)",)

 

 

解决方式：

第一种解决方式：

将https请求改为http请求，或许可能成功解决

from lxml import etree
import os
import requests


headers = {
        "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36",
        }

url = 'http://www.ygdy8.net/index.html'

response = requests.get(url,  headers=headers)
content = response.content.decode('gbk')

有的电脑上第一次执行有效，再次执行还报错。

第二种解决方式：

增加参数：verify=False 可成功解决

from lxml import etree
import os
import requests


headers = {
        "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36",
        }

url = 'https://www.ygdy8.net/index.html'

response = requests.get(url,verify=False, headers=headers)
content = response.content.decode('gbk')

 可成功得到content内容，但是结果中出现了一些warning信息，看着很不爽。继续尝试解决。

解决warning信息：

方法一：

调用关闭警告信息的方法：

#实际含义就是在requests下的urllib3不显示警告信息
requests.packages.urllib3.disable_warnings()

方法二：

直接调用urllib3的disable_warnings()，代码如下：

import urllib3
urllib3.disable_warnings()

方法三：

调用logging的captureWarnings()方法，传入True，关闭提示，代码如下：

import logging
logging.captureWarnings(True)

以上三种方式目的只是为了不显示warning信息而已，而warning信息不会对爬虫产生任何影响。