Python 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte
案例一:
```py
使用 urllib
import urllib.request
使用 json
import json
定义 header
headers = { # 'Accept': '/',
# 因为有 Accept-Encoding
这行会报错:'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte # 'Accept-Encoding': 'gzip, deflate, br', # 在写爬虫的时候这一句话一定要注释掉,因为接受编码格式没有 utf-8
# 'Accept-Language': 'zh-CN,zh;q=0.9', # 'Acs-Token': '16683230096471668329342293ts2LNTmAMNu8bz6UcQlmajMjkFeD7EM7TNicuMqP14qLPx6R8FOs/pHR9jGpORyVc3jkLtMD7dh7/9XDK7+b5SqO0f2bzrYB1DzNkaXGMwkcPyDo9cygYroE1pFoncx4VbCQu/ieJyUK+TbYU4atAB/XCth4Lc8zNYRCQuOtbLb2zJ9RX1Jj7krqZIfNr14muZP1N5+rq7cjPbnBgvf5V6m03XLliDp4ueln/xS/qSQVL3XiWSOpemYY9gD9UHaUVPGIi4Q6uIT/05yCxxhd4kJCfeRys/AiOLQ+nbNaXUGoyTBZg90HLn6A9NTb5HAF', # 'Connection': 'keep-alive', # 'Content-Length': '135', # 'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
# 防爬方式的一种,验证 Cookie
'Cookie': '换成自己百度账号的 Cookie',
# 'Host': 'fanyi.baidu.com', # 'Origin': 'https://fanyi.baidu.com', # 'Referer': 'https://fanyi.baidu.com/', # 'sec-ch-ua': '"Google Chrome";v="107", "Chromium";v="107", "Not=A?Brand";v="24"', # 'sec-ch-ua-mobile': '?0', # 'sec-ch-ua-platform': '"macOS"', # 'Sec-Fetch-Dest': 'empty', # 'Sec-Fetch-Mode': 'cors', # 'Sec-Fetch-Site': 'same-origin', # 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10157) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36', # 'X-Requested-With': 'XMLHttpRequest' }
请求地址
url = 'https://fanyi.baidu.com/v2transapi?from=zh&to=en'
参数
params = { 'from': 'zh', 'to': 'en', 'query': '名称', 'transtype': 'realtime', 'simplemeansflag': '3', 'sign': '386125.67452', 'token': '换成自己百度账号的 token', 'domain': 'common' }
上面直接使用参数字符串会报错,是因为 post 请求参数必须要要进行编码
data = urllib.parse.urlencode(params).encode('utf-8')
模拟浏览器向服务器发送请求
request = urllib.request.Request(url=url, data=data, headers=headers)
模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)
获取内容字符串
content = response.read().decode('utf-8')
将字符串转成 json
obj = json.loads(content)
输出 json
print(obj) ```
案例二:
```py
测试 https://weibo.cn/pub/,抓取个人详细资料:https://weibo.cn/xxxx/info
重点:
直接访问个人资料页,页面编码格式是 UTF-8 但是还是报编码格式错误,
是因为没有进入到个人信息页面,而是跳转到了登录页面,登录页面不是 UTF-8 所以报错,也就是校验信息没带全,算没登录
引用 urllib
import urllib.request
请求头
headers = { # 校验 ua ,防爬方式的一种 'user-agent': '', # 主要就是少了这一行,cookie 携带着登录信息,如果有登录之后的 cookie,那么就能通过携带 cookie 进入任何页面,防爬方式的一种 'cookie': '', # 用于判断当前路径是不是由上一个路径进来的,如果不是也会报错,一般情况是做图片的防盗链,防爬方式的一种,这种方式属于可选防爬方式不是每个网站都校验这个 'referer': 'https://weibo.cn/' }
请求地址
url = 'https://weibo.cn/xxx/info'
请求对象
request = urllib.request.Request(url=url, headers=headers)
模拟浏览器向服务器发起请求
response = urllib.request.urlopen(request)
如果报错编码格式错误,可以通过输出 read() 内容查看网页编码,但是只适用个别网页
print(response.read()) #
获取响应数据
content = response.read().decode('utf-8')
print(content)
将页面数据保存,方便确认当前在哪(打开保存的文件会发现是 登录页面)
with open('weibo.html', 'w', encoding='utf-8') as f: f.write(content) ```