Urllib.requset.Request加入请求头部

上一个随笔中报错:

urllib.error.HTTPError: HTTP Error 418:

百度后,加上头部得以解决。

 

urllib.request.Request

功能:声明一个request对象。可自定义header等请求信息。

 

本次,加入一个更多参数的header。

# 导入urllib
import urllib.request
# 定义一个头部
headers = {
    User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36,
    Referer:https://movie.douban.com/,
    Connection: keep-alive
}
# 给url加头部
_url = urllib.request.Request(https://movie.douban.com/,headers=headers)
# 打开url
response = urllib.request.urlopen(_url, None, 10)
# 读取返回的内容
html = response.read().decode(utf-8)
# 写入txt
with open(html,w,encoding=utf-8) as f:
    f.write(html)