python爬取豆瓣TOP100电影

如果你想爬取豆瓣TOP100电影,你可以使用Python的第三方库来帮助你爬取网页信息。

你可以使用Python的requests库来发送HTTP请求并获取网页的内容,再使用Python的Beautiful Soup库来解析网页并提取你想要的信息。

下面是一个简单的例子,它爬取了豆瓣TOP100电影的电影名和评分:

import requestsfrom bs4 import BeautifulSoup

# 发送HTTP请求并获取网页内容
url = 'https://movie.douban.com/chart'
response = requests.get(url)
html = response.text

# 使用Beautiful Soup解析网页并提取信息
soup = BeautifulSoup(html, 'html.parser')
movies = soup.find_all(class_='pl2')

for movie in movies:
    title = movie.find('a')['title']
    rating = movie.find(class_='rating_nums').text
    print(title, rating)

在这个例子中,我们使用了requests库发送HTTP请求并获取了网页的内容,然后使用Beautiful Soup解析网页并提取了我们想要的信息。

希望这个例子对你有帮助!