2023最新版Selenium 4.6.0语法快速入门
简介
Selenium是一款强而有力的前端应用测试工具，也非常适合搭配Python作为网络爬虫的工具；Selenium可以模拟使用者所有浏览器操作的动作，包括输入文本、点击按钮及拖拽进度条等。有鑑于新版的Selenium 4与旧版的语法有若干明显的差异，特别撰写本文来与朋友们釐清并分享。
安装
安装Selenium套件
pip install selenium
安裝WebDriver
可以去这裡下载WebDriver，注意要与你的Chrome浏览器版本相同。下载并解压缩后会得到一个chromedriver.exe的可执行档，建议将这个档案複製到你的Python项目资料夹下，可以避免路径的问题。
浏览网页
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
service = Service('./chromedriver') # 设定chromedriver路径
driver = webdriver.Chrome(service = service)
driver.get('https://www.baidu.com') # 浏览百度网站首页
print(driver.title) # 百度一下，你就知道
查找单一元素
"""
<html>
<body>
<form id="loginForm">
<input name="username" type="text" />
<input name="password" type="password" />
<input name="continue" type="submit" value="Login" />
</form>
</body>
</html>
"""
login_form = driver.find_element(By.ID, 'loginForm') # 用ID查找
username = driver.find_element(By.NAME, 'username') # 用NAME查找
username = driver.find_element(By.XPATH, "//input[@name='username']") #用XPATH查找
"""
<html>
<body>
<h2>Welcome!</h2>
<p class="content">Are you a stranger here?</p>
<a href="continue.html">Continue</a>
<a href="cancel.html">Cancel</a>
</body>
</html>
"""
continue_link = driver.find_element(By.LINK_TEXT, 'Continue') # 用超链接文本查找
continue_link = driver.find_element(By.PARTIAL_LINK_TEXT, 'Cont') # 用部分超链接文本查找
heading = driver.find_element(By.TAG_NAME, 'h2') # 用标籤名称查找
content = driver.find_element(By.CLASS_NAME, 'content') # 用Class名称查找
content = driver.find_element(By.CSS_SELECTOR, 'p.content') # 用CSS选择器查找
查找多个元素
查找多个元素返回值将会是一个列表(list)。
login_form = driver.find_elements(By.ID, 'loginForm') # 用ID查找
username = driver.find_elements(By.NAME, 'username') # 用NAME查找
username = driver.find_elements(By.XPATH, "//input[@name='username']") #用XPATH查找
continue_link = driver.find_elements(By.LINK_TEXT, 'Continue') # 用超链接查找
continue_link = driver.find_elements(By.PARTIAL_LINK_TEXT, 'Cont') # 用部分超链接查找
heading = driver.find_elements(By.TAG_NAME, 'h2') # 用标籤名称查找
content = driver.find_elements(By.CLASS_NAME, 'content') # 用Class名称查找
content = driver.find_elements(By.CSS_SELECTOR, 'p.content') # 用CSS选择器查找
属性值
attribute_value = element.get_attribute('attribute-name') # 取得"attribute-name"的属性值"attribute_value"
预期条件
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
wait = WebDriverWait(driver, 10)
element = wait.until(EC.visibility_of_element_located((By.ID, 'my-element-id'))) # 最多等待10秒让元素变为可见
elements = wait.until(EC.visibility_of_all_elements_located((By.CLASS_NAME, 'my-class'))) # 最多等待10秒，让所有元素都可见
等待
显式等待
显式等待用于指示 webdriver 在移动到自动化脚本中的其他步骤之前等待特定条件。
from selenium.webdriver.support import expected_conditions as EC
#expected_conditions模块用于指定要等待的条件
driver.get("https://www.example.com")
element = WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.ID, "example-id")))
#WebDriverWait方法用于指定驱动程序和等待的最长时间，本例中一旦找到元素并可点击，脚本就会继续执行。
element.click()
隐式等待
隱式等待是被應用在尝试识别当前不可用的元素時，指示 webdriver 在特定时间内轮询 DOM（文档对象模型）。
driver.implicitly_wait(10) # 设定隐式等待10秒
driver.get("https://www.example.com")
element = driver.find_element_by_id("example-id")
#在此示例中，为Web驱动程序的整个生命周期设置了10秒的隐式等待。这意味着如果未找到元素，驱动程序将等待最多10秒然后抛出异常。如果在10秒内找到元素，脚本将继续执行。
单选按钮&复选框
radio_button.click() # 选择单选按钮
if not checkbox.is_selected():
checkbox.click() # 选中或取消选中复选框
下拉列表
#选择下拉列表中的选项
dropdown.select_by_visible_text("Option 1")
#或者 dropdown.select_by_value("value_1")
#或者 dropdown.select_by_index(0)
"""
需要注意的是，如果下拉列表不允许多选，则只能选择一个选项。如果下拉列表允许多选，则可以使用select_by_visible_text、select_by_value或select_by_index方法选择多个选项。如果想取消选中已选择的选项，可以使用deselect_by_visible_text、deselect_by_value或deselect_by_index方法来取消选择。如果想取消选择所有选项，则可以使用deselect_all方法。
"""
Cookies
driver.get("https://www.example.com")
cookie = {'name': 'example_cookie', 'value': '1234'}
driver.add_cookie(cookie) # 给浏览器增加一个Cookie
example_cookie = driver.get_cookie('example_cookie') # 以Cookie的名称取得Cookie
print(example_cookie)
cookies = driver.get_cookies() # 从浏览器取得所有Cookie
print(cookies)
driver.delete_cookie('example_cookie') # 以Cookie的名称删除Cookie
driver.delete_all_cookies() # 删除所有的Cookie
driver.refresh() # 刷新网页
前后浏览
driver.get('https://www.baidu.com')
driver.get('https://world.taobao.com')
driver.back() # 向后浏览
print(driver.title) # 百度一下，你就知道
driver.forward() # 向前浏览
print(driver.title) # Taobao | 淘宝 - 花更少淘到宝
动作链
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
action = ActionChains(driver)
action.move_to_element(element).click().perform() # 移至element并点击
action.context_click(element).perform() # 移至element并以右键点击
action.drag_and_drop(source_element, target_element).perform() # 將source_element拖放到target_element
action.click(element).perform() # 点击element
action.double_click(element).perform() # 双击element
action.key_down(Keys.CONTROL).send_keys("s").perform() #按下"Ctrl+S"
action.send_keys("Hello, world!").perform() # 在當前文字框输入"Hello, world!"
action.send_keys_to_element(element, "Hello, world!").perform() # 在element文字框输入"Hello, world!"
action.send_keys_to_element(element, Keys.ENTER).perform() # 在element文字框输入"ENTER"
表单
driver.get('https://www.baidu.com')
driver.find_element(By.ID, 'kw').send_keys('Python') # 在文字框输入"Python"
driver.find_element(By.ID, 'su').submit() # 提交表单
滚动
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") # 滚动至页面底部
driver.execute_script("window.scrollBy(0, 500)") # 将页面向下滚动500像素
框架
复制代码
driver.switch_to.frame("my-frame") # 通過名稱或ID切換到框架"my-frame"
element = driver.find_element(By.CSS_SELECTOR, "div.my-element")
print(element.text)
driver.switch_to.default_content() # 切换回主框架
JavaScript
driver.execute_script("alert('Hello, world!');") # 执行JavaScript
窗口
driver = webdriver.Chrome() # 创建一个浏览器实例
driver.execute_script("window.open('');") # 打开一个新的窗口
handles = driver.window_handles # 获取所有窗口句柄
driver.switch_to.window(handles[-1]) # 切换到新窗口
driver.get("https://www.google.com")
#在新窗口中搜索内容
search_box = driver.find_element_by_name("q")
search_box.send_keys("Selenium")
search_box.send_keys(Keys.RETURN)
driver.close() # 关闭当前窗口
driver.switch_to.window(handles[0]) # 切换回原始窗口
复制代码
截图
driver.save_screenshot('logo.png')
无头浏览器
复制代码
from selenium.webdriver.chrome.options import Options
options = Options()
options.headless = True
driver = webdriver.Chrome(options = options)
关闭
driver.close() # 关闭当前窗口
driver.quit() # 关闭浏览器