一、selenium 介绍

Selenium 是一个用于自动化浏览器操作的开源框架。它可以模拟用户在浏览器中的操作，例如点击链接、填写表单、提交数据、浏览网页等。Selenium 最初是为了进行 Web 应用程序的功能测试和自动化测试而创建的，但后来也被广泛用于 Web 数据抓取、网页截图生成、自动化任务执行等领域。

二、安装 selenium

Selenium 的安装环境主要有两个 客户端库 和 浏览器 驱动。

1.安装客户端库

pip install selenium

豆瓣源

pip install selenium -i https://pypi.douban.com/simple/

2.安装浏览器和驱动

推选使用Google Chrome浏览器
下载地址：https://www.google.cn/chrome/

Chrome浏览器安装好以后，下载 Chrome 浏览器的驱动。
下载地址：https://chromedriver.storage.googleapis.com/index.html

注：浏览器驱动，需要和浏览器版本匹配，小版本差别不会有啥问题。

里面有3个压缩包，分别对应Linux、Mac、Windows平台。
Windows平台的电脑下载 chromedriver_win32.zip
下载之后解压将 chromedriver.exe 到某个目录下面
注：这个目录的路径最好是没有中文名和空格的。

Edge 浏览器下载驱动：https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

三、简单示例

# 导入所需的库
from selenium import webdriver
from selenium.webdriver.chrome.service import Service

# 创建 Chrome WebDriver 实例，并指定 Chrome Driver 的路径
driver = webdriver.Chrome(service=Service(r'C:\Program Files\Google\Chrome\Application\chromedriver.exe'))

# 打开指定的网页
driver.get('https://blog.n1l.cn')

# 关闭 WebDriver
driver.quit()

执行上面这行代码时，自动化程序就发起了打开百度网址的请求消息 ，通过浏览器驱动， 给 Chrome 浏览器。
Chome 浏览器接收到该请求后，就会打开百度网址，通过浏览器驱动， 告诉自动化程序 打开成功。

四、元素定位

可以通过使用浏览器的开发者工具进行对元素的快速定位。

注：Selenium 升级到版本 4 以后，不支持 find_element_by* 方法。
如：

• id定位：find_element_by_id()
• name定位：find_element_by_name()
• class定位：find_element_by_class_name()
• link定位：find_element_by_link_text() partial
• link定位：find_element_by_partial_link_text()
• tag定位：find_element_by_tag_name()
• xpath定位：find_element_by_xpath()
• css定位：find_element_by_css_selector()

根据 ID 定位

# 导入所需的库
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service

# 创建 Chrome WebDriver 实例，并指定 Chrome Driver 的路径
driver = webdriver.Chrome(service=Service(r'C:\Program Files\Google\Chrome\Application\chromedriver.exe'))

# 打开指定的网页
driver.get('https://blog.n1l.com')

# 根据 id 定位元素，返回的就是该元素对应的 WebElement 对象
element = driver.find_element(By.ID, 'userTable')

# 关闭 WebDriver
driver.quit()

根据 name 定位

# 根据 name 定位元素，返回的就是该元素对应的 WebElement 对象
element = driver.find_element(By.NAME, 'username')

根据 class 定位

# 根据 class 定位元素，返回的就是该元素对应的 WebElement 对象
element = driver.find_element(By.CLASS_NAME, 'layui-btn')

根据 tag 定位

# 根据 class 定位元素，返回的就是该元素对应的 WebElement 对象
element = driver.find_element(By.tag_NAME, 'div')

根据 Xpath 定位

# 根据 class 定位元素，返回的就是该元素对应的 WebElement 对象
element = driver.find_element(By.XPATH, "//form[@class='layui-anim layui-anim-upbit']/ul/li[@class='verify']/img")

find_element 和 find_elements 的区别

find_element:
用于查找单个元素，即匹配到的第一个符合条件的元素。
如果找到符合条件的元素，则返回该元素的 WebDriver 对象。
如果找不到符合条件的元素，会抛出 NoSuchElementException 异常。

find_elements:
用于查找多个元素，即匹配到的所有符合条件的元素。
如果找到符合条件的元素，则返回一个包含所有元素的列表，每个元素都是一个 WebDriver 对象。
如果找不到符合条件的元素，返回一个空列表，而不会抛出异常。

from selenium import webdriver

# 创建 Chrome WebDriver 实例
driver = webdriver.Chrome()

# 打开网页
driver.get('https://www.example.com')

# 使用 find_element 查找单个元素，如果找不到会抛出异常
single_element = driver.find_element('css selector', '.my-class')

# 使用 find_elements 查找多个元素，即使找不到也会返回空列表
multiple_elements = driver.find_elements('xpath', '//div[@class="other-class"]')

# 关闭 WebDriver
driver.quit()

总结：

使用 find_element 用于定位单个元素，如果找不到会抛出异常。
使用 find_elements 用于定位多个元素，即使找不到也会返回空列表。

五、控制元素

点击元素

click() 是 Selenium WebDriver 提供的一个方法，用于模拟用户在一个元素上执行鼠标左键点击操作。

element = driver.find_element(By.CLASS_NAME, 'layui-btn')
element.click()

输入框

send_keys() 是 Selenium WebDriver 提供的一个方法，用于向输入框（文本框、密码框等）或其他可以接收键盘输入的元素发送文本。

element = driver.find_element(By.NAME, 'username')
element.clear() # 清除输入框已有的字符串
element.send_keys('admin') # 输入新字符串

六、获取元素信息

获取元素文本内容

text() 属性会返回元素可见的文本内容，但不会返回隐藏元素的文本内容。

element = driver.find_element(By.ID, 'userTable')
print(element.text())

get_attribute('textContent') 方法会返回元素的所有文本内容，包括隐藏元素的内容。

element = driver.find_element(By.ID, 'userTable')
print(element.get_attribute('textContent'))

要获取元素属性 class 的值，就可以使用 element.get_attribute('class')

获取HTML内容

element.get_attribute('outerHTML')：

用于获取元素及其所有子元素的 HTML 内容，包括元素本身的标签。
返回的是包含整个元素的 HTML 字符串，包括开始标签、属性、子元素、结束标签等。

element.get_attribute('innerHTML')：

用于获取元素内部的 HTML 内容，不包括元素本身的标签。
返回的是元素内部的 HTML 字符串，即去除了开始标签和结束标签的部分。

获取文本内容 2

element.get_attribute('innerText') 是 Selenium WebDriver 提供的方法之一，用于获取元素的可见文本内容，类似于浏览器中 JavaScript 中的 innerText 属性。

# 获取元素的可见文本内容
element_text = element.get_attribute('innerText')
print(element_text)

element.get_attribute('textContent') 是 Selenium WebDriver 提供的方法之一，用于获取元素的全部文本内容，包括隐藏元素的内容，类似于浏览器中 JavaScript 中的 textContent 属性。

# 获取元素的全部文本内容
element_text = element.get_attribute('textContent')
print(element_text)

七、Xpath选择器

分享一个好用的Xpath浏览器插件能够快速的生成Xpath

按住 Shift 可以使用鼠标快速定位

八、浏览器安全

可以使用 Selenium WebDriver 中的 Options 对象来配置浏览器的参数，以便在打开网页时忽略 SSL 错误和证书错误。

--ignore-ssl-errors=yes：该参数指示浏览器忽略 SSL 错误，即使网站的 SSL 证书存在问题，也会继续加载页面。
--ignore-certificate-errors：该参数用于忽略证书错误，这意味着浏览器将忽略证书的有效性问题，仍然加载页面。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 创建 Chrome WebDriver 的 Options 对象
options = Options()

# 添加参数来忽略 SSL 错误和证书错误
options.add_argument('--ignore-ssl-errors=yes')
options.add_argument('--ignore-certificate-errors')

# 创建带有配置选项的 Chrome WebDriver 实例
driver = webdriver.Chrome(options=options)

# 打开网页
driver.get('https://blog.n1l.cn')

# 关闭 WebDriver
driver.quit()