第01节 Selenium

1. Selenium概述

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器。

因为Selenium可以控制浏览器发送请求，并获取网页数据，因此可以应用于爬虫领域。

Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。

Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。

官方文档：Selenium with Python — Selenium Python Bindings 2 documentation

2. 浏览器驱动

浏览器驱动用于使用selenium操控本地浏览器执行自动化操作。

驱动网站：npmmirror 中国镜像站

课程中使用Chrome浏览器作为演示工具，因此下载ChromeDriver

 

Figure 1:

注意需要根据本地电脑Chrome的版本选择对应的驱动包，否则无法操控浏览器

 

Figure 2: image-20220524105345592

 

Figure 3: image-20220524105418551

再根据操作系统选择不同的驱动包即可，驱动包不需要安装，只需要解压到项目目录，后续会在代码中调用。

 

Figure 4: image-20220524105438811

3. 基本使用

安装selenium库

 

Figure 5:

或使用命令

pip install selenium

控制浏览器自动网页

将驱动包导入到项目

 

Figure 6: image-20220524111145755

调用Chrome驱动，控制浏览器打开网页

# 导入 webdriver

from selenium import webdriver

from selenium.webdriver.common.by import By
# 调用键盘按键操作时需要引入的Keys包

from selenium.webdriver.common.keys import Keys

# 调用环境变量指定的PhantomJS浏览器创建浏览器对象

driver = webdriver.Chrome("./chromedriver.exe")
# get方法会一直等到页面被完全加载，然后才会继续程序，通常测试会在这里选择 time.sleep(2)

driver.get("http://www.baidu.com/")

控制页面元素

# id="kw"是百度搜索输入框，输入字符串"长城"

driver.find_element(By.CSS_SELECTOR,"#kw").send_keys("长城")
# id="su"是百度搜索按钮，click() 是模拟点击

driver.find_element(By.CSS_SELECTOR,"#su").click()

# 关闭浏览器

driver.quit()

第03节 常用操作

1. 元素定位

获取单个元素

driver.find_element(By.ID,"inputOriginal")

driver.find_element(By.CSS_SELECTOR,"#inputOriginal")

driver.find_element(By.TAG_NAME,"div")

driver.find_element(By.NAME,"username")

driver.find_element(By.LINK_TEXT,"下一页")

如果找不到相应的元素会报错

selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: xx

获取多个元素

driver.find_elements(By.ID,"inputOriginal")

driver.find_elements(By.CSS_SELECTOR,"#inputOriginal")

driver.find_elements(By.TAG_NAME,"div")

driver.find_elements(By.NAME,"username")

driver.find_elements(By.LINK_TEXT,"下一页")

访问有道翻译网站，输入单词，并获取翻译后的内容

from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.common.keys import Keys

driver = webdriver.Chrome("./chromedriver.exe")
# 加载有道翻译页面

driver.get("https://fanyi.youdao.com/")
# 获取输入框

input = driver.find_element(By.ID,"inputOriginal")
# 输入内容

input.send_keys("hello")
# 获取翻译按钮

tbtn = driver.find_element(By.ID,"transMachine")
# 发现页面被遮挡，此时无法点击
# tbtn.click()

# 先获取遮挡的广告条，点击关闭按钮

close_btn = driver.find_element(By.CSS_SELECTOR,".guide-con .guide-close")

close_btn.click()

#点击翻译

tbtn.click()

#获取翻译后的内容

transTarget = driver.find_element(By.ID,"transTarget")

print(transTarget.text)

2. 内容获取

1. size                 返回元素大小

2. text                 获取元素的文本   hello

3. title                 获取页面title

4. current_url            获取当前页面URL

5. get_attribute()         获取属性值     百度

6. is_display()            判断元素是否可见   

7. is_enabled()            判断元素是否可用   

driver = webdriver.Chrome("./chromedriver.exe")
# 加载有道翻译页面

driver.get("https://fanyi.youdao.com/")

print(driver.title)

print(driver.current_url)

# 获取输入框

transMachine = driver.find_element(By.ID,"transMachine")

print(transMachine.size)

print(transMachine.text)

print(transMachine.get_attribute("href"))

print(transMachine.is_displayed())

print(transMachine.is_enabled())

3. 窗口操作

1. maximize_window()                最大化 --> 模拟浏览器最大化按钮

2. set_window_size(100,100)            浏览器大小 --> 设置浏览器宽、高(像素点)

3. set_window_position(300,200)     浏览器位置 --> 设置浏览器位置

4. back()                             后退 --> 模拟浏览器后退按钮

5. forward()                         前进 --> 模拟浏览器前进按钮

6. refresh()                         刷新 --> 模拟浏览器F5刷新

7. close()                            关闭 --> 模拟浏览器关闭按钮(关闭单个窗口)

8. quit()                            关闭 --> 关闭所有WebDriver启动的窗口

4. 元素等待

翻页获取每页元素

from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.common.keys import Keys

driver = webdriver.Chrome("./chromedriver.exe")
# 加载当当网

driver.get("https://www.dangdang.com/")

# 获取输入框

key = driver.find_element(By.ID,"key_S")

key.send_keys("科幻")
# 获取搜索框，点击搜索

search = driver.find_element(By.CSS_SELECTOR,".search .button")

search.click()
# 获取商品标题及价格
for i in range(5):

    shoplist = driver.find_elements(By.CSS_SELECTOR, ".shoplist li")

    for li in shoplist:

        print(li.find_element(By.CSS_SELECTOR, "a").get_attribute("title"))

    # 获取下一页按钮

    next = driver.find_element(By.LINK_TEXT, "下一页")

    next.click()

现在的网页越来越多采用了 Ajax 技术，这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来，但是你的代码直接使用了这个WebElement，那么就会抛出NullPointer的异常。

为了避免这种元素定位困难而且会提高产生 ElementNotVisibleException 的概率。所以 Selenium 提供了两种等待方式，一种是隐式等待，一种是显式等待。

隐式等待是等待特定的时间，显式等待是指定某一条件直到这个条件成立时继续执行。

显式等待

显式等待指定某个条件，然后设置最长等待时间。如果在这个时间还没有找到元素，那么便会抛出异常了。

显示等待使用WebDriverWait完成

WebDriverWait(driver, timeout, poll_frequency=POLL_FREQUENCY, ignored_exceptions=None)

• driver 所创建的浏览器driver
• timeout 最长时间长度（默认单位：秒）
• poll_frequency 间隔检测时长（每）默认0.5秒
• ignored_exceptions 方法调用中忽略的异常，默认只抛出：找不到元素的异常

  基础格式（webDriverWait+until+（判断条件））

  until

  直到调用的方法返回值为True

  until(method, message=’’)

  method：expected_conditions库中定义的方法

  message ：自定义报错信息

  判断条件

  判断当前页面标题是否为title title_is(title)
  

  判断当前页面标题是否包含title title_contains(title)
  

  判断此定位的元素是否存在，presence_of_element_located(locator)
  

  判断页面网址中是否包含url url_contains(url)
  

  判断此定位的元素是否可见 visibility_of_element_located(locator)
  

  判断此元素是否可见 visibility_of(element) element：所获得的元素

  判断此定位的一组元素是否至少存在一个 presence_of_all_elements_located(locator)
  

  判断此定位的一组元素至少有一个可见，visibility_of_any_elements_located(locator)
  

  判断此定位的一组元素全部可见visibility_of_all_elements_located(locator)
  

  判断此定位中是否包含text_的内容，text_to_be_present_in_element(locator, text_)

  locator：元素的定位信息

  text_：期望的文本信息
  

  判断此定位中的value属性中是否包含text_的内容 text_to_be_present_in_element_value(locator, text_)
  

  locator：元素的定位信息

  text_：期望的文本信息
  

  判断定位的元素是否为frame，并直接切换到这个frame中
  

  frame_to_be_available_and_switch_to_it(locator)
  

  locator：元素的定位信息

  判断定位的元素是否不可见 invisibility_of_element_located(locator)

  locator：元素的定位信息
  

  判断此元素是否不可见 invisibility_of_element(element)

  element：所获得的元素
  

  判断所定位的元素是否可见且可点击 element_to_be_clickable(locator)

  locator：元素的定位信息
  

  判断此元素是否不可用 staleness_of(element)

  element：所获得的元素
  

  判断该元素是否被选中 element_to_be_selected(element)

  element：所获得的元素
  

  判断定位的元素是否被选中 element_located_to_be_selected(locator)

  locator：元素的定位信息

  from selenium.webdriver.support.ui import WebDriverWait

  from selenium.webdriver.support import expected_conditions as EC
  # 程序每0.5秒检查，是否满足：标题包含“百度一下”这个条件，检查是否满足条件的最长时间为：15秒，超过15秒仍未满足条件则抛出异常

  WebDriverWait(driver, 15, 0.5).until(EC.title_contains("百度一下"))
  
  # 程序每0.5秒检查，是否满足：某定位的元素出现，检查是否满足条件的最长时间为：15秒，超过15秒仍未满足条件则抛出异常

  WebDriverWait(driver, 15, 0.5).until(EC.visibility_of_element_located(By.CSS_SELECTOR,"XX"))

  隐式等待

  隐式等待比较简单，就是设置全局元素查找的超时时间

  implicitly_wait(time_to_wait)

  设置的时间单位为秒，例如implicitly_wait(30)，意思是超过30秒没有定位到一个元素，程序就会报错抛出异常，期间会一直轮询查找定位元素。

  第04节 页面操作(动作链)

  1. 鼠标及键盘操作

  鼠标操作

  1. context_click()            右击 --> 此方法模拟鼠标右键点击效果

  2. double_click()            双击 --> 此方法模拟双标双击效果

  3. drag_and_drop()            拖动 --> 此方法模拟双标拖动效果

  4. move_to_element()        悬停 --> 此方法模拟鼠标悬停效果

  5. perform()                执行 --> 此方法用来执行以上所有鼠标方法

  driver.get("https://www.baidu.com/")

  more = driver.find_element(By.LINK_TEXT,"更多")
  #将鼠标移动到更多按钮

  ActionChains(driver).move_to_element(more).perform()

  键盘操作

  1. send_keys(Keys.BACK_SPACE)删除键（BackSpace）

  2. send_keys(Keys.SPACE)空格键(Space)

  3. send_keys(Keys.TAB)制表键(Tab)

  4. send_keys(Keys.ESCAPE)回退键（Esc）

  5. send_keys(Keys.ENTER)回车键（Enter）

  6. send_keys(Keys.CONTROL,'a') 全选（Ctrl+A）

  7. send_keys(Keys.CONTROL,'c')复制（Ctrl+C）

  from selenium.webdriver.common.keys import Keys

  driver.get("https://www.baidu.com/")
  

  element = driver.find_element(By.ID,"kw")
  
  # 输入用户名

  element.send_keys("admin1")
  # 删除1

  element.send_keys(Keys.BACK_SPACE)
  # 全选

  element.send_keys(Keys.CONTROL,'a')
  # 复制

  element.send_keys(Keys.CONTROL,'c')
  # 粘贴
  # element.send_keys(Keys.CONTROL,'v')

  2. 滚动条

  在HTML页面中，由于前端技术框架的原因，页面元素为动态显示，元素根据滚动条的下拉而被加载

  # 1. 设置JavaScritp脚本控制滚动条，(0:左边距；1000：上边距；单位像素)

  js="window.scrollTo(0,1000)"

                                      
  # 2. WebDriver调用js脚本方法  

  driver.execute_script(js)

  3. 窗口截图

  自动化脚本是由程序去执行的，因此有时候打印的错误信息并不是十分明确。如果在执行出错的时候对当前窗口截图保存，那么通过图片就可以非常直观地看到出错的原因。

  # 截取当前窗口

  driver.get_screenshot_as_file("./demo.png")

  第05节 存储数据

  1. 将数据写入CSV文件

  # 读写CSV文件

  import csv
  # 以写入方式打开文件，如果文件不存在则自动创建

  f = open("d:/test.csv",'w')
  # 获取csv writer，用于写入csv格式数据

  writer = csv.writer(f)
  # 写入数据

  writer.writerow(["张三","男","1.7"])
  # 关闭文件

  f.close()

  2. 将数据写入至MySQL

  安装模块

  pip install pymysql

  import pymysql

    
  # 创建连接

  conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1', charset='utf8')
  # 创建游标

  cursor = conn.cursor()

    
  # 执行SQL，并返回收影响行数

  effect_row = cursor.execute("select * from tb7")

    
  # 执行SQL，并返回受影响行数
  #effect_row = cursor.execute("update tb7 set pass = '123' where nid = %s", (11,))

    
  # 执行SQL，并返回受影响行数,执行多次
  #effect_row = cursor.executemany("insert into tb7(user,pass,licnese)values(%s,%s,%s)", [("u1","u1pass","11111"),("u2","u2pass","22222")])

    

    
  # 提交，不然无法保存新建或者修改的数据

  conn.commit()

    
  # 关闭游标

  cursor.close()
  # 关闭连接

  conn.close()

  参考：https://www.jb51.net/article/92516.htm

  注意事项

  因为爬虫技术涉及面广，且技术复杂，推荐直接在网络上寻找已有数据进行处理分析，因此爬虫阶段可以只做参考。

  数据网站参考：

  • 和鲸社区：和鲸社区 - Heywhale.com
  • Kaggle：Find Open Datasets and Machine Learning Projects | Kaggle
  • GitHub：https://github.com/awesomedata/awesome-public-datasets
   
   企业网址是什么  深圳网站建设公司  公司做个网站  做网站用什么编程软件  高安人才网招聘信息  温州网站建站