网络爬虫 on 苏三有春的博客

基于PyQt开发的脚本集合包（九）

Fri, 08 Nov 2024 12:02:00 +0800

前言

本文笔者吸取了第一次爬取微软翻译的经验，发现在对微软翻译进行请求的时候，URL会随着会话结束而重新生成，这一点是本文需要解决的内容，且除了URL中出现的IG和IID两个数据外，在请求的表单数据中，还有key和token两个数据也在动态变化。本文旨在追踪这几个数据在何时被发送，如何被获取。

分析

首先，重新打开浏览器自带的开发者工具，随便翻译一词，让客户端发送一次翻译请求ttranslatev3，可以发现，这次URL与前一篇文章基于PyQt开发的脚本集合包（八）的又不一致

https://cn.bing.com/ttranslatev3?isVertical=1&&IG=DFFF2F46AAE0482491F67EEEB26C249C&IID=translator.5025

笔者借助开发者工具自带的搜索框进行搜索，看看我们需要的数据在哪里出现过

除了上一篇文章中提到的IG和IID两个数据外，我们还需要找到token和key两个数据，在ttranslatev3响应请求中，可以看到我们发送请求时，请求表单除了携带需要翻译的文本，翻译前的语种，翻译后的语种外，还需携带两个特殊的信息

至于tryFetchingGenderDebiasedTranslations一直为true，因此直接填写即可

IG

找到`IG`所在

首先看看IG在哪里出现过，将IG的数据DFFF2F46AAE0482491F67EEEB26C249C复制进搜索框查询，得到以下信息

可以发现，搜索出来的大部分请求中，这一串数据都是出现在URL与path中的，也就是说，这些请求中，IG数据也是被使用的，并不是出自于这些请求，继续向下滑动，找到了一个translator的包

如果你点击进去，就会发现，这其实就是访问该页面的第一个请求响应，它的html数据构建了整个页面

现在我们查看IG数据在这个响应的哪里，点击刚刚搜索的地方，会自动跳转到response出现了相同信息的地方，如下图所示：

因此，现在重新确认一下目标：目标从“找到IG数据的出处”变更为“获取IG数据”。

请求获取`IG`数据

来观察一下这个请求响应，回顾一下上一篇文章，我们在请求时需要些什么数据：

URL、User-Agent、表单数据

那我们依次来找这个请求所需要的数据，首先看标头：

URL

这个URL携带的信息很好猜，https://cn.bing.com/translator是访问的主机，即微软搜索引擎bing的翻译页面，?表示后面携带了多个参数，ref=TThis这通常表示一个参考信息或来源标识符。可能是用来跟踪用户从哪个链接访问了翻译工具，text表示默认的翻译文本，from表示翻译前的语种，to表示目标语种。可以看到，这里后面携带的三个信息，正好是打开网页时的默认信息

“输入文本”是背景，实际上并没有东西在这里。

可以猜测，每次访问这个页面，URL大概率是不会发生变化的，没有携带什么特殊的信息。经过反复的刷新和测试，验证了这个猜想。

User-Agent

为什么User-Agent会是一样的？需不需要担心它会不会变化？来看一下User-Agent的定义：

在进行网页爬虫时，User-Agent 是一个非常重要的 HTTP 请求头字段，它的主要作用是向服务器提供有关请求者（通常是浏览器或爬虫）的一些信息。具体来说，它会告诉服务器，发出请求的客户端是什么类型的设备，操作系统，浏览器等。不同的服务器和网站可能根据 User-Agent 来决定如何响应请求，比如返回不同的内容、样式，或者限制对某些类型客户端的访问。

User-Agent 的作用总结：

识别客户端： User-Agent 向服务器表明请求是由哪个客户端发出的。对于不同的浏览器、操作系统或设备，User-Agent 会有所不同。例如，Chrome、Firefox、Safari、IE 等不同浏览器会有不同的 User-Agent 字符串。

避免被识别为爬虫：网站可能会根据 User-Agent 来识别是否是爬虫程序。很多爬虫程序没有设置真实的 User-Agent，或者 User-Agent 字符串看起来像是一个自动化脚本（比如 Python 的 requests 库默认 User-Agent 是一个简单的字符串）。一些网站会使用这一点来检测并阻止爬虫请求。因此，为了模拟浏览器，爬虫通常会伪装成浏览器的 User-Agent，避免被网站识别为爬虫。

返回适配的内容：根据 User-Agent，服务器可以返回特定格式的内容。比如，移动设备和桌面设备通常会看到不同版本的网页，甚至不同的图片大小和样式。通过查看 User-Agent，服务器可以判断请求来自于手机、平板、桌面或其他设备，并返回不同的页面样式或功能。

分辨设备和浏览器版本： User-Agent 可以帮助服务器确定访问者的设备类型、操作系统及浏览器版本，从而优化响应内容。比如，某些页面可能会针对不同的操作系统（如 Windows、macOS、Linux）或不同版本的浏览器提供特定的网页布局或 JavaScript 功能。

可以看出，一些服务器会根据User-Agent来判断访问请求是不是来自人类或自动化脚本，可做一些反爬虫操作。我们从浏览器获取的请求信息中包含的User-Agent，表明了这段请求时来自浏览器，而非自动化脚本，因此，我们可以回答上面的问题：1.User-Agent一样是因为我们今天与昨天用的都是同一个浏览器访问，它代表了“该请求来自Edge浏览器”。2.无需担心它会发生变化，除非浏览器更新会更改这项数据，而这大概率是不会发生的。

代码实现

首先，先获取整个response的html数据，把它写在一个单独的文件里，（数据量太大，操作台无法查找相应的数据），有些导入的模块会在后面的代码中用到，这仅是完整代码的一部分

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


import requests
import re
from bs4 import BeautifulSoup
from urllib import response
import urllib.request
import json
url = "https://cn.bing.com/translator?ref=TThis&text=&from=zh-Hans&to=en"
header = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36 Edg/129.0.0.0"}
response = requests.get(url,headers=header,data={})
response.raise_for_status()
html = response.text
with open("translator.html", "w", encoding="utf-8") as f:
 f.write(html)

获取到相应的HTML，直接搜索IG

现在，我们找到了这个数据，用正则表达式将数据获取，其中re.search方法是调用第三方库re

1

ig = re.search(r'IG:"(\w+)"',html).group(1) # 使用正则表达式在html文件中查找IG数据并获取

IID

我们用同样地办法查找IID的所在地并获取它

找到`IID`的所在

找到IID数据的所在，依然在translator请求响应中，这就好办了，因为该请求的完整相应已经被我们获取了，只要找到相应的位置即可。

刚刚获取的HTML文件中，你可以找到多个带有data-iid属性的<div>，因此，我们需要更加详细的信息来确认其位置，比如利用前面的id=" tta_outGDCont"，

代码实现

可以使用第三方库BeautifulSoup，获取html格式数据中特定的属性，比如data-iid

1
2
3
4


soup = BeautifulSoup(html, "html.parser")
dev_element = soup.find("div", id = "tta_outGDCont")
data_iid = dev_element.attrs["data-iid"]
print("data_iid:"+data_iid)

我们来解释一下soup = BeautifulSoup(html, "html.parser")这一段代码

1. BeautifulSoup

BeautifulSoup 是一个 Python 库，主要用于从 HTML 或 XML 文档中提取数据。它提供了许多方法来帮助你遍历、搜索和修改 HTML/XML 文档的内容。

2. html

html 是传入 BeautifulSoup 构造函数的参数，通常是一个包含 HTML 内容的字符串。它代表了待解析的 HTML 文档。可以是从文件读取的内容，或者是通过网络请求获取的 HTML 页面。

3. “html.parser”

"html.parser" 是 BeautifulSoup 的一个解析器（parser）。它告诉 BeautifulSoup 使用 Python 内建的 HTML 解析器来解析传入的 HTML 文档。这个解析器是一个快速且有效的解析工具，但对于一些特殊的 HTML，可能处理得不如其他第三方解析器（如 lxml 或 html5lib）精准。

"html.parser" 选项是 Python 默认的解析器，但如果你安装了 lxml 或 html5lib 等库，也可以指定其他解析器。例如：

"lxml"：使用 lxml 库的 HTML 解析器。

"html5lib"：使用 html5lib 库，它更宽容于不规范的 HTML 代码。

4. 最终效果

这行代码的作用是：通过 BeautifulSoup 库，将传入的 HTML 字符串 html 解析成一个 BeautifulSoup 对象，并指定使用内建的 html.parser 解析器。解析后的 soup 对象可以用来方便地操作和提取 HTML 内容。

剩下的代码看方法名称也很好理解它是做什么的

token与key

找到`token`与`key`的所在

我们用相同的办法，通过搜索框查找token的所在地，发现，这个信息同样存在于translator请求响应中：

如果你仔细一点，你会发现，token前面那串数字，就是我们下一个要找的key！真是得来全不费工夫，剩下的两个数据被我们一次性找到了，接下来就是获取它们。

代码实现

1
2
3
4


pattern = r'var params_AbusePreventionHelper = \[(\d+),"([^"]+)",\d+\];'
token = re.findall(pattern, html)
print("key:"+token[0][0])
print("token:"+token[0][1])

同样地，我们使用正则表达式，查找var params_AbusePreventionHelper后面的两个数据，放在token列表中。

小结

至此，我们找到了我们所需的全部数据，接下来只需要将IG与IID填进URL中，将token与key填进表单中，就可发送完整的请求，伪装成正常的浏览器请求了。

请求与获取相应

代码实现

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


url = "https://cn.bing.com/ttranslatev3?isVertical=1&&IG="+ig+"&IID="+data_iid
print(url)
header = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36 Edg/129.0.0.0"}
data = {"fromLang":"zh-Hans","to":"en","token":token[0][1],"key":token[0][0],"text":"今天的天气","tryFetchingGenderDebiasedTranslations":"true"}
print(data)
data = urllib.parse.urlencode(data).encode("utf-8")
req = urllib.request.Request(url, data, headers=header)
response = urllib.request.urlopen(req)
html = response.read().decode("utf-8")
target = json.loads(html)
print(target[0]['translations'][0]['text'])

根据上一篇文章的经验，以及本文上述的分析：

URL需要根据上文所获取的IG与IID进行动态变换
data数据，将我们上面获取的token与key分别放入字典中
对数据进行UTF-8编码转换格式
发送请求
获取响应并进行UTF-8解码
转换JSON格式
获取数据

如果将进行UTF-8解码后的数据完整打印出来，将会是：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


[
 {
 "translations":[
 {
 "text":"Today's weather",
 "to":"en",
 "sentLen":{
 "srcSentLen":[
 5
 ],
 "transSentLen":[
 15
 ]
 }
 }
 ],
 "detectedLanguage":{
 "language":"zh-Hans"
 }
 },
 {
 "inputTransliteration":"jīntiān de tiānqì"
 }
]

我们要的就是translations列表下的第一个字典中text对应的value

完整代码

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60


from csv import Error
from email.policy import HTTP
from tkinter import E
from urllib.error import URLError
import requests
import re
from bs4 import BeautifulSoup
from urllib import response
import urllib.request
import json


class Translation:
 def __init__(self,content):
 self.translating(content)

 def translating(content,lfrom,lto):
 if content == "":
 return "请输入内容"

 langfrom = {"自动检测":"auto-detect","中文":"zh-Hans","English":"en"}
 langto = {"中文":"zh-Hans","English":"en"}
 url = "https://cn.bing.com/translator?ref=TThis&text=&from=zh-Hans&to=en"
 header = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36 Edg/129.0.0.0"}
 try:
 response = requests.get(url,headers=header,data={},timeout=5)
 except Exception as e:
 print(f"There are something wrong with the network: {e}")
 return "website is not reachable"
 html = response.text
 soup = BeautifulSoup(html, "html.parser")
 dev_element = soup.find("div", id = "tta_outGDCont")
 data_iid = dev_element.attrs["data-iid"]
 print("data_iid:"+data_iid)
 ig = re.search(r'IG:"(\w+)"',html).group(1)
 print("IG:"+ig)
 pattern = r'var params_AbusePreventionHelper = \[(\d+),"([^"]+)",\d+\];'
 token = re.findall(pattern, html)
 print("key:"+token[0][0])
 print("token:"+token[0][1])
 url = "https://cn.bing.com/ttranslatev3?isVertical=1&&IG="+ig+"&IID="+data_iid
 print(url)
 header = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36 Edg/129.0.0.0"}
 data = {"fromLang":langfrom[lfrom],"to":langto[lto],"token":token[0][1],"key":token[0][0],"text":content,"tryFetchingGenderDebiasedTranslations":"true"}
 print(data)
 data = urllib.parse.urlencode(data).encode("utf-8")
 try:
 req = urllib.request.Request(url, data, headers=header)
 response = urllib.request.urlopen(req)
 html = response.read().decode("utf-8")
 target = json.loads(html)
 except Exception as e:
 print(f'There are something wrong with the network: {e}')
 return "website is not reachable"
 try:
 print("translations:"+target[0]['translations'][0]['text'])
 except KeyError:
 print(target)
 return "something was wrong"
 return target[0]['translations'][0]['text']

结语

这次，我们完成了对微软翻译的完整爬虫，且可以完美多次长时间地运行，这个脚本功能已经完善，只是还没有嵌入到GUI程序中，下一篇文章，我们将会把这个脚本整理一下，放到脚本工具包中供翻译器调用，且会加装一些网络状况的判断。

如果你看到这里，说明你又变强了！希望你变得更强，感谢你的观看，共同进步！

基于PyQt开发的脚本集合包（八）

Thu, 07 Nov 2024 19:16:00 +0800

前言

本文虽然被归类于PyQt开发实战，但实际上并没有关于PyQt的相关知识，这篇文章着重基于上篇文章，讲述笔者在开发翻译器时如何做爬取微软翻译网站时的分析，如何获取到网站所需要的信息。这其中也是夹杂了许多笔者个人的猜想与运气才碰出来的，笔者对爬虫也没有做更深的学习，只有一些粗浅的理解，并结合这个项目一点一点摸出来的，可能有更专业的工具与更成体系的知识架构，笔者也要去学习，希望这篇文章对读者能起到一些帮助和启发。

本文从笔者第一次爬取开始讲起，第一次失败了，总结了失败的经验，第二次才爬取成功。

第一次爬取微软翻译

分析

在笔者进行爬虫的时候，首先先打开了浏览器自带的开发者工具查看网络数据，看看在翻译时客户端与服务器之间做了哪些交流

在排查的过程中，发现有一个名称叫做ttranslate...的包引起了笔者的注意，点进去发现这其中确实携带了笔者要翻译的信息

从上图中可以看到，包的负载中的表单数据中有一项Text，携带的数据刚好是我们输入的翻译内容你好。

打开预览可以看到更详细的信息

在这里可以发现：

这里有我们翻译之前的语种，即：zh-Hans，简体中文
翻译后的文本，保存在一个名为translations的数据中，text:Hello，这个数据就是我们要获取的数据，其实这就是对于翻译请求的响应，打开响应界面也是这一串信息

响应界面如下：

所以，本质上，笔者就是想要获得对于这个请求的响应，因此笔者的方法是模仿这个包的请求，读取它的响应，从而获得对应的翻译数据。

实践

因此根据爬虫的流程，笔者先获取了ttranslate的请求URL，即：

https://cn.bing.com/ttranslatev3?isVertical=1&&IG=94BF74DDDBA34ECB8B2CFB8D7960E4F9&IID=translator.5025

再获取了请求标头中的User-Agent，即：

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36 Edg/130.0.0.0

如下图所示：

获取URL是为了获取请求的目的地，获取User-Agent是为了让服务器认为我们是一个人，而不是脚本在自动操作（虽然真的是一个脚本），现在这两者已经获取，我们这段信息就有了身份。（虽然请求标头中还有许多其它的信息，但笔者也没搞懂有什么作用，索性也就没管）

接下来这既然是一个请求，那么我们就需要携带需要请求的消息，消息的格式是什么呢？在负载中可以找到，负载就是请求的内容，如下图所示：

显而易见的是，表单数据中携带了我们待翻译内容的语种，翻译结果的语种，以及翻译的数据。我们需要将这些信息放进我们的请求中。

信息收集完毕，开始编写代码（下面展示代码主题，读者需要注意这其中还调用了第三方关于爬虫的库，如报错，请pip install 响应的第三方库）

1
2
3
4
5
6
7
8
9


url = "https://cn.bing.com/ttranslatev3?isVertical=1&&IG=94BF74DDDBA34ECB8B2CFB8D7960E4F9&IID=translator.5025"
header = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36 Edg/129.0.0.0"}
data = {"fromLang":"zh-Hans","to":"en","text":text}
data = urllib.parse.urlencode(data).encode("utf-8")
req = urllib.request.Request(url, data, headers=header)
response = urllib.request.urlopen(req)
html = response.read().decode("utf-8")
target = json.loads(html)
print(target[0]['translations'][0]['text'])

以下，我们来逐行分析代码：

将刚刚得到的URL存放起来
将user-agent也存放起来，存放在header字典中
将我们请求的数据：翻译前的语种，翻译后的语种，文本也存放起来，存放在data字典中
将data进行utf-8加密，转换成响应的url请求格式
使用Request方法发送请求，参数为url,data,header
使用urlopen方法获取响应
将响应解码
将JSON格式的字符串解析成python对象，比如字典，列表等
获取这个target中关于translation列表下的字典的text对应的值

总结

以上，是笔者的第一次爬虫，一开始爬取的时候使用正常，可以正常的使用，但没过多久，翻译器无法使用，无故闪退，笔者开始debug，发现已经无法通过这个url发送请求了。

笔者开始整理，经过多次请求尝试和实验，发现url存在一些端倪：

https://cn.bing.com/ttranslatev3?isVertical=1&&IG=94BF74DDDBA34ECB8B2CFB8D7960E4F9&IID=translator.5025

我们再来看一下这个URL，可以发现，这URL本身就携带了一些信息，IG与IID，这两个数据在每次会话结束后，都会发生变化，也就是说，当一个会话结束后，笔者所记录的IG与IID就失效了，无法访问，因此，这一次爬虫并不成功，还需要继续改进，获取每次访问微软翻译时的IG和IID数据。

结语

总的来说，本文只是笔者在爬虫方向上的一次探索与学习，这是一次失败的尝试，不过可以看出，笔者在学习上的思路，笔者在学习时，喜欢在实践中发现问题并解决问题，因为理论与实践总是存在一定的差距，现实世界总是复杂且多变的。在实践中，你总会发现一些与理论有偏差或者相悖的地方，让你陷入迷茫，但是在实践中，你不会没有一点头绪，相反，在实践中，你有太多太多的方向去验证问题的本质，有时候往往是方向太多，你无法确定哪条路才能通向正确，你害怕做了无用功，害怕走错了方向，因此迟迟不敢动手，才导致了自己的踌躇不前。在现实世界中抽丝剥茧，也是一种学习，虽然笔者在这里也走错了路，离成功还有一段距离，但是走到这里，让笔者学会了如何看网络包，分析请求和响应，学会调用request库，以及最重要的找到了正确的道路，即：接下来，我们要想办法找到每一次IG和IID这两个数据如何变，在哪里变，如何获取到那个存放这两个数据的包。致敬技术，希望你变得更强！

网络爬虫 on 苏三有春的博客

基于PyQt开发的脚本集合包（九）

前言

分析

IG

找到`IG`所在

请求获取`IG`数据

`User-Agent` 的作用总结：

代码实现

IID

找到`IID`的所在

代码实现

1. BeautifulSoup

2. html

3. “html.parser”

4. 最终效果

token与key

找到`token`与`key`的所在

代码实现

小结

请求与获取相应

代码实现

完整代码

结语

基于PyQt开发的脚本集合包（八）

前言

第一次爬取微软翻译

分析

实践

总结

结语

网络爬虫 on 苏三有春的博客

基于PyQt开发的脚本集合包（九）

前言

分析

IG

找到IG所在

请求获取IG数据

User-Agent 的作用总结：

代码实现

IID

找到IID的所在

代码实现

1. BeautifulSoup

2. html

3. “html.parser”

4. 最终效果

token与key

找到token与key的所在

代码实现

小结

请求与获取相应

代码实现

完整代码

结语

基于PyQt开发的脚本集合包（八）

前言

第一次爬取微软翻译

分析

实践

总结

结语

找到`IG`所在

请求获取`IG`数据

`User-Agent` 的作用总结：

找到`IID`的所在

找到`token`与`key`的所在