伪装自身User-Agent

8月以前  |  阅读数:40 次  |    

伪装自身信息,让服务器认为访问它的是一个谷歌浏览器,若不伪装服务器通过"User-Agent": "Python-urllib/3.6"就知道访问它的是一个爬虫程序,从而返回错误信息

伪装自身信息,让服务器认为访问它的是一个谷歌浏览器,若不伪装服务器通过"User-Agent": "Python-urllib/3.6"就知道访问它的是一个爬虫程序,从而返回错误信息。

from urllib.request import urlopen,Request
url = 'http://httpbin.org/get'#这个网站可以显示自身服务器的User-Agent信息
headers = {
   'User-Agent' : 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0'
}
#创建请求对象
request = Request(url,headers = headers)#发送url和伪装的头信息
response = urlopen(request)
print(response.read().decode())

相关文章:


SSH 登录失败:Host key verification failed

PHP分页显示制作详细讲解

PHP自定义函数获取搜索引擎来源关键字的方法

将二进制数据转为16进制以便显示

在Zeus Web Server中安装PHP语言支持

让你成为最历害的git提交人

再谈PHP中单双引号的区别详解

PHP实现简单爬虫的方法

php+ajax+json 详解及实例代码

Python 2与Python 3版本和编码的对比

php实现数组中索引关联数据转换成json对象的方法

wget使用技巧

桌面中心(一)创建数据库

PHP设计模式之工厂模式与单例模式

获取IMSI

Java生成UUID

php封装的page分页类完整实例

php数组合并array_merge()函数使用注意事项

Yii2汉字转拼音类的实例代码

getAttribute和getAttributeNode