遇到这类的问题，在使用 Python 爬虫库中的 urllib 或者 requests 库获取数据时，大多数网站都会对用户请求中的 User-Agent 进行检测，如果没有在请求头中设置 User-Agent，那么就会抛出相关异常

原因1：

大多数网站都会对用户请求中的 User-Agent 进行检测，如果没有在请求头中设置 User-Agent，那么就会抛出异常

改进方法：在headers中添加：User-Agent

 原因2：

这里我用的是http协议，请求的url也是http协议 ，这个位置测试网站换成https://blog.csdn.net/lovlu18 协议时，它还是可以得到响应，这个因为没有ssl加密应用层的介入

所有还是建议大家使用http协议的url。

总结：

通俗点来说，就是如果添加了UA之后，问题还没有得到解决，就看一下你请求的网站，是不是https,如果是，就改为http试一下，即建议大家使用http协议的url。