scrapy爬虫时提示referer:none是什么意思,referer参数有什么用?

scrapy爬虫时提示referer:none是什么意思,referer参数有什么用?

常见的反爬虫策略之一。

这个参数的值,表明你是从哪个网页跳转过来的。

比如说我请求获得淘宝评论的时候,他的referer是商品详情页面,表明我从这件商品详情页请求的相关评论,没有referer就不会给你这个评论。