爬虫采集中,请求头字段,对它较为熟悉,但是在html的meta标签中,亦不知道Referrer如何应用。

Referrer,是一种引用策略,可以用来防止图片或视频被盗。

它的原理是:http 协议中,如果从一个网页跳到另一个网页,http 头字段里面会带个 Referrer。

图片服务器通过检测 Referrer 是否来自规定域名,来进行防盗链。

如果没有设置referrer,那就可以直接绕过防盗链机制,直接使用或盗取。


运行环境 Runtime environment

1
2
3
操作系统: Windos10  
IDE: webStrom 2021.3.1 x64
语言: HTML

referrer 的值

  1. no-referrer:所有请求不发送 referrer。

  2. no-referrer-when-downgrade(默认值):当请求安全级别下降时不发送 referrer。目前,只有一种情况会发生安全级别下降,即从 HTTPS 到 HTTP。HTTPS 到 HTTP 的资源引用和链接跳转都不会发送 referrer。

  3. same-origin:对于同源的链接和引用,会发送referrer,其他的不会。

  4. origin:在任何情况下仅发送源信息作为引用地址。源信息包括访问协议和域名。

  5. strict-origin:在安全级别下降时不发送 referrer;而在同等安全级别的情况下仅发送源信息。注意:这个是新加的标准,有些浏览器可能还不支持。

  6. origin-when-cross-origin:同源的链接和引用,会发送完全的 referrer 信息;但非同源链接和引用时,只发送源信息。

  7. strict-origin-when-cross-origin:同源的链接和引用,会发送 referrer。安全级别下降时不发送 referrer。其它情况下发送源信息。注意:这个是新加的标准,有些浏览器可能还不支持。

  8. unsafe-url:无论是否发生协议降级,无论是本站链接还是站外链接,统统都发送 Referrer 信息。正如其名,这是最宽松而最不安全的策略。

语法

Referrer-Policy: no-referrer

1
<meta name="referrer" content="no-referrer" />

Referrer Policy 设置方法

1.CSP(Content Security Policy)
CSP(Content Security Policy),是一个跟页面内容安全有关的规范。

在 HTTP 中通过响应头中的 Content-Security-Policy 字段来告诉浏览器当前页面要使用何种 CSP 策略。

1
Content-Security-Policy: referrer no-referrer|no-referrer-when-downgrade|origin|origin-when-cross-origin|unsafe-url;

CSP 的指令和指令值之间以空格分割,多个指令之间用英文分号分割。

  1. html 标签
    如果 content 属性不是合法的取值,浏览器会自动选择 no-referrer 这种最严格的策略。

    1
    <meta name="referrer" content="no-referrer|no-referrer-when-downgrade|origin|origin-when-crossorigin|unsafe-url">
  2. 通过a、area、link元素的 referrer属性

1
a href="http://www.baidu.com" referrer="no-referrer|origin|unsafe-url"