referrer-spam-list - 社区协作维护的引荐垃圾域名过滤列表

这是一个由社区贡献的引荐垃圾邮件发送者列表，由领先的开源网络分析平台Matomo维护。

使用方法

该列表存储在本仓库的spammers.txt文件中。这个文本文件每行包含一个主机名。

git clone https://github.com/matomo-org/referrer-spam-list.git

PHP

如果你使用PHP，也可以通过Composer安装此列表：

composer require matomo/referrer-spam-blacklist

使用你喜欢的编程语言解析该文件应该很容易。注意文件中可能包含空行。

以下是使用PHP的示例：

$list = file('spammers.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);

Nginx

Nginx的server块可以配置为检查引荐来源并返回错误：

if ($http_referer ~ '0n-line.tv') {return 403;}
if ($http_referer ~ '100dollars-seo.com') {return 403;}
...

当组合在一起时，列表超过了单个正则表达式的最大长度，因此必须像上面所示那样将主机名分开。

这里有一个bash脚本来创建nginx配置文件：

sort spammers.txt | uniq | sed 's/\./\\\\./g' | while read host; 
do 
    echo "if (\$http_referer ~ '$host') {return 403;}" >> /etc/nginx/referer_spam.conf
done;

然后你需要在server块内include /etc/nginx/referer_spam.conf;

现在作为每日cron作业，使列表保持最新：

0 0 * * * cd /etc/nginx/referrer-spam-blacklist/ && git pull > /dev/null && echo "" > /etc/nginx/referer_spam.conf && sort spammers.txt | uniq | sed 's/\./\\\\\\\\./g' | while read host; do echo "if (\$http_referer ~ '$host') {return 403;}" >> /etc/nginx/referer_spam.conf; done; service nginx reload > /dev/null