nginx+lua+redis实现验证码防采集

来源:IT165收集  发布日期:2015-07-17 21:58:20

之前介绍过在nginx里如何嵌入lua模块,利用nginx+lua可以很好的开发开发nginx的业务逻辑,并且达到高并发的效果。

下面我们就来介绍下利用nginx+lua+redis实现防采集的功能。

现象:

网站在为用户提供服务的同时也在被搜索引擎、采集器不断的抓取,可能会造成网站不堪重负,导致页面放回5XX错误。针对此种情况,我们就要对采集器及搜索引擎来进行访问控制,当然对搜索引擎的控制可能会影响网站的收录。

功能描述:

nginx+lua在前端实现客户端的访问控制,将客户端的访问信息记入redis中,如果超过访问频率的限制,则跳转到php生成的验证码界面;若验证通过则可以继续访问半小时,若验证不通过则被封锁半小时。由于采集器的ip可能变化,所以在此不会一直封锁。

1.nginx_lua模块安装

请参考前面“nginx和lua”的博文http://blog.csdn.net/yanggd1987/article/details/46679989

2.lua-resty-redis模块安装

 

cd /usr/local/src
wget https://github.com/openresty/lua-resty-redis/archive/master.zip
unzip master.zip
cd lua-resty-redis-master
mkdir -p /usr/local/nginx/lua
#将lib拷贝到nginx安装目录下的lua文件夹内
cp -rf lib /usr/local/nginx/lua
cd /usr/local/nginx/lua/lib
ln -s redis.lua resty/redis.lua
3.在nginx目录下编写lua脚本

 

 

cd /usr/local/src
wget https://github.com/openresty/lua-resty-redis/archive/master.zip
unzip master.zip
cd lua-resty-redis-master
mkdir -p /usr/local/nginx/lua
#将lib拷贝到nginx安装目录下的lua文件夹内
cp -rf lib /usr/local/nginx/lua
cd /usr/local/nginx/lua/lib
ln -s redis.lua resty/redis.lua


cd /usr/local/nginx/lua
vim access_test.lua
package.path = "/usr/local/nginx/lua/?.lua;/usr/local/nginx/lua/lib/?.lua;"
package.cpath = "/usr/local/nginx/lua/?.so;/usr/local/nginx/lua/lib/?.so;"
--封禁ip时间
ip_bind_time = 300
--ip访问频率时间段
ip_time_out = 60
--ip访问频率计数最大值
connect_count = 60
--连接redis
local redis = require "resty.redis"
local cache = redis.new()
local ok ,err = cache.connect(cache,"10.10.10.8","6381")
cache:set_timeout(60000)

--如果连接失败,跳转到label处
if not ok then
        goto label
end

--ip封禁key
is_bind , err = cache:get("bind_"..ngx.var.remote_addr)

--白名单
--验证码通过后,只需将white_ngx.var.remote_addr置为1并设置过期时间即可,在下次访问时将不会再做判断
is_white , err = cache:get("white_"..ngx.var.remote_addr)

if tonumber(is_white) == 1 then
        goto label
end


--查询ip是否在封禁时间段内,若在则跳转到验证码页面
if tonumber(is_bind) == 1 then
        --ngx.say("block,跳转到验证码页")
        --base64编码
        local source=ngx.encode_base64(ngx.var.scheme.."://"..ngx.var.host..ngx.var.request_uri)
        local dest="http://10.10.10.8/authcode.html".."?continue="..source
        --url_args编码
        --local source=ngx.encode_args({continue=ngx.var.scheme.."://"..ngx.var.host..ngx.var.request_uri})
        --local dest="http://10.10.10.8/authcode.html".."?"..source
        ngx.redirect(dest,302)
        goto label
end

--ip记录时间key
start_time , err = cache:get("time_"..ngx.var.remote_addr)
--ip计数key
ip_count , err = cache:get("count_"..ngx.var.remote_addr)

--如果ip记录时间的key不存在或者当前时间减去ip记录时间大于指定时间间隔,则重置时间key和计数key
--如果当前时间减去ip记录时间小于指定时间间隔,则ip计数+1,并且ip计数大于指定ip访问频率,则设置ip的封禁key为1,同时设置封禁key的过期时间为封禁ip时间
if start_time == ngx.null or os.time() - tonumber(start_time) > ip_time_out then
        res , err = cache:set("time_"..ngx.var.remote_addr , os.time())
        res , err = cache:set("count_"..ngx.var.remote_addr , 1)
else
        ip_count = ip_count + 1
        res , err = cache:incr("count_"..ngx.var.remote_addr)
        if ip_count >= connect_count then
                res , err = cache:set("bind_"..ngx.var.remote_addr , 1)
                --以下步骤交给php,若验证码不通过则设置bind过期时间,若验证码通过则设置white_ip为1并且设置其过期时间
                --res , err = cache:expire("bind_"..ngx.var.remote_addr , ip_bind_time)
        end
end


::label::
local ok , err = cache:close()

 

10.10.10.8/authcode.html为验证码页面,需要其他语言编写,在此就不再说了!

注意:

1.在生产环境中由于后端php需要记录远程客户端ip,因此需要在nginx代理上开启相关设置:

proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

2.在应用生产环境中可能是多域名环境,ngx.exec和ngx.redirect的跳转方式不同,ngx.exec为内部跳转,ngx.redirect为外部跳转;

3.white_ip为白名单,若验证成功则添加白名单,并且设置白名单的过期时间;若验证不成功,则直接设置bind_ip的过期时间;若不验证,则会一直被封锁;

4.判断white_ip一定要放在bind_ip上面,因为验证已经添加白名单后则会直接跳过后续判断部分;

5.在跳转到验证码页面后,需要记录所要访问页面的url,以达到验证通过后跳转到所要访问的页面;

6.在访问时间内没有达到限制次数,则cout_ip和time_ip会被重置。

4.将lua脚本添加到相应的location下

 

   location /test {
                access_by_lua_file '/usr/local/nginx1.6/lua/access.lua';
                content_by_lua 'ngx.header.content_type = "text/plain"
                ngx.say("hello,world")
                ';
        }

在1分钟内,当访问次数达到100,就会跳转到验证码界面。

 

ps:在此感谢zengbin3013(http://blog.csdn.net/zengbin3013/article/details/9313979)博主,本脚本也是在他的基础上改的。

参考内容:

https://github.com/openresty/lua-resty-redis

https://github.com/openresty/lua-nginx-module

http://wiki.nginx.org/HttpLuaModule

 

延伸阅读:

  • 专题推荐

About IT165 - 广告服务 - 隐私声明 - 版权申明 - 免责条款 - 网站地图 - 网友投稿 - 联系方式
本站内容来自于互联网,仅供用于网络技术学习,学习中请遵循相关法律法规