[原] BBS日志和点击率的优化方向及静态化
Posted by bianbian on 2008-04-06 16:01
尤其是点击率，是网站静态化最麻烦的地方之一：每个用户的每次点击都会改写.DIR文件，也是负担
而且除了看一眼没有其他用处，而且没有办法保证不作弊（blog点击率作弊尤其多）
我想了个办法：tmpfs+数据库（比如MySQL）
1）把所有点击率以日志的形式记录到tmpfs（ramdisk）某文件log.tmp（点一次存一行）
格式：bbs BoardName FileName UserId IP
blog BlogUserId FileName UserId IP
an Path UserId IP
因为是内存操作，非常快
2）10分钟crontab把log.tmp改名log.10，然后另外启动程序分析log.10
去除UserId和IP相同的重复记录（10分钟内同ip同id重复点击只算一次）
把结果一次insert到MySQL，因为是multi insert，即使log很大，其实是非常快的
3）进入数据库以后就好办了，可以出各种统计：
1小时内热门，12小时内热门，24小时内热门，本周热门。。。。。。
这块统计（数据挖掘）其实是目前基于文件系统的BBS最缺的地方，自己写会很辛苦
这块结果输出可以用memcached优化，10分钟从数据库跑一次SQL即可
这样.DIR就不需要改变，而且可以把.DIR部分cache到内存里，结合libevent，有数据改写reload一次
唯一的缺点是显示的时候要从数据库内取，必须memcached，而且10分钟才会更新一次
不过比起带来的好处来看，是微不足道的
针对其他日志的数据挖掘：除了能出各种统计图表外，对于遍历试密码的可以直接从iptables过滤
我准备等我忙完毕业的事情好好实现一下。
遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道