当前位置: 首页 > 中国星空网 > 电影 > 内容页

解剖屎山,寻觅黄金之第二弹

2023-06-11 03:12:15 来源:程序员客栈

大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。


(资料图片仅供参考)

在最开始,我的第一版实现是这样的:

publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}

那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}

我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁

确实牛逼。

我基于上面的思路微改了下入口,代码最终演变成这样:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}

到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)

去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):

通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录

为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:

1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉

2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉

从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:

DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);

Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)

而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder

/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMapserviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}

前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:

而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。

LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19

1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。

2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。

3、redis使用lua脚本来保证原子性和减少网络io的损耗

4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)

5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳

针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?

A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。

为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。

为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。

推荐项目

最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。

毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。

如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。

仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin

我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟

VIP服务

标签:

网红

更多

猜你喜欢

更多
解剖屎山,寻觅黄金之第二弹 我找到了阅读GitHub项目源码的最佳姿势,太舒服了! 当前短讯 1158万人!今年高校毕业生数量再创历史新高!找工作更难了..._焦点热文 动漫IP“雅皮兔” 携朋友亮相文博会-微资讯 买家秀与卖家秀大相径庭?手机“碰一碰”就可对产品溯源 新加坡羽毛球公开赛:王祉怡无缘半决赛 暖心相伴 “义”路同行|焦点快看 环球关注:连云港市约2.58万名考生正式结束高考 在家乡的热土上培育梦想-全球热议 大学生就业现状及对策(大学生就业现状) 世界球精选!恐怖网名小说(恐怖网名) 如何健康饮食提高身体免疫力(如何健康饮食) 吃喝玩乐购!快来一站式畅享非遗购 探访非遗味 共赴非遗游! 焦点关注:提高科学素养 “深海发现之旅”在国家海博馆启动 考后心理波动期来了?几个方法帮考生收心 第34届中国经济新闻奖:21世纪经济报道获评论一等奖、融合报道一等奖 美国旧金山毒品泛滥、暴力犯罪猖獗 市民称正在目睹西方文明崩溃|环球观热点 秋冬想要曼妙的身材,让三木教你用一条腰带来提升气质,时髦高级-环球新资讯 焦点短讯!特斯拉财源滚滚:市值暴涨上万亿 福特通用送200多亿充电“大礼” “女生曝光疑被偷拍”事件,多方回应|今日观点 银河系中心是外星人的信标?新算法专注聆听ET“雷达信号” 力挺!小波特低迷场均7分 马龙:他不会掉出轮换 绝不质疑他 环球热消息 观点:刘国梁提拔8人入围国家队,15岁小张怡宁入选,陈幸同王一迪师妹 环球新资讯:定了!皇马第二签锁定中场万金油,德国国脚登陆伯纳乌倒计时 网坛新一代缺乏大心脏!手脚都抽筋,阿卡赛后坦言对战小德太紧张 卧铺可自选上下铺位置 今日起12306试行在线选铺服务 世界焦点!2023年里昂领事节举办 法国小熊猫学校助力“乒乓外交” 《仙剑三》翻拍:情怀有多不值钱? 5月国内挖掘机销量降46%,出口增速重回两位数|基建晴雨表-天天快消息 最新:中国移动5G无线主设备集采:超77亿大单落地,华为一骑绝尘,爱立信、诺基亚份额增长 居理买房暴雷!前员工称“欠薪千万元,丈母娘顶替法人” 《底特律》发行商公布独立品牌:三款游戏待发售_世界百事通 速看!因自来水厂停电,河南信阳市商城县城停水|世界微速讯 流年是指哪一年(流年是什么意思)_每日热闻 世界信息:把在团体中起主导的人喻成(把在团体中起主导作用的人喻为什么) 当前快报:柳先开老点粤语中字(柳先开老点伦文叙粤语) 环球快看:马自达cx-4和cx30(马自达cx4和cx30有什么区别?) 大括号小括号中括号是运算符号吗(大括号中括号小括号何时用) 哈根达斯冰淇淋月饼种类(哈根达斯冰激凌月饼 金山有提货点马)-速读 世界热头条丨超级玛丽中文版无限生命(超级玛丽中文版) 影子形成的原因动画(影子形成的原因) 环球百事通 把在团体中起主导的人喻成(把在团体中起主导作用的人喻为什么)|世界看点 rrna寡核苷酸编目(Oligo DNA RNA 是什么 寡聚核苷酸) 环球短讯 地热进水热的出水管凉怎么办(地热进水管热出水管不热怎么办)_世界讯息 今日热搜:一次数学竞赛共有20道题 做对一题得5分(一次数学竞赛共有20道题) 焦点播报:RK3588-Camera:MIPI-CSI调试之通路解析 每日短讯:RK3588-CAN总线 环球今热点:查水费户号怎么查询交交水费(交水费的户号查询) 热文:侠盗猎车手圣安地列斯秘籍攻略(侠盗猎车手圣安地列斯秘籍大全招小弟) 热点聚焦:纸老虎打一个字(纸老虎打一成语是什么) 吉他入门零基础(html5菜鸟教程零基础能看懂么)|环球观速讯 笔记本双硬盘怎么装系统(双硬盘怎么装系统) 焦点速读 创造与魔法大龙虾在哪里钓概率高(创造与魔法大龙虾在哪里钓) 从8000年前的刻符龟甲说起 成博新展用220件重磅文物解读“汉字中国”|文化和自然遗产日 打新套利动辄千万,“万人摇”乱象丛生,楼市限价将“退出”? 樊纲:今年5%以上经济增长可以期待 张建坤深入高考点巡查护考护安情况_速递 天津到烟台高铁时刻表查询_天津到烟台 中国金币深圳中心官网_中国金币深圳-环球今热点 热讯:有史以来最伟大的说唱歌手有哪些_有史以来最伟大的说唱歌手 环球信息:蚌埠铁路中学官网高二分班2020_蚌埠铁路中学官网 板式换热器 品牌_板式换热器厂家排名 浴室暖风机哪个牌子好用_浴室暖风机哪个牌子好_全球速讯 环球热点!郑裕美、李善均恐怖悬疑新电影《梦游》,坎城首映后获外媒大赞 75部影片已定档,暑期档票房有望冲击150亿 购买凤头鹰做补品,结果…… 特朗普私藏机密文件案起诉书公布 辩护律师同日宣布辞职 当前关注:国铁集团今起在12306网站(含App)试行在线选铺服务 广汇汽车与工行江西省分行签署战略合作协议_环球观天下 买家秀与卖家秀大相径庭?手机“碰一碰”就可对产品溯源 各地税务部门不断优化服务 前5个月新办涉税经营主体643.5万户 环球今日讯!考生腿部术后行动不便 多方接力暖心送考 “连e行”网约公交车开通运营 3条直达线开通 淮安:205国道京杭运河特大桥 雄伟壮观 助力腾飞 焦点快播:国家二级保护动物上门“求助” 消防救援人员开启“奶爸”模式 四川锂矿资源储量占全国总量57% 具备采矿权锂矿储量达1.58亿吨_全球快播报 第34届中国经济新闻奖:21世纪经济报道获评论一等奖、融合报道一等奖 乔欣终于不扮乖乖女,一袭黄色高开叉礼服大秀曼妙身材,性感时髦|微资讯 当前关注:炎炎夏日,女子选择清凉舒适的吊带衫,尽显温柔气质和曼妙身姿 今日快讯:白宫再抛“橄榄枝”、竞争对手接连“投诚”,特斯拉充电有望“一统北美” 当前通讯!英国监管机构阻止微软收购动视暴雪 后者获准参与上诉程序 农民画家陈波那:展家乡美 绘民族情 环球最新 四川阿坝州茂县发生3.2级地震_全球新消息 环山饲料3号料多少钱一包(猪饲料价格查询) 今热点 心肌梗塞猝死死亡速度快吗能活多久 常用止血药物的使用方法,止血药应用 呼吸道异物堵塞的急救措施是什么|即时 今日热讯:三四级残疾证有什么用(残疾人证和三四级的区别) 40减八分之四怎么算 8减4分之一怎么算 意大利面怎么做好吃 意大利面怎么做好吃又简单的做法视频 k表示什么单位 k表示什么单位物理 今日视点 全球新消息丨冬天洗冷水澡的好处与坏处 冰箱知音使用方法图片 世界消息!《暗黑破坏神4》差评如潮 跌到5.1分了 每日快播:压力给到X86处理器!苹果M2 Ultra芯片跑分曝光,多核成绩比M1 Ultra高18% 广州市2023年普通高考感谢信 世界即时看 热头条丨莫扎特的一句话(关于莫扎特的话例如说他天真) 邮差马龙外号由来(邮差马龙)|微速讯 烈火金刚小说朗读(烈火金刚小说) 滚动:中国商业航天发展大会聚焦商业航天产业发展

直播

  1. 今头条!腾讯手游助手电脑版下载安装(腾讯手游助手电脑版)

    今头条!腾讯手游助手电脑版下载安装(腾讯手游助手电脑版)

  2. 【时快讯】深圳市顺丰快递电话号码(深圳顺丰快递的电话号码)

    【时快讯】深圳市顺丰快递电话号码(深圳顺丰快递的电话号码)

  3. 天天视讯!木耳熬汤(meat)

    天天视讯!木耳熬汤(meat)

  4. 看热讯:南烟斋笔录小说txt资源(南烟斋笔录小说txt)

    看热讯:南烟斋笔录小说txt资源(南烟斋笔录小说txt)

  5. 焦点速读:日文是什么意思中文(日文是什么字上下)

    焦点速读:日文是什么意思中文(日文是什么字上下)

  6. 动态焦点:锦城丝管日纷纷半入江风半入云此曲只应天上有人间能得几回闻(锦城丝管日纷纷半入江风半入云)

    动态焦点:锦城丝管日纷纷半入江风半入云此曲只应天上有人间能得几回闻(锦城丝管日纷纷半入江风半入云)

  7. 环球报道:五分裤男(五分裤)

    环球报道:五分裤男(五分裤)

  8. 前沿热点:驱赶喜鹊妙招(驱赶)

    前沿热点:驱赶喜鹊妙招(驱赶)

  9. 每日消息!求一些工藤新一最帅的照片和他的简介。

    每日消息!求一些工藤新一最帅的照片和他的简介。

  10. 焦点关注:发达国家在经济发展过程中最大的问题是什么(发达国家在经济发展过程中最大的问题是)

    焦点关注:发达国家在经济发展过程中最大的问题是什么(发达国家在经济发展过程中最大的问题是)