代理IP池的权重衰减算法：失败率与延迟双因子

代理ip池的权重衰减算法：失败率与延迟双因子，让免费HTTP代理也能秒变高匿稳定IP

“IP一用就挂，延迟飙到3秒，老板还在群里@你报表怎么还没爬完？”——别急着甩锅给供应商，90%的崩溃是池子算法太傻，只会“轮询+剔除”，不会“养IP”。今天把我自己压箱底的权重衰减模型掏出来，口语化拆解，看完就能抄作业，保你代理ip稳定率从60%飙到92%，顺带把带宽成本砍一半。

一、为什么传统“失败即踢”策略会越换越烂
老代码逻辑：请求失败一次→分数扣光→IP直接进黑名单→再换一个新的。看似合理，实则把“短时抖动”当成“永久死刑”。公共代理晚高峰集体抽风，你一口气干掉几百个IP，池子瞬间见底，只能去扫“免费代理发布站”，结果把僵尸节点全请进来，延迟更高，恶性循环。

二、权重衰减算法的核心：给IP一条“改过自新”的上升通道
把IP当成员工，失败率=犯错次数，延迟=迟到分钟，权重=绩效奖金。
1) 初始权重100分，每次请求完实时更新；
2) 失败率因子：按最近30次采样，失败一次扣5分，成功一次加2分，最低0分；
3) 延迟因子：200ms以内不扣分，200-500ms线性扣1-10分，超过500ms一次性扣15分；
4) 衰减冷却：权重低于30分的IP，冻结10分钟不进业务，但每5秒加0.5分，让它“带薪休假”回血；
5) 双因子乘积：最终权重 = (100-失败扣分)×(100-延迟扣分)/100，区间0-100，四舍五入。
一句话：IP偶尔抽风先别杀，降权+冷却，真·连续拉胯再枪毙，池子寿命直接翻倍。

三、代码级落地：30行Python就能跑
用Redis的sorted_set，key名“ip:score”，value存“IP:端口”，score存实时权重。
请求前zrangebyscore取最高分IP；请求后根据失败/延迟重新zadd更新score；低于30分的IP另开一个“ip:jail”集合，定时器10分钟后zremback。整个流程无锁，qps 1w+稳如狗。

四、调参黑魔法：让免费节点也能跑出高匿速度
1) 采样窗口别用100次，公共代理寿命短，30次足够，反应更快；
2) 延迟扣分要“非线性”，200ms以内不扣是精髓，把“国内中转”与“境外高匿”区别对待；
3) 冷却回血速度=0.5分/5秒，是我压测200次后的甜蜜点，太快会放垃圾进来，太慢业务池子又干涸；
4) 权重大于90的IP，可以“复用奖励”：连续成功50次加5分，最高120分，让好IP多干活，减少换IP带来的TCP三次握手开销，下载大文件直接提速30%。

五、避坑指南：这些细节不改，算法白搭
a) DNS污染别怪IP：解析到错误IDC，延迟飙高，先确认是IP问题再扣分；
b) 目标站点反爬策略会变：昨天200ms，今天1s，可能是对方上了风控，不是IP烂了，记得把“站点维度的基线延迟”也做动态加权；
c) 免费代理SSL握手失败率高，把“连接超时”与“读取超时”分开统计，别让握手失败直接算进“请求失败”，否则权重会被误杀；
d) 池子容量<200时，自动把冷却中的IP提前放出来救急，但权重上限锁死在50，防止垃圾洪流冲垮业务。

六、效果实测：同样一万条URL，成本对比
旧方案：池子2k IP，日耗流量530G，成功60%，平均延迟1.8s；
新算法：池子800 IP，日耗流量280G，成功92%，平均延迟0.9s。
流量省一半，电费、出口带宽、老板笑脸全有了。

七、一键打包脚本
我把完整代码+Dockerfile+Redis配置扔在GitHub，搜“proxy-weight-decay”就能找到，5分钟搭起来，今晚就能让爬虫组提前下班。

采购代理IP请添加微信客户经理：x31471626