伴随物流行业的迅猛发展,一体化供应链模式的落地,对系统吞吐、系统稳定发出巨大挑战,库存作为供应链的重中之重表现更为明显。近三年数据可以看出:
接入商家同比增长 37.64%、货品种类同比增长 53.66%
货品数量同比增长 46.43%、仓库数量同比增长 18.87%
通过分析过往大促流量,分钟级流量增长率为 75%,大促仓内反馈三方订单下传不及时,库存预占吞吐量和性能是导致订单积压因素之一。目前库存使用 mysql 数据库作为接单预占的扛量手段,随着一体化供应链建设以及重点 KA 商家不断接入,现有库存架构在业务支撑上存在风险和缺陷。
此外未来 3 到 5 年业务增长、流量增长预计增长 5-10 倍。为避免系统性能和技术架构缺陷导致业务损失,轻量级库存架构势在必行。
// 名词解释:
库存预占:是指消费者拍下商品订单后,库存先为该订单短暂预留,预留的库存即为预占库存。
架构:是⾯向问题,解决问题的手段。 库存系统的问题: 非功能性:1.高并发 2.系统稳定性 (容灾) 3.数据一致性 功能性: 1.业务复杂 2.数据一致性
key | 预占 | 缺量预占 | 回滚 | 回写 |
---|---|---|---|---|
可售库存数量 | - | - | + | 不变 |
扣减库存量 | + | + | - | - |
预占防重 key | + | + | - | 不变 |
回滚防重 | 不变 | 不变 | + | 不变 |
缺量预占库存量 | 不变 | + | 反向 | 不变 |
扣减库存单据记录 | + | + | - | - |
// 对系统容错/降级、监控机制 (空间换稳定性,两份 redis,故障 3 次丢数),流量分布材料,618 流量大、峰值数据切量。数据不一致,多个商家,不能超过 5 分。
预占任务持久化:mysql 需要将核心属性字段数据持久化:事业部,商品编码,仓编码,等级,库存类型,库存状态,预占库存量,任务状态;调度执行完成后需要更新 stockTask 状态为完成
初始化:
(1) lock db
(2) sum stockTask
(3) 使用 DB 可用库存初始化 Redis 可用库存,stockTask 预占量初始化 Redis 预占量
(4) Redis 库存回滚,如果预占量 key 不存在,该 key 不需要回滚
23 年 618 大促
切量细则
OMS 库存冷热装置
预占架构升级切量重点 key 监控
库存预占架构升级切量商家
架构升级切量商家明细 2
已切量商家
原有设计中存在以下名单
禁止切量商家:优先级较高,一旦在名单中,禁止切量
批次库存商家:批次库存管理商家,目前该部分能力尚未建设
动态质押商家:物流金融业务,目前该部分能力尚未建设 切量名单商家:该部分为切量商家
原有切量流程:!禁止切量->!批次库存->!动态质押->切量名单中,通过以上校验为切量商家。
原有流程在增量商家中需要手动将商家配置到切量名单中才可进行切量操作,对于新增商家场景操作不变,且原有流程中逻辑库存名单为痛点:逻辑库存的启用配置在事业部主数据中,不在库存侧。
新版切量流程中对切量名单进行优化,将原来切量名单商家拆分成非逻辑库存名单、逻辑库存两个名单,其中:
非逻辑库存名单:包含可切量商家
逻辑库存名单:逻辑库存商家,该部分不可切量
原流程新流程对切量商家名单进行优化,拆分成非逻辑库存名单、逻辑库存两个名单
◦逻辑库存 MD5 工具
StringBuffer md5Key = new StringBuffer();
md5Key.append(logicWarehouseStock.getGoodsNo()+"_"+logicWarehouseStock.getWarehouseNo()+"_"+logicWarehouseStock.getOwnerNo()+
"_"+logicWarehouseStock.getDeptNo()+"_"+logicWarehouseStock.getStockType()+"_"+logicWarehouseStock.getGoodsLevel());
if(StringUtils.isBlank(logicWarehouseStock.getFactor1())){
md5Key.append("_0");
}else {
md5Key.append("_"+logicWarehouseStock.getFactor1());
}
if(StringUtils.isBlank(logicWarehouseStock.getFactor2())){
md5Key.append("_0");
}else {
md5Key.append("_"+logicWarehouseStock.getFactor2());
}
if(StringUtils.isBlank(logicWarehouseStock.getFactor3())){
md5Key.append("_0");
}else {
md5Key.append("_"+logicWarehouseStock.getFactor3());
}
if(StringUtils.isBlank(logicWarehouseStock.getFactor4())){
md5Key.append("_0");
}else {
md5Key.append("_"+logicWarehouseStock.getFactor4());
}
if(logicWarehouseStock.getYn()== null){
md5Key.append("_1");
}else {
md5Key.append("_"+logicWarehouseStock.getYn());
}
md5Key.toString().hashCode()
public void fillMd5Value(){
StringBuffer md5Key = new StringBuffer();
md5Key.append(warehouseNo);
md5Key.append("_");
md5Key.append(goodsNo);
md5Key.append("_");
md5Key.append(goodsLevel);
md5Key.append("_");
md5Key.append(stockType);
//遍历类字段不遍历map是为了控制MD5的组成顺序
Class clazz = BatchAttrStock.class;
Field[] fields = clazz.getDeclaredFields();
try {
int batchFieldCount = 0 ;
for (Field field : fields){
BatchAttrEnum attrEnum = BatchAttrEnum.batchFieldEnumMap.get(field.getName());
//不是批属性的字段不进入MD5的组成
if (attrEnum == null){
continue;
}
batchFieldCount ++;
field.setAccessible(true);
Object value = field.get(this);
if (value == null ){
md5Key.append("0");
continue;
}
if(field.getType().toString().contains("String")){
md5Key.append(value);
continue;
}
if(field.getType().toString().contains("Date")){
Date timeField = (Date) value;
md5Key.append(timeField.getTime());
continue;
}
throw new RuntimeException(attrEnum.getField()+"填充MD5异常");
}
//默认50个批属性长度,长度不够0补齐
int remainLength = 50 - batchFieldCount;
String str = String.format("%0"+remainLength+"d", 0);
md5Key.append(str);
}catch (Exception e){
throw new RuntimeException("填充MD5异常.");
}
md5Key.append(yn);
String md5Value = MD5Util.md5(md5Key.toString());
setMd5Value(md5Value);
}
作者:京东物流 金鹏
来源:京东云开发者社区 自猿其说 Tech 转载请注明来源