需求分析

需求相关内容

系统设计

系统升级方案

系统设计、更改相关内容

测试用例设计

No.	case	预期
1
2
3
4	回归测试-点

发布方案

包含灰度、全量发布流程

人力评估

项目	人力
合计

编码开发

grerrit code review地址：

测试结果

功能测试

No.	case	预期结果	测试通过（✅ or ❌）
1
2
3	回归测试

性能测试

	qps	cpu idle	内存	失败率	延时P99	是否通过（✅ or ❌）
实验	50%		❌
基线	50%		–
实验	30%		❌
基线	30%		–

稳定性测试

测试项目	qps	内存是否异常增长	是否产生core文件	是否通过（✅ or ❌）
cpu idle 保持50%以下，持续压力测试4小时		❌

特征打分一致性验证

测试项目	是否通过（✅ or ❌）
预发环境验证打分一致性，bdsp任务结果是否通过	❌

上线部署

预发验证

功能验证

性能验证

分类	项目	是否通过
性能	CPU
内存
延时
带宽
服务	失败率
超时率
错误日志
特征大小变化
数据打分	ctr 骤变
cvr 骤变，各类cost type
cvr2 骤变
ecpm
特征一致性监控	观察特征一致性报警

灰度上线并验证

功能验证

性能验证

分类	项目	是否通过
性能	CPU
内存
延时
带宽
服务	失败率
超时率
错误日志
特征大小变化
数据打分	ctr 骤变
cvr 骤变，各类cost type
cvr2 骤变
ecpm
特征一致性监控	观察特征一致性报警

主干上线并验证

功能验证

性能验证

分类	项目	是否通过
性能	CPU
内存
延时
带宽
服务	失败率
超时率
错误日志
特征大小变化
数据打分	ctr 骤变
cvr 骤变，各类cost type
cvr2 骤变
ecpm
特征一致性监控	观察特征一致性报警