On duty manual

背景

PaddlePaddle 代码库merge操作，会触发跑CE模型。与前一次的评价指标（如精确度、时长等）比较，超过阈值会邮件告警。 这样可以尽可能早地发现PaddlePaddle框架中精度、性能相关的问题。

问题排查流程

报警邮件

目前CE模型中集成了12个模型。每个模型中都监测了一些kpi指标。 如果某些指标的数据比上次差了，并且超过了阈值。就会发送邮件告警。

发件人：[email protected]
主题：[TeamCity, FAILED]
Build Paddle :: Continuous Evaluation #XXX
收件人：[email protected]

问题来源定位

值班人点开邮件内容，点击如下红框中”#530”链接

• 如果出现下面信息：task: xxx，passed: False， 说明可能是此次代码修改有问题。

• 按照告警邮件内容，联系相应的开发者进行定位

• 如果是其它问题，比如抛异常或者CE服务down了， 联系CE同学处理。

问题排查

开发者收到通知后，排查是否和自己的代码有关。

• 如果有关，记卡片（统一以"CE问题"xxx开头）。
• 如果是其它问题，请联系CE同学处理。

附录

CE框架代码 https://github.com/PaddlePaddle/continuous_evaluation

CE模型代码： https://github.com/PaddlePaddle/paddle-ce-latest-kpis

CE web: http://18.222.34.7/

CE teamcity: http://18.222.34.7:8080/