转转质检数字化埋点探索之路

见贤思齐

1背景2质检埋点2.1埋点设计2.2埋点架构3埋点数据应用3.1场景-执行合规应用3.2场景-智能策略应用3.3场景-BI看板4结语5参考链接1背景转转每一台‘官方验’的设备，都会经过质检站点对其进行全方面的检测。在检测流水线中，质检工程师对每台设备进行检测作业；这过程中除了产生对应的检测结果外，检测过程的动作、硬件参数、耗时等数据目前没有系统性的利用起来；而这些操作过程中的数据可以较好的体现质检工程师的整个质检过程。基于此，我们希望能通过技术手段获取到这个过程的数据。2质检埋点为了更好的收集质检过程中的各类数据，在调研和参考行业常用的数据埋点设计方案后，基于质检现场实际，制定出符合质检流程的操作埋点方案。2.1埋点设计质检流水线检测过程涉及多端、多平台，虽然目前各端都有上报对应的埋点平台，受限于各端上报的数据标准和平台不是统一收拢的，已有数据难以形成结构化的质检执行数据链。我们的方案是由客户端基于其自身检测流程的场景进行埋点。埋点数据结构按照定义好的结构，具体数据内容由各端根据场景定义。埋点的接收处理方为统一的埋点平台，该平台定位服务于各端日志埋点的收集并存储，同时提供一套数据加工平台和BI实时查询工具。2.1.1埋点结构对流水线检测过程做了数据建模，明确了埋点数据结构元素：用户+行为+时间+业务公参+操作环境信息。2.1.2埋点上报上报机制：场景触发->埋点标准数据抽取->数据上报->兜底重试->数据粗筛->数据存储->大数据清洗。2.2埋点架构质检检测各节点的操作数据上报后，这部分的数据在整体架构中的流转以及应用方式是怎样的，见下图：在埋点存储方面，先存储至埋点平台业务库，大数据侧通过CDC同步机制同步数据，同时大数据也会进行数据的二次加工等清洗动作。3埋点数据应用基于埋点上报的标准数据分析，再结合对应的数据标准和数据策略，可以达到对于流水线进行数字化管理的目的。3.1场景-执行合规应用在质检操作合规判定策略中，需要对质检工程师的动作进行分析并且给出实时判定是否合规的意见。例如：‘手机外壳外观’质检合规判定中有一项是需要判定质检工程师是否按照标准SOP进行多个角度翻转质检，举例如下：--《手机外壳外观》标准质检SOPs1：屏幕息屏正面对着质检师，从上往下，依次检查是否有划痕、瑕疵等。s2：从中框任意一个点开始，设备环绕一圈检查中框情况s3：屏幕息屏背面对着质检师，从上往下，依次检查是否有划痕、瑕疵等。这个时候就利用了质检过程中手机的传感器硬件埋点数据。三维(X,Y,Z)空间的角度传感器数据折线图结合我们质检操作标准SOP的动作要求和获取到角度传感器数据，按照标准SOP操作对应到的角度数据会呈现对应的变化趋势的。例如：在检查‘四周边框’时，环绕一圈检查，这个过程中X轴的角度值会跟随着动作呈现出0°->90°->180°->-180°->-90°->0°变化，其他轴也是类似变化。于是，我们得出判定角度合规的角度要求。示例如下：步骤X轴Y轴Z轴时长屏幕正面±60°2s四周边框±180°±20°3s手机背壳±60°±180°1s基于配置的角度差值要求，角度值在连续满足起始和结束值的区间内超过设置的时长即可认为合规。角度判定合规示意图（红色区域为合规区域）3.2场景-智能策略应用除在上文中提到的实时分析场景，另外一大应用则是对于数据的二次加工分析使用。该场景基于大数据的数据清洗、加工、挖掘等手段形成了一套完备的数据分析体系。在质检的部分策略中，在大数据和基于数据的算法模型的加持下，打破了以往固定配置的策略的局限性，实现了智能策略的自我迭代。如图示，业务数据在经过一个流程之后又会产生新的业务数据。循环往复，数据在闭环的机制内驱动着策略自我迭代。换而言之，质检的数据策略不再是冰冷的固定阈值配置，而是基于大数据和算法加持的智能策略。智能策略交互示意图3.3场景-BI看板按照我们标准定义的质检行为上报的埋点数据，经过数据加工后可以实现比较精细且支持多维度的数据看板。4结语目前我们处于质检数字化初期的埋点探索，对于探索质检数字化未来的诸多可能，我们保持初心。接下来，我们会继续深入数字化，在大数据和算法等能力BUF的加持下去实现更广阔质检数字化。道阻且长，行则将至。5参考链接https://zhuanlan.zhihu.com/p/577455883https://zhuanlan.zhihu.com/p/665167127关于作者涂志武，来自转转集团-研发中心-履约业务中台-质检技术部，负责转转质检系统后端开发工作。