用最全的视角说说如何定位KPI异动

见贤思齐

在数据分析师的日常工作中，经常会接到某某业务线的指标上升、下降了需要排查原因的需求，这里的指标会因业务类型、产品的目标的不同而有所差异，可以是GMV、DAU，也可以是留存率、注册转化率等等指标。那么当我们面对海量的数据、复杂的业务场景时，如何抽丝剥茧，拨开云雾，快速的找到问题的根因，并且帮业务更好的改进优化呢，这考察的不但是分析师的业务经验、理解能力、问题拆解能力、数据洞察力、多维分析能力，同时也考察的是对潜在机会和问题的预见能力。此外，在面试中，异常归因这个命题应该是在招聘jb或者面试考核中出现最多的词条，由此可见，这项能力的重要性对于数据分析师或者数据运营人员来说可见一斑。毋庸置疑，“数据异常分析”是数据分析的必修技，那么作为分析师的我们要如何这项能力修炼呢，本文将系统性的梳理下异常原因定位的思路、流程、方法，供大家参考，并且结合实际案例剖析下遇到具体的问题时我们是如何分析的，文章的末尾，将给出异常分析的常见问题总结及分析误区。本文篇幅较长，6000字左右，预计阅读时间15分钟~一、异常分析思路分析思路主要是基于异常现象，从业务流程和数据指标两个角度进行拆解，定位异常环节，基于人货场模型，进行维度拆分，找到具体可改进的末端根因，最后给出解决方案。二、分析步骤及要点分析的步骤主要是：（1）验证数据的准确性（2）确认指标异常类型及范围（3）掌握数据异常概况及业务情况（4）异常原因排查及定位（5）假设检验，找到具体原因分析步骤是本文中的重点，那么接下来我们会对每一个环节进行逐步的细化讲解，1.验证数据的准确性这里需要强调的是数据准确性、真实性是数据异常原因定位的根基，也是大前提。实际上因为数据源出问题，导致的指标异常非常非常多，所以在开始着手分析前，必须首先确认数据的准确性，这一步一定是第一顺位的。那么跟数据源有关的技术问题都有哪些呢？比如数据源异常、数据库异常、数据延迟、提数SQL错误、数据统计口径不一致等等，我们在分析之前一定要保证看到的数据从根源到展现整个流程都是无误的。那么在具体实操时我们要怎么办呢？如果数据分析师可以获取到流程中的所有数据，那么可以自行验证，如果因为角色分工或者权限问题，可以找数据产品与研发确认数据来源的准确性。2.确认指标异常类型及范围为什么要区分指标异常类型和明确范围呢，因为异常的表现不同，要定位方向、方法就会不同，最后归因要素的构成往往也是不同的。类型：从时间维度来看可分为偶发性、周期性、趋势性（持续性）、积累性；范围：从波动的范围来看，可分为增幅/降幅在合理区间、激增、跳水、单点波动，以及持续的上升或下降。异常判定：我们通常通过数据对比分析+业务经验的方式，来判断异常，其中对比分析包括基于历史数据的年、月、周、日的同环比分析，同期的上游指标的对比分析，以及某个时间窗口里的同行业范畴内产品对比（内容、工具、社交、游戏、电商。。。）影响及处理：当我们确认业务指标的确发生了异常，那么接下来我们在做异常排查之前，还需要做一些评估：（1）评估指标后续走势，是否有回调的可能性（2）指标变化对于流量、营收等kpi指标的影响程度，确定问题的轻重缓急。3.掌握数据异常概况及业务情况这一步，在做异常排查时往往会被忽略掉，拿到异常分析需求后，上来一顿操作，各种维度一顿对比，结果发现耗时很长，可能也没有找到问题的根因。那么我们应该怎么做呢？首先，在不细分数据的情况下，通过数据看板里指标变化特征、幅度猜测几个可能的原因，如果有小时分布数据的话，可以观察下发生的掉量或涨量的小时节点。然后，找业务相关人员通过沟通了解历史是否发生过类似情况，曾经定位到的原因是什么及后续是怎么改进的（异常定位拆解维度一定是要有对应的支撑或改进方，而不是盲目的数据维度拆解。）最后，确定问题排查方向，基于异常数据的特征、历史经验，缩小排查的范围，建立假设及确定问题排查优先级。4.异常原因排查及定位异常原因排查主要会用到逻辑树指标拆解、业务流程拆解、人货场模型三个方法，以下将会逐一介绍。4.1逻辑树指标拆解以电商购物为例，企业核心指标GMVGMV = 流量×转化率×客单价异常分析：根据人货场筛选出的变量维度，拆解GMV二级指标，查看月/周环比同比数据，定位异常指标，聚焦过程数据。举例：从人货场角度筛选出不同获客方式（人的角度）是关键维度，拆解发现成交量在某类人群上下降，则把分析重点聚焦到该维度下的转化过程数据。4.2业务流程拆解以社群营销为例，企业北极星指标为会员购买率、付费转化率业务流程：获客→流转→销售，而各个环节又有更细分的转化流程，以及需要重要分析的维度。获客（流量获取）：曝光率-点击率-落地页曝光率-购买率-加微率销转流程（转化）：加微-到课-完课-到课转化率-直播间转化率，需要分析（服务与sop）：sop内容与节奏/社群服务是否有差异销售：销售人员的人效，新老，分级变动等异常分析：获取获客-销转流程-销售过程数据，比较环比/同比数据，定位到具体业务环节。4.2分析方法：人货场人（用户侧）：新老客户/分渠道/分获客方式/分用户价值标签/分用户意向度/用户画像（性别年龄地域职业等）货（供给侧）：课程、直播、短视频、功能、服务等等场（平台侧）：BD、产品、运营、技术、推荐的操作或改动异常分析：根据实际问题筛选人货场相关变量，为下一步分析做准备5.假设检验，找到具体原因当我们发现了一些原因后，如果证明就是该因素导致的异常呢，我们可以通过实验的方式来证明（1）可以通过A/B实验来验证（2）策略回滚，通过前后对比变化验证猜想。这里有个问题，第4步和第5步其实都在查原因，那么有什么不同呢？第4步其实完成是一个【结果→原因】的归纳过程，而第5步则是【原因→结果】的验证过程，前者是归纳法，而后者是演绎法，二者可以单独使用也可以联合使用。三、案例分析接下来，将通过3个案例来讲解下上文介绍的方法具体是如何应用的。【案例一：视频播放量异常】某视频pcweb站播放量发生异常，需要排查原因基于逻辑树拆解：播放VV=播放器展现pv×点击率×广告完播率；播放器展现pv=播放页pv×展现率；播放页pv=播放页uv×人均播放页pv播放页uv=DAU×播放页进入率基于人货场模型分析：人角度：当DAU发生变化时，也就是流量发生变化时，从流量构成也就是渠道角度进行排查，查看流量构成中自然流量、sem、外链、直接访问等流量的数量变化及质量变化。质量变化的评估包括流量的站内核心路径跳转以及人均播放vv的变化。因为不同的流量带来的用户质量具有差异性（直接访问、自然流量的流量往往要好于sem或外链），当流量的总数量不变，但是构成发生变化时，最终的播放转化往往也会发生变化。影响流量变化的因素有很多，以下列举几个常见影响点：（1）在媒体侧投放的广告预算、广告位、素材等发生变化时，不同的广告位及素材就像过滤器一样，会筛选出不同的用户出来，要确认是否是该原因造成的，数据分析人员除了直接从媒体侧的投放数据来看，也可以直接和负责流量采买的BD人员进行沟通确认。（2）当网站改版、页面发生调整时，一些搜索引擎的蜘蛛就会来反复的爬取，这也会造成流量上升，这时候需要通知数仓的同事，在数据清洗、存储时，基于user_agent等存储用户设备相关信息的字段进行甄别及过滤，剔除异常流量。此外，当蜘蛛爬虫过后会影响网站的搜索排名，在一定程度上也会影响后续搜索流量。（3）当外链流量增加时，可能因为加强或减弱了企业间的商务合作，导致流量置换增加或减少，如果置换的是某一垂类的内容流量，将较大的影响用户的构成，以及播放的内容类型及播放量，该部分流量变化也需要和BD人员进行沟通确认。（4）作弊流量，流量作弊的情况是普遍存在的，针对于作弊流量，很多公司也会成立反作弊部门来对流量进行甄别，来减少投放损失。作弊与反作弊一直处于道高一尺魔高一丈的对抗博弈当中，很多作弊手段仿真能力很强，通过简单的规则来判别变得不在可靠，需要借助机器学习或AI等的方法来识别。流量作弊一些显性的表现为机型分布中没有出现市面上近期新上市的机型，因为作弊的机器更换具有滞后性，地域的分布相对集中，流量的留存在1、3、7等节点表现很好，呈现波浪形或者出现中长期明显调尾的情况，或者行为路径相对固化且出现高频的非正常点击行为等。当从数据上发现端倪时，可以和反作弊部门同事进一步沟通，是否判别策略或者模型有调整，以及针对新的作弊手段是否有反作弊手段的后续迭代。讲完几种流量变动因素后，这里要提到一个辛普森悖论，主要是指不同流量的转化都变高了，但是整体转化量却变低了的现象，造成这种现象的原始是对比的前后流量构成发生了变化，原来低转化的流量A占比变高了，虽然流量A、B转化率有提升，但仍然有可能新的AB流量组合的转化率要低于原来的流量组合。除此之外，影响流量另外一个非常重要的因素是节假周日及寒暑假，当然这个因素也是比较显性的因素，很容易识别出。场角度：主要是指当播放页的访问pv发生变化时，影响播放详情页的访问量产运研等因素（1）产品页面布局的调整，导航频道顺序调整、首页关键模块调整，如电影、电视剧、综艺位置调整，会影响关键页面向播放页的导流，播放详情页内播放器周边用户重点关注区域的变化等等，会影响用户的连续播放。（2）关键推荐位的内容调整，内容的调整分为两种情况：一种是内容运营做的调整，比如banner等重要位置的内容配置、内容轮播顺序、商业化广告插入等都会影响用户的点击转化；另外一种是内容推荐算法的调整，算法可以调整的点很多，给用户带来的体感的变化差异也会不同。（3）技术相关的调整，页面是否能正常加载、播放器是否存在卡顿、请求失败等也会影响到用户的体验，从而影响视频的播放量。（4）商业化策略的调整，比广告的时长增加、广告视频覆盖度的扩大等也都会对用户的播放转化和播放的连续性产生一定的影响。货角度：对于视频网站，货主要指的是视频资源，当播放量出现异常了，最可能的是与头部视频有关（1）版权的变动调整，从版权角度，上线了ip版权视频，版权到期视频需要下线，明星存在通报风险紧急下架等会影响网站的播放量。（2）热门剧综的更新或完结，当一些周播剧更新时、当热门电视剧或者综艺接近收官完结时，往往播放量会拉高，结束后则出现明显回落。（3）视频vip会员策略的调整，当付费视频的数量增多，或者付费单元节点前置，也都会影响视频的播放量。作为数据分析师，通过数据角度可以分析下用户的关键转化路径数据是否发生变化以及发生变化的节点，然后以用户视角体验下产品，然后结合数据及体验的结果同产品、运营、算法、技术、商业化相关同事确认是否在变化前后有相应的行为改动。【案例二：APP留存降量】某app软件次日留存下降基于逻辑树拆解：次留率=T-1日活跃用户在T日留存用户/T-1日活跃用户可以从两个方向拆解指标，一个是从前一日的用户构成，另一个是当日的用户构成。侧重从哪个方向进行拆解，可能跟产品的所处的生命周期阶段有关，通常我们将产品分为导入期（进入期）、成长期、成熟期（饱和期）、衰退期。处于导入期或者成长期的产品，增长主要靠新增堆量，是开口模式的增长，用户构成中往往新用户的占比更大，新用户对整体活跃留存的影响也就更大，所以次日留存会从前一日的新老用户的留存进行拆解；留存用户=T-1新增用户×留存率+T-1老用户×留存率T-1新增用户=渠道A + 渠道B +渠道C ...留存率的变化主要分为两种情况，（1）新增留存异常而老用户留存变化不大或幅度更小，这时候定位的重心应放到渠道获客上；（2）当新、老用户的留存都发生同向变化时重点放在产品的内部，如产品的改版、内容类产品还要关注推荐算法变化、以及是否有提升用户粘性的运营活动上线。处于成熟期或衰退期的产品，主要做的是收口增长，更多的运营动作是提升用户的活跃度，所以从指标拆解上会更多的关注当日的活跃中主动、被动用户的构成。T日活跃用户=主动活跃用户+被动活跃用户T日被动活跃=T日在线用户×调活率当主动活跃用户变少时，主要是跟前一天的产品的产、运营、研发技术相关的行为有关，当被动活跃用户变动时，重点关注在线用户也就是后端进程用户数和push或pull调起率等指标，进程数可能跟保活的一些技术或策略有关，而push调起则涉及到通道、手机厂商、运营push内容、下发时段、频次、弹窗素材、文案等等多个方面，具体定位的时候需要多方确认排查。当然两种指标拆解方向不是互斥的，主要选择某一种或某几种拆解方式，重点在于我们产品增长主要着力点在哪个方向，因为使得产品用户增长的动因往往也会是导致它降低的动因，在分析时是应该被优先排查的。 【案例三：社群运营会员转化变低】业务流程拆解：各平台流量投放→用户留线索→加销售微信→加社群→试听导流课→销售跟单→客户下单业务指标拆解：广告投放量→线索留资数量→加微数（删微数）→破冰率|问卷率→进群率（退群数）→到课率→有效时长占比→下单率客户数据变化：关注引流渠道的构成及变化，分析客户的人群构成，以及不同渠道及文案的引流人群转化率。优化：了解会员付费转化用户的画像特征、需求偏好，优化引流文案，进行内容服务迭代内控数据变化：关键动作：用户加微后的响应时长、关键动作的引导完成情况（问卷率、进群率、退群率、到课率）承接人员：承接人员构成、话术沟通能力、欢迎话术、接待沟通的数量、客户参与互动的数量等。优化：监控加微-付费转化之间的过程指标监控，分步拆解找到提升方案，提供岗前培训、提高社群销售人群的上岗要求。付费转化变化：福利物料：福利的数量、价值、对于客户的诱惑力产品侧：产品的单价，产品品类特征客户侧：基于用户画像分析用户的购买力、需求动机强弱 优化：提升销售人员用户分层及识别能力，差异化进行产品卖点销售，优化产品的设计、做好不同类别客户的跟单及维护。四、异常原因总结及分析误区1.常见异常原因总结常见的异常原因大致可以分为两类，一类是技术因素导致的异常，这类异常是我们在做异常分析时首先要确认或者排除掉的因素，该类异常通常可以理解为是数据的打点、采集、日志上报、存储、解析、原始层到应用层表处理、数据提取、整理、展示等链路上发生的异常，数据表现上多具有偶发、单点、波动较大等特点。另一类是非技术因素，其中又分为宏观因素和微观因素，或者叫外部因素和内部因素，外部因素导致的异常通常具有长期、周期性的趋势特点，对于周期性变动的数据往往要借助往年的数据进行年度对比来评估是否异常；内部因素主要是需求侧（用户）、供给侧（内容、功能、服务等）、平台侧（产运研商）的变动导致的，通常数据上的表现为短期呈现明显上升或下降趋势，可以根据小时数据趋势，评估异常发生时间点与内部因素操作时间点的吻合性，从而确认影响因素。2.异常分析误区（1）没有基于数据概括和异常特征进行必要的先验判断，盲目的把所有维度和指标遍历对比一遍，效率低，结论有时也会似是而非。（2）在分析之前，忽略了验证数据的准确性，默认数据就是异常的。（3）指标的异常界定是否存在问题，忽略了周期性和暂时性的一些特点。（4）要学会在问题中寻找机会，导致数据异常波动的因素，有时也是提升模型准确性的重要特征或者是产运后续发力方向。以上，就是异常原因分析的全部内容，希望本文的浅思能让您有些许的收获，文章中如若有和您观点相左的地方，也欢迎小伙伴们指正、交流~