常见数分问题

常见数分问题

/ 92 / 0

1、A/B测试原理,样本量选取,效果评估,应用场景?

我们可以通过显著性水平(一般设定为5%),统计功效(至少为80%,工业界一般选择90%),指标最小相对变化(比如转化率最少在原有基础上提高10%),还有指标基准值,来预估一个样本数,如果可能的话再根据流量大小来预估一个实验时长。

2、t检验/z检验/F检验,及贝叶斯?-- 评估效果

统计功效

3、埋点问题:方式,验收https://info.umeng.com/detail?cateId=1&acm=lb-zebra-603901-7805243.1003.4.7261206&id=278&scm=1003.4.lb-zebra-603901-7805243.OTHER_15780998529421_7261206

市场上主流支持的四种埋点方式,分别是代码埋点、服务端埋点、可视化埋点和全埋点。

代码埋点,支持事件与参数这种结构化的使用方式,弊端是想增加或修改事件,都需要重新发版,用户更新后才能采集。

服务端埋点,通常用于业务数据的采集,例如:付费成功、用户注册等,这个场景会选择用服务埋点进行采集。

可视化埋点和全埋点,都是解决整个App前端操作的一些点击行为,例如说某些按钮、页面,每一个点击都能监测。但差异点在于可视化埋点只能看到圈定后的数据,那么全埋点则是在圈定时,历史数据也能去追溯。

但这两个埋点的弊端是散点采集,每一个点击行为都是一个事件,在数据分析时,事件的量级会较大,不易于分析,而且它只能是取这种点击行为的事件,并不能把参数带过来,你可以理解为它就是一个纯扁平化的一个事件采集。

埋点后可通过三种方式验证:

一、打印日志,开启debug去打印Log,去验证触发事件log是否有上报,这种方式需要技术来配合验证。 

二、集成测试,以友盟+为例,只需要让技术注册一个测试设备,就可在你这个测试设备上去启用你的App,在去触发事件,产品、运营的同学就可直接测试埋点情况序列。

三,也可以使用市场上智能验证的工具,以友盟+为例,可先注册设备,自动去识别整个埋点的情况,且日志是实时的,可产出事件的验证报告。

4、指标体系构建方流程及方法论?

流程:https://mp.weixin.qq.com/s/xshTfnSval_dODAZM3Lnfw

https://mp.weixin.qq.com/s/Q1CaP8uBBZkB0lQUEXqMIg

https://mp.weixin.qq.com/s/ZsDqJLnLtJZeDeO48GxEgA

第一步:明确工作目标,清晰主指标。

这是最重要的第一步,先整明白:我做这一堆指标为的是什么。把主指标树清楚,后边判断标准才知道围绕谁做,子指标才知道对应哪些流程。只要是在企业上班的部门,都有各自KPI,因此主指标是肯定能找到的。

第二步:清晰判断标准。

这一步也非常重要,涉及到这是“一个有用的报表”还是“一堆花花绿绿的数字”。什么算“好”是一个非常关键的问题。既然已经找到了主指标,就得为它建立配套的判断标准。这样才能解读数据含义,才知道怎么看分类维度。常见的有四类标准(如下图)当然,立标准本身是个很复杂的分析,也可以做的很复杂。但最后,哪些算好,哪些算不好,得区分的很清晰。

第三步:了解业务管理方式,找合适的子指标。

有了主指标和主指标的判断标准以后,可以进一步梳理子指标。子指标和业务管理方式有直接关系。比如销售金额,既能以分公司为单位进行指标拆解,也能以用户为单位进行。具体怎么看,要看业务能怎么管这件事。比如销售一般按区域管理,那就按分公司拆。市场一般按用户管,就按用户拆。总之,业务方便最重要。

第四步:梳理业务流程,设定过程指标。

过程指标理论上越多越好,越多过程指标,可以越细的追踪流程,发现问题。但在业务上,不见得每个动作都做了数据采集,因此要结合具体业务流程来,在关键节点加以控制。

第五步:添加分类维度。

有很多维度都能当分类维度,选用哪些,完全看业务上能从什么角度管理问题。把对管理有意义的维度加进来。(如下图)

这样就搞掂了一个数据指标体系,过程一点不复杂。大部分时候,实际问题是:没做过数据采集,没有数据记录可以做指标。这才是最头疼的。然而问题是:为啥看起来简单的过程,做出来却没那个体系化的感觉呢?

模型:产品OSM \UJM\GSM\HEART\阿里五度模型\AAARR web PULSE

5、异动归因,怎么分析指标下降原因?

步骤: 定位问题群体、分析原因、贡献度量

分析思路:

a. 内部:产品、研发、运营、渠道维度

b. 外部:PEST 主要看竞对

具体算法:细分拆解、归因逻辑树、定基法、Gini系数贡献度、指数分解法(LMDI方法)、回归(标准化回归、套索回归)

6、熟悉APP 优缺点怎么改进?验证

7、测试题

8、算法问题

9、效果评估问题

贝叶斯

PSM倾向得分匹配

合成控制法

假设检验

10、其他

数据倾斜

0 人收藏

发表评论