分类
卓越平台专为每一位投资者

基于这个指标的策略效果更好

基于这个指标的策略效果更好

(1)如何确定核心指标(Object)

(2)如何制定策略( Strategy )

(3)如何选择度量( Measure )

三、电商数据指标体系搭建实战

后面经过深度分析发现,买过三次的人已经不受到拉新的策略影响,是真正被平台留下来的人。因此制定第三次购买人数为北极星指标。

基于这个指标的策略效果更好

数库隶属于数库(上海)科技有限公司
© 2019 ChinaScope Limited All Rights Reserved 沪ICP备11039653号-7
沪公网安备 基于这个指标的策略效果更好 31011202001543号

美团配送A/B评估体系建设实践

业界的A/B平台建设基本以《Overlapping Experiment Infrastructure: More, Better, Faster Experimentation》这篇论文为蓝本进行展开, 引入分层模型以及在分流算法中加入层编号因子来解决“流量饥饿”和“正交”问题,并且通过引入域的概念,支持域和层之间的相互嵌套,使分层实验模型更加灵活,进而满足多种场景下的A/B诉求。如下图所示,将流量通过Hash取模的方式即可实现流量的均匀划分。

基于这个指标的策略效果更好

1. 背景简介

2. 名词解释

3. 项目目标

4. 业界方案

5. 技术方案介绍

3)相关类目分析:根据线上user-cate购买行为,通过Association Rule Mining挖掘相关类目,使用confidence指标筛选类目并作为相关分,然后经过类目关系的二度扩散得到最终相关类目结果。类目扩散公式如下,其中表示类目k:

b) 将user-item表示为二部图,基于graph embedding方法生成用户向量。

PredictTA TopNPrecision指标由此而来,表示优选的TopN人群中品牌目标人群的占比,该指标越大说明模型预测效果越好。我们通过对比该指标在不同模型上使用不同topN值的值,验证了它的一致性;并设计NewTA topN Recall指标,即优选人群在之后一段时间品牌新增目标人群的占比,验证了它的正确性。

上图中,紫色框表示品牌目标人群即种子人群,蓝色框表示模型优选出的TopN人群,它与种子人群有小部分交集,交集占蓝色框的比例即为PredictTATopN Precision。绿色框表示一周内品牌实际新增人群,与蓝色框的交集为预测准确的人群,交集占绿色框的比例即为NewTA topN Recall。

对于有效的算法模型,PredictTATopN Precision指标随着TopN的减小而增大。两个不同的算法模型,PredictTA TopN Precision指标在不同TopN取值上的表现是一致的,说明该指标的稳定性。以A品牌为例,其一致性验证结果如下图所示:

b. 负样本选择:默认从全网其它品牌的人群中随机采样,但发现全网人群中特征缺失的情况比较多,负样本集离扩散人群比较远,因此实验了从全网其它品牌的已购人群中采样,PredictTA TopN Precision(N=300万)指标绝对值有0.8%的提升。

e. 稀疏特征embedding。对于类目id,品牌id这种高维高稀疏性的特征,直接将其作为分类模型的特征会影响最终的模型效果,为此,我们借鉴word embedding的思路,将用户过去一段时间内对类目(或品牌)的行为序列作为doc,将类目(或品牌)本身作为word,基于全网活跃用户的行为序列(doc集合)训练类目(或品牌)的embedding表示。具体而言,我们将类目(或品牌)编码为100维的低维稠密向量,并将其作为预测特征用于模型训练。

f. 特征选择。首先使用全部特征进行模型训练,然后根据特征重要性程度筛除部分尾部特征,重新训练模型,通过比较模型的PredictTA TopN Precision指标确定此次特征选择是否更好。