首先将日期范围设置为固定的开始日期,从测试启动之日开始,到今天结束,然后每天滚动。
我制作的第一个可视化始终是后果报告:
对于这个,它很简单,只需找到您的测试 eVar,单击“>”打开值列表,并将两个值拖曳作为第一步,然后将您的关键绩效指标 (KPI) 拖曳作为第二步。
下一步是从 eVar 中获取两个值,并将每个值拖到漏斗顶部,以通过“控制”和“变体”拆分漏斗。
接下来,让我们处理后果报告上方的四张记分卡。将“天数”维度拖到自由格式表中,并创建一个计算指标,即“行数”。这将是您的“在线天数”计数器:
Adobe Analytics 中的计算指标仪表板
接下来,制作一个简单的细分,涵盖所有分组到测试的控制或变体中的访问,科特迪瓦手机数据 然后将其拖到带有“访问”的表格中。
KPI 简单细分
现在让我们通过创建三个非常简单的计算指标来添加所有参考数字。它们每个都只是一个静态数字:0、0.95 和 0.975。
该图显示了在 Adobe Analytics 中创建简单的计算指标
现在你的自由格式表格看起来应该是这样的:
自由格式表格示例
计算:2 级 - 中等
现在我们要研究第一个更为复杂的计算指标。
为了计算所有这些指标,我的构建块始终是包含访问量指标的细分。因此,当我计算 CVR 时,我会像这样构建它:
Adobe Analysis 工作区中 CVR 的计算指标
测试 A Bucketing -> KPI #1 段如下所示:
Adobe Analytics 中的测试存储图片
专业提示:创建这些指标和细分时使用标签。这样,当您在组件中搜索时,您可以轻松找到与您的测试相关的所有指标和细分。
好了,我们要做的第一个指标是 CVR 提升。其基本计算非常简单:
(变体的 CVR - 控制的 CVR)/控制的 CVR
但如果我们仅仅以此作为衡量标准,我们就会得到一个相当不稳定的图表:
Adobe Analysis 工作区中不稳定 CVR 图表的示例
这张图表显示了当天的 CVR 提升情况,但实际上,这并不是我感兴趣的。我真正想看到的是:随着每一天的过去,这次测试的累计提升是多少?因此,我并不知道 6 月 25 日的 CVR 提升约为 10%,而是想知道 6 月 18 日至 6 月 25 日期间所有数据的 CVR 提升了多少。为此,我们需要利用工作区中的累积功能。
计算指标:3 级 - 高级
这个方程式与我们之前对整体 CVR 提升所做的一样。唯一的区别是我们将添加累积函数的计算:
前:
(变体的 CVR - 控制的 CVR)/控制的 CVR
后:
(变体累计 CVR - 对照累计 CVR)/对照累计 CVR
实际情况如下(点击放大):
[popup_anything id=”38706″]
这样做的结果将是该 KPI 提升的良好趋势视图:
在 Adobe Analysis 工作区中执行 CVR 计算指标的结果
最后,我们来到了所有这些计算指标中最复杂的一个,那就是我们的置信水平。如果我们只是建立一个显示置信度的计算指标,我们将只能在记分卡中使用该数字,而不能在趋势视图中使用该数字。这是因为,如果我们要对指标进行趋势分析,它将只向我们显示该特定日期提升的置信度。请参见下面的示例:
Adobe 分析工作区中显示 CVR 提升的图表
这张图表并不是特别有用。目前,这项测试已达到 100% 的置信度,但您无法从这张图表中看出这一点。就像我们的累计 CVR 提升指标一样,我们真正想要的是一个图表,它可以向我们展示测试继续运行时的累计置信度。
这个指标相当复杂,包含很多构建块,但其最简单的形式如下:
1 – T 检验(指标、度数、尾部)
指标 = 绝对值 ((变体累计 CVR – 对照累计 CVR) ÷ 平方根 (((平方根(变体累计 CVR x (1 – 变体累计 CVR)))^2 / 变体累计访问量) + ((平方根 (对照累计转化率 x (1 – 对照累计 CVR)))^2 / 对照累计访问量)))
度数 = 对照组累计访问次数 + 变异组累计访问次数 -2
反面 = 2
这是实际计算指标生成器中的样子(点击放大):
[popup_anything id=”38709″]
创建该指标后,请将其与 95% 和 97%(如果需要,甚至可以是 90%)的指导方针一起进行趋势分析:
Adobe Analysis 工作区中的 CVR 置信度趋势图
结果是一条更容易阅读的一目了然的趋势线,它可以清楚地显示您的测试何时达到显著性,如果尚未达到,则显示其累积趋势的方向。
使用一些记分卡可视化和 Fallout 报告来完善您的 Adobe Analysis Workspace 仪表板,这样您就完成了 A/B 测试仪表板。
Adobe Analysis Workspace 仪表板中的 A/B 测试示例
这是您的第一个区块。创建后,复制这些计算指标并将其替换为新 KPI 即可扩展您的 A/B 测试仪表板以查看多个 KPI 的结果,这非常简单:
Adobe Analysis 工作区中的 A/B 测试仪表板,带有 KPI
对于您运行的每一个新测试,都“重复”一遍。
熟能生巧
回顾一下,步骤如下:
制定简单的计算指标:
“直播天数”行数
静态数字,例如 0、90%、95% 和 97.5%
制作您的存储桶分段
制作转换细分
使用上述两个段,使用累积函数创建累积提升计算
使用这些段通过累积函数创建累积统计显著性计算。
将这些指标添加到自由格式表中并构建可视化效果。
对次要 KPI 重复上述步骤
这个过程可能需要一些时间才能完全确定,但是一旦你做过几次,你就可以很快完成。