海外社媒SNS代运营Tiktok代运营公司
Revive Old Posts

WordPress网站建设+谷歌SEO优化就找WP花园,深圳公司!

我阅读了很多关于 A/B 测试的文章,我一直对我所看到的测试差异感到惊讶。 我认为可以肯定地说:大多数转化率优化测试都不科学。 它只会占用太多空间来解释我的意思 确切地 通过科学,但我将在下周与玛丽克一起发表一篇关于那个的帖子。

在这篇文章中我会非常直率,但不要误会我的意思。 A/B 测试是控制很多正常科学实验无法控制的事情的惊人方法。 只是大多数人从这些 A/B 测试的结果中做出解释并得出结论,这没有任何意义。

数据不足

第一个相当简单,但仍然是一个比我想象的更常见的错误。 在运行 A/B 测试或任何类型的测试时,您需要足够的数据才能真正得出结论。 人们似乎忘记了 A/B 测试是基于样本的。 当我使用谷歌时,样本将被定义如下:

一小部分或数量,旨在显示整体情况

对于网站上的 A/B 测试,这意味着您选取网站访问者的一小部分,然后从中开始概括。 很明显,您的样本需要足够大才能从中得出有意义的结论。 因为如果您的样本不够大,则无法区分任何差异。

样本太小会对您的 Power 造成问题。 幂是一个科学术语,意思是你的假设实际上是正确的概率。 这取决于很多因素,但增加样本量是提高功效的最简单方法。

整周运行测试

但是,您的样本量和功效可能会大打折扣,如果您的样本不具有代表性,这一切都无关紧要。 这意味着您的样本需要在逻辑上与所有访问者相似。 通过这样做,您将能够将您的发现推广到整个访问者群体。

这是我多次遇到的另一个问题:很多人从未让他们的测试运行整整几周(7 天)。 我在之前的一篇文章中已经说过,人们的在线行为每天都不同。 因此,如果您没有整周进行测试,那么您的测试次数将比其他天多。 这将使从您的样本推广到您的整个人群变得更加困难。 这只是您必须纠正的另一个变量,而防止它非常容易。

海外社媒SNS代运营Tiktok代运营公司

比较

当您比较两个变体时,测试的持续时间变得更加重要。 如果您不使用多变量测试,但想使用多个连续的 A/B 测试进行测试,则需要在相同的时间内测试这些变体。 我不在乎你在每个变体上获得了多少流量; 如果你不这样做,你的比较就会被扭曲。

上周我看到 ContentVerve 的一篇相对较旧的帖子(遗憾的是不再在线),因为有人在 Michiel 的最后一篇帖子中提到了它。 现在,首先,他们并没有进行整周的测试。 这没有任何借口,尤其是当您要比较测试时。 最重要的是,他们实际上是在比较测试,但他们的测试运行时间并不均衡。 他们的测试运行了 9、12、12 和 15 天。 我不是说晚上这会改变结果。 我只想说这不科学。 在所有。

现在我不反对 ContentVerve,甚至这篇文章也提出了一些有趣的观点。 但我不相信他们的数据或测试。 那里有一张图表特别让我受益匪浅:

测试内容神韵

现在这是他们给读者的图片,就在他们说这是注册人数增加 19.47% 的获胜变化之后。 老实说,我所看到的只是两个非常相似的变化,其中一个出现了 2 天的峰值。 在那个高峰之后,他们停止了测试。 只看这张图,你就必须问自己:我们发现的这种效果真的是我们的变化的效果吗?

数据污染

最后一个问题总是一个很难回答的问题。 在网站(尤其是大型网站)上运行测试的麻烦在于,有很多东西会“污染”您的数据。 您的网站上正在发生一些事情; 你在改变和调整事物,你在写博客,你在社交媒体上很活跃。 这些都是可以并且将会影响您的数据的事情。 您获得了更多的访问者,甚至更多的访问者愿意订阅或购买某些东西。

显然,我们只需要忍受这一点,但了解和理解它仍然非常重要。 要获得“干净”的结果,您必须至少运行几个星期的测试,并且不要这样做 任何事物 可能直接或间接影响您的数据。 对于任何经营企业的人来说,这几乎是不可能的。

所以不要自欺欺人。 永远不要认为你的测试结果是真实的。 如果您的结果恰好在连续 2 天飙升,则情况更是如此。

解释

甚至有点激怒我的事情之一是 ContentVerve 文章的以下部分:

我的假设是 – 尽管消息传递围绕向潜在客户保证他们不会收到垃圾邮件 – 这个词 垃圾邮件 本身就会在前景中引起焦虑。 因此,应避免在靠近表格的地方使用该词。

这简直是​​不可能的。 谷歌再次将假设定义为“基于有限证据做出的假设或提议的解释,作为进一步调查的起点。” ContentVerve 的假设绝不是基于 任何 证据。 更不用说他永远不会对此事进行进一步调查的事实。 恕我直言,这不是一个假设:这是一个脑放屁。 说你应该避免做任何基于脑放屁的事情是愚蠢的。

这是一个 非常 转化率优化器中的常见错误。 我参加了 Chris Goward 的这个网络研讨会,他在其中说(14 分钟),我引用:

“事实证明,在错误的背景下,这些步骤指标实际上会造成焦虑,你知道,当这是一笔最小的投资交易时,人们可能不明白为什么他们需要通过三个步骤才能登录。”

然后我离开了。 这甚至更糟,因为他甚至没有称其为假设。 他称之为事实。 人们太热衷于获得行为解释并给它贴上标签。 我是一名行为科学家,让我告诉你; 在纯粹在线进行的研究中,这是不可能的。

所以继续你的游戏,不要开始谈论你几乎一无所知的事情。 我实际上已经为这类东西学习过,即使我不是在开玩笑,我也理解这些过程。 您不能将测试的结果概括为超出测试所测量的任何内容。 你就是不知道,除非你的后院有一个神经科学实验室。

意义不大

这就是我担心 ContentVerve 的人也做过的事情:他们让测试继续运行,直到他们的工具说差异“显着”。 简单地说:如果他们的测试变体的转化率在第 13 天下降,他们的结果将不再显着。 这表明在某些重要的事情之前进行测试是多么危险。

这些转换工具被恰当地称为“工具”。 你可以把它们比作锤子; 你会用锤子在一块木头上钉一些钉子,但实际上你不会让锤子为你做所有的工作,对吧? 您仍然需要控制,以确保指甲可以按您想要的深度击中,并且在您想要的地方。 转换工具也是一样; 它们是你可以用来达到预期结果的工具,但你不应该让自己被它们引导。

我可以听到你现在在想:“那为什么它实际上对我有用? 测试后我确实赚了更多钱/获得了更多订阅!” 当然,它可以工作。 你甚至可以从中赚更多的钱。 但事实是,从长远来看,如果您科学地进行测试,您的测试将更有价值。 您将能够更准确地进行更多预测。 你的概括实际上是有道理的。

结论

这一切都归结为这些简单且可操作的要点:

  • 通过运行您的测试至少一周(最好更多),获得体面的力量;
  • 通过整周进行测试,使您的样本具有代表性;
  • 只比较具有相同持续时间的测试;
  • 不要认为你的测试给你任何理由用心理过程“解释”结果;
  • 检查您的重要性计算。

所以请让你的测试成为一门科学。 转化率优化不仅仅是一些随机测试,它是一门科学。 一门可以为您的公司带来(提高)生存能力的科学。 或者你不同意?

WordPress网站建设+谷歌SEO优化就找WP花园,深圳公司!
项目咨询:info@wordpresshy.com

海外社媒SNS代运营Tiktok代运营公司
Revive Old Posts