今日头条专栏如何发消息
初创团队可能没有太多资源开发多个版本进行多渠道测试，一些大公司也不会如同今日头条专门设计一个A/B测试系统，那么如何在没有很多预算的情况下完成简易有效的A/B测试呢？首先，要理解A/B测试的原则，其次，一定要躲过一些坑，最后，就是根据实际情况确定测试方案（开发参与实现方案讨论）。
（1）多方案同时段并行测试；
（2）测试方案只有一个唯一变量；
（3）用户行为数据收集；
（4）定义核心指标。
（1）一定要是单变量。如果两个版本，每个版本有2处不同，最终分析的时候很难确定是哪个优化导致的指标变化。
（2）统计置信度。受到样本量影响（样本太少，样本代表性）；置信水平（A方案49%，B方案51%，可能数据分流导致的偏差所致，分流有偏造成的影响）
（3）设置对比观察数据组，即没有任何调整的情况各项数据指标如何，用于实验效果对比分析。
（1）从测试页面类型分类
（2）从测试时间点分类
样本量足够的情况下，可以考虑实验组数据内部再做分组，如同今日头条系统实现的部分，观察用户行为波动性，保证测试结果置信度更高。
我们以P2P平台为例，假设P2P平台月新增1万注册用户，9000用户注册未投资，以往通过短信告知用户下发投资卷召回用户，效果非常不明显，现在将9000用户随机分成3组，每组3000用户，分别是1组（对比观测组），2组（红包召回组），3组（话费召回组），短信文案知识红包和话费区别。观察三组用户在短信发出后一天内的行为变化，核心指标定为登录APP行为。
红包和话费充值初期数量不会很大，可以考虑设计成手动下发，如果用户投资则固定时间充值，无需相应开发。
通过对比用户登录和投资行为，可以很明显的看出何种召回方式效果更好，因为是小数据样本检测，充值量初期不会太大，可以节省话费充值对接开发，测试效果出来，优化完善，确认召回方案后再进行开发才相对高效，因为很可能新召回策略并不比原有策略有效。
希望本文对产品经理们有所帮助，可以为您的产品设计提供科学的方法，也希望在留言区看到您的留言，我们一起交流小团队如何使用A/B测试，科学设计产品。
【题图来自 摄图网，基于 CC0 协议】
田宇洲，微信公众号：言之有术，人人都是产品经理专栏作家。相信极致产品=洞察人性+科学方法，从心理学和社会学研究实践中探索科学产品设计方法论。擅长游戏化产品设计，挖掘用户画像。
今日头条专栏如何发消息
今日头条CEO张一鸣所定义的数据思维包含三个维度：
按照特定维度对目标排序，分析top对象在特定属性上的共同点。
（1）A/B测试定义
A/B测试是一种把实验对象随机分组，把一个或多个测试组的表现与对照相比较，进行测试的方式。
（2）A/B测试目的
通过科学实验设计，在保证采样样本无偏，有代表性的前提下，流量分割与小流量测试等方式，获得具有代表性的实验结论，并确信该结论在推广到全部流量可信。
注意事项：测试组和对照组不要设计多个变量同时测，一次实验只设置唯一变量，同时实验组内分小组，尽量保证组间数据随机分布，便于分析数据波动影响。测试前需要定义核心观测指标，通过指标数值变化，确定实验结果的好坏。
交叉验证用得最多的场景是涉及到人工运营的场景，在评估时需要人工介入为文章分类，以保证推荐的准确，那么评估和审核都需要依赖人，人员能力的差异和流动性导致评估和审核标准会变来变去，这就需要机器可以监控人的行为，每个评估的运营人员有自己一个任务队列，把一个要评估的样本至少放到两个以上的评估队列里面去，就意味着一个样本最少有两个人看过，如果他们意见不一致，我们有一个资深的仲裁小组进行仲裁。
今日头条专栏如何发消息
今日头条同时在线测试的实验有很多，每月多达有上百个之多，如何科学的分配实验流量，减少沟通，降低实验成本，做到实验结果可视化展示是必须思考的，于是出现了今日头条的A/B测试系统。
共享实验。是指实验模型只测试某类特定属性用户，可以与其他非相关属性的实验共用实验对象，流量桶分配逻辑与独占实验类似，但是当其用户可以分配到其他实验中，复用部分用户。如下图所示：
今日头条专栏如何发消息
互联网产品的需求一般来源于用户反馈或焦点小组需求收集，是一种信息的归纳总结，但是这部分数据是有偏信息，不可以简单粗暴的将用户反馈的需求作为直接需求，所谓会哭的小孩有奶吃，很多时候，用得很好的用户不反馈，用得不好的才反馈。如果你改变了，是不是伤害了那些不反馈的用户呢？
其实你是不知道的，所以这些需求我们并不一定要做，只是先做一个候选实验的需求池。如果一个需求两三周持续在反馈，这个需求可能是一个强需求，那么做好了小渠道测试，用数据说话。
（1）原生功能
（2）WAP页面
产品核心竞争力=拉新能力*留存能力*变现能力。每项能力比对手强20%，整体差距超过70%，数据思维可以帮助团队把每一项能力发挥到极致。
