广告单变量版本实验

适用任务

在已有基准广告上检验一个明确创意判断，例如“先展示结果是否比先展示痛点带来更多有效到达”。交付可执行的实验方案、完整版本差异和结果判读。没有真实投放数据时只报告方案，不能宣布获胜版本。自然流量前后发布的比较只能作为观察，除非分配设计支持因果解释。

输入与实验卡

读取基准素材及版本、目标人群、投放渠道、可变元素、预算和观察窗口、平台实际可用实验能力、主指标和历史基线。定义研究问题、实验单位、分配方法、停止条件、预期最小有意义差异；没有足够基线时标“待估”，不编造样本量。保留用户已确认的价格、产品、事实、品牌和 CTA。

执行流程

1. 把假设写成一句可反驳的话。 “在相同目标人群和后续演示下，结果开头提高有效到达率”；不写无法判定的“B 更高级”。明确被测试的是开头信息顺序，而非整套视频包装。
2. 选一个因素。 枚举 A 与 B 的逐项差异：首镜、标题、口播、音乐、字幕、时长、产品图、优惠、结尾、落地页。只改变一个有解释意义的因素。若改变首镜必然调整对应口播，把其定义为“开头表达组合”并整体评价，不能分别归因到镜头或某个词。
3. 锁定共同部分。 同产品版本、同证据、同目标、同 CTA 和同落地路径；投放时记录人群、地域、版位、时间段、频控、出价与预算。平台算法优化或交叉曝光无法控制时如实记入限制，不伪称严格随机。
4. 写完整版本。 不能只写“A 痛点、B 结果”。交付两版开头的具体画面、台词、时长和接回母版的位置，并给相同尾部素材 ID。字幕或包装由后期统一制作；用户要求不生成字幕时每镜保留相应限制。
5. 预先定义判断。 主指标写分子、分母和事件定义；如有效到达人数／符合纳入条件的曝光人数。平台只能提供点击次数时如实使用次数，不能改称独立人数。增加成本和投诉等必要护栏，但不随结果临时更换主指标。
6. 核对数据完整性。 检查重复记录、采集延迟、跟踪丢失、跨组污染和分配偏差。不等曝光本身不使实验自动无效：先核实是否为计划分配、算法行为或异常，按正确分母比较并说明精度差异。若实际分配偏离计划，先诊断再解释。
7. 判读并行动。 同时报告样本数、率、绝对差、相对差及可计算的不确定性；无统计工具或不足以估计时不伪造显著性。结果可为“支持／不支持／证据不足”。预设窗口未到或转化尚未回流不提前宣布胜出；下一轮只解决一个剩余问题。

输出表

版本｜唯一变量｜保持不变｜主指标｜判定窗口｜结果状态

附：实验登记卡；两版完整可制作片段；变更核对表；投放后结果表“版本｜分子｜分母｜比例｜成本｜数据缺口”。若阶段只到设计，结果栏统一“未运行”。若用户只需素材，交付素材方案及最小登记卡，不扩展成无关运营计划。

验收示例

A 是问题标题配紧张音乐，B 是结果标题配轻快音乐：存在标题、音乐两个因素，不能命名为标题单变量实验。修订为相同音乐，或明确测试“整套开头组合”，结论仅限组合。

A 100 次曝光 5 次到达，B 200 次曝光 8 次到达：分别为 5% 和 4%；不能以 8 大于 5 宣布 B 胜利，也不能只因曝光不同就作废。核实分配、单位、样本量和不确定性后再判断；这些数字仅为算例。

失败模式与停止条件

同时改优惠与画风、跨节日比较、只看播放量推导成交、事后筛掉不利分组，都会损害解释。达到预定预算或窗口就整理当前证据；样本不足可提出延长方案，不擅自追加投放或消费。只记录实际发生的结果，不把预期提升写成收益。

参考与能力边界

每次测试先确定一个主要变化因素、比较对象和统计口径，并保留可比条件。平台支持的测试功能以当前账号实际界面为准；无投放权限时交付测试方案，不虚构后台操作或结果。

提示词入口

读取 广告单变量版本实验｜任务输入，填入基准版、唯一因素、固定项和判断窗口。