使用合成人物画像安全吗?把同一项研究做两次的收获:真实消费者 vs. 数字孪生
我们用真实消费者和合成人物画像各做了一遍同一项研究。均值对得上,分布却未必。哪些可以信、哪些不能信。
AI 模型已经足够好,可以"假扮"成真人,像真实消费者一样回答问卷。这为做市场研究的人点燃了一个强烈的承诺:招募 1000 名受访者既费时又花钱;而创建模仿人类的智能体、在一天之内拿到答案,则更快也更"便宜"。
好吧,这就是那个承诺。而我们在 Okiar 所做的,是拿一项真实研究(关于银行主账户地位与财务行为的研究)作为基线,用合成消费者/人物画像的不同方法把同一份问卷再跑一遍。我们的问题是:数据会对得上吗?均值会一样吗?分布呢?哪些指标的误差更大、哪些更小?有没有更安全和更不安全的方法?
Okiar 此前已就该主题做过大量文献综述,并沉淀出自己的一套合成人物画像框架(很大程度上基于对 Maier 等人 2025 年研究的复现 -- LLMs Reproduce Human Purchase Intent via Semantic Similarity Elicitation of Likert Ratings),我们清楚 DLR、FLR、SSR 等不同方法各自的利弊。但现在的问题是实践层面的:到底能不能用?
简短的回答:对得上。不那么简短的回答:有些数据对得更好,有些差一些;而且随着指标越是关乎个体经历、越不像常识(更多是在强化某种社会现状,而非揭示人们脑子里真正发生了什么),测量中总会存在一层背景噪音。
不过,让我们更深入地看一看。
首先:什么是合成人物画像?
想象一位准备得非常充分的女演员。你递给她一个剧本和一张人物设定卡("女性,34 岁,中下阶层,日常用 Nubank,但把钱存在 Itaú,三个孩子的母亲,住在 Bom Retiro 街区"),请这位女演员以那个人的身份来回答问卷。这就是合成人物画像:一个 AI/LLM 扮演某个角色,像真实消费者那样作答。
你可以创建大约 8 个代表社会不同切片的角色,让每个角色回答几十份问卷;也可以创建每次只代表 1 个合成消费者的角色。这是一个权衡:让合成人物画像模仿一个"区间"(一个年龄段、一个收入段),还是模仿一个"消费者单元"(具体年龄、具体收入)。前者准确度更高,后者更低;一种消耗更多 token、更费功夫、需要更厚重的架构,另一种则更省。(附注:这一点我们也测了:投入 500 倍的 token 值得吗?收益有多少?)
合成人物画像和数字孪生是一回事吗?
不是。合成人物画像代表的是一个"人物画像(PERSONA)",是我们所说权衡中"区间"的一侧。数字孪生是另一侧,代表的是一个"个体性(INDIVIDUALITY)"。一个是区间,一个是特定性。
问题在于,要做出一个好的数字孪生,你需要保证真实性(必须与现实有联系)、微观代表性(要考虑不同个体性都被捕捉到)和宏观代表性(最终分布要与真实人口结构对齐),还有诸如可信度、简约性、多样性以及良好的 F 统计量(用更统计化的说法)等标准 -- 也就是说,较大群体之间的差异必须大于个体差异之和:处在同一群体内的人,彼此的相似度要高于他们与群体外之人的相似度。
AI 如何作答,比它假扮成谁重要得多
在任何合成研究项目中,都有 2 个相互独立的决策。第一个是(a)你如何构建你的人物画像或数字孪生;第二个是(b)你如何从它那里获取答案(可以是定量的,也可以是定性的),无论这个答案是对剧本的回应,还是一个 Likert 量表打分(如 Maier 及其同事 2025 年的研究)。
我们的实验:均值对得上,分布未必
品牌形象类属性和意向类问题,比记忆类和个体经历类问题复现得更好。
每个指标都像硬币一样有 2 个面:一面是均值(比如客户在多大程度上觉得"这个 App 很好用"),另一面是分布(25% 觉得这个 App 很糟糕,75% 很喜欢)。
合成人物画像(在做得非常好的情况下 -- 这是我们在实证测试了十来种技术与方法组合之后的最佳基准)在均值上的吻合度可达 81%。但分布是另一回事:在某个具体方法中(值得注意的是,还是最常用的方法之一)只捕捉到数据方差的约 1/3,在最好(也最诚实)的内部基准里,分布相似度最高可达 58%。
合成数据能较好地勾勒出意见的"轮廓",但克隆体组成的人群会让真实的多样性消失。
请注意,这并不真的是一个"哎呀,LLM 模型越来越好,这些前提就会改善"的问题。因为关键在于这些模型是如何构建的:它们建立在常识之上,本质上是"经济人(homo economicus)"。这就好比在现实生活中,在数十亿人中,每一个人都是一个用自己的个人经历训练出来的 LLM 模型(文献称之为个体发生学习与文化学习),而我们所用的 LLM 是在人类经验的聚合体上训练的,只依赖文化学习。没有感受、情感,以及所有那些让你我如此特别、如此有人味的成分 -- 正是这些成分带来了我们在真实调查(而非 AI 调查)中看到的回答变异性。
也许,如果一项有 1000 个数字孪生的调查,能为每个孪生提供数十年被转录并写入这些 AI 智能体剧本的个人经历作为个体语境(就像我们人类无论去哪儿都带着自己的语境一样),那么这些庞大的语境或许就能给出"接近"真人的回答,不仅对上均值,也对上分布。
问题依然存在:这样值得吗?有时候,最便宜的路径就是和一个真人聊一聊。
在实践中:合成人物画像能较好地映照人类的理性,但要学会复现情感和个体经历,还有很长的路要走。而即便它们能做到,成本也会高于做一次好的真人研究。

能信一项用合成人物画像做的研究吗?
这取决于你要用这个数据做什么决策。如果你要的是方向、排名、宏观趋势、产品吸引力的快速测试,或者是那些用平均分作为参考就够好的场景 -- 可以,但要带上前面那些保留意见。
而如果你的决策需要这些个体差异和分布 -- 比如复盘 CX 规划、定位与territory策略、传播 campaign 的定义 -- 那么用合成数据就可能有风险。之所以有风险,主要是因为平均分可能给你一种虚假的安心。
而且,正如我们开头所说,有些指标就是不能信。记忆就是其中之一。在任何一个基准里,我们都没能得到可信的品牌回忆数据:比如 BTG 这样的品牌,在我们的测量中知名度约为 40%,用合成消费者却涨到约 90%。而 Nubank、Itaú、Santander、Bradesco 等则达到 100%(这在品牌研究中是极其罕见的数字,研究这行的人都懂)。
另一个关键数据是主账户地位(principalidade)本身的测量("你的主要银行是哪家?"),其中 Nubank -- 在我们的研究中本就是领先者、主账户地位约 20% -- 用合成人物画像却跳到了约 70%。
但最佳基准在品牌形象类指标、开户意向等方面则准确得多。总之:越稳定的倾向,往往越能以更高的置信度被复现。
如何确保我的合成人物画像项目带来尽可能好的洞察?
满意度、忠诚度这类指标,很难用合成人物画像很好地捕捉到。这是因为当你回答这类问题时,你是在依据"发生在你身上"的某件事作答 -- 而合成人物画像从没在银行排过队,从没在晚上 11 点用 App 给自己奶奶转 Pix 时账户被临时冻结、被吓一跳,等等。当这样一个人物画像作答时,它并不是在"回忆"任何东西;它是在回答某个人"很可能"且"通常"会说的话。这才是关键所在。
尽管存在这些概念上的局限,我们也可以说:比以往任何时候都更需要一份带有效度量表和良好流程的优质定量问卷,以及一份好的访谈剧本(含 laddering、内容结构等)。
这是因为,在研究中,存在的其实是各种"误差来源(SOURCES OF ERROR)"。而一份好问卷和一份好剧本,会减少这些来源而不是增加它们 -- 无论受访者是真人还是合成的。
归根结底:做合成研究的方法有很多,做对的却很少
合成消费者不能替代对真人的研究。它应当被审慎地使用,就像你不该天天吃快餐一样。
它是一个不错的指南针,能较好地为一些假设排序,应当被放在与定性研究相同的位置。它不能确认现实世界里发生了什么;它带来的是可能且概率较高的情景(当然,其丰富程度不及一场好的定性研究)。
作为一把尺子、一种测量工具,它是失败的。没有办法。所以,如果要用,就要用可靠的方法来创建这些人物画像,配上懂得审视这类数据的洞察文化、良好的配套研究工具,以及批判性思维(在任何方法论中都永远受欢迎)。
要点带走
- 用合成做预测试,但只要有可能,就用真人来验证。
- 专注于打磨好问卷和好剧本,无论作答者是真人还是 AI。
- 谨慎使用均值;使用分布时要更加谨慎。在这次实验里我们拿到了反证 -- 而你,会在自己的项目里也拿到吗?
- 在品牌研究中,合成人物画像会扼杀 brand tracking 这一概念本身:我们不建议使用。满意度研究亦然。
- 文献中最好的用例是测试概念、获取习惯与态度的总体测量 -- 在这里它相对好用。
- 合成人物画像的表现几乎和数字孪生一样好(相似度上有边际增益,但成本会大幅上升)。
- 永远不要停止与你真实的消费者对话。研究并不贵;贵的是不再倾听为你生意买单的人。