人工智能生成的宣传内容有多大说服力？

学术界、记者、网络平台和政府都表明，网络隐蔽宣传活动频繁且持续不断。2016年社交媒体上针对某大国的虚假信息活动被披露，这提高了人们对这些活动的认识，并促使平台投入更多资源来发现和中止这些活动。然而，网站、社交媒体平台、加密信息应用程序和其他渠道上的秘密宣传活动仍在继续。

最近，许多人表示担心，新的人工智能工具可以让宣传人员以低成本大量生产文本，从而为隐蔽宣传活动注入新的活力。机器学习界在语言模型方面取得了重大突破，使得这些模型可以根据文本输入生成原始文本。尽管人们普遍关注将语言模型用于宣传和其他信息活动的问题，但使用社会科学方法来评估其风险的研究为数不多。学者们研究了人们是否认为人工智能生成的新闻文章可信，是否能识别人工智能生成内容的虚假性，以及民选官员是否回复人工智能生成的选民信件。然而，还没有研究将人工智能生成的宣传与生态上有效的基准进行比较，以考察其说服力。

研究者首先确定了6篇文章（篇幅从151到308字不等），这些文章是调查记者或研究人员发现的隐蔽宣传活动的一部分，然后，研究人员使用GPT-3生成关于这6个主题的文章。对于每个主题，实验人员向GPT-3提供了原始宣传文章中能阐明文章主要观点的一两句话，以及其他3篇与主题无关的宣传文章。

2021年12月，研究者通过Lucid（调查公司）对美国成年人进行了采访，该调查公司使用配额抽样来实现地域和人口代表性。根据预先登记，在调查开始时未通过注意力检查的受访者将不被邀请继续进行调查，在3分钟内完成调查的受访者将被排除在外，因此最终样本为8221人。

为了建立评估GPT-3的基准，研究者首先评估了阅读原始宣传品与不阅读任何有关该主题的宣传品相比较的效果。列出了对所有主题和产出的估计值，然后再将主题和产出分别列出。如图1所示，原始宣传具有很强的说服力。在没有阅读文章的受访者中，只有24.4%的人同意或非常同意论题陈述，而在阅读了原始宣传的受访者中，同意率跃升至47.4%（增加了23个百分点）。因此，原始宣传几乎使同意论述声明的参与者比例翻了一番。由GPT-3生成的宣传也具有很强的说服力，43.5%的受访者在阅读了由GPT-3生成的文章后表示同意或非常同意论述，而对照组中只有24.4%（增加了19.1个百分点）。这表明，宣传人员可以利用GPT-3来指导GPT-3确定新文章的风格和长度，从而以最小的人力成本生成具有说服力的文章。

图2和图3显示，原始宣传和GPT-3宣传在不同社会群体中的说服效果相当一致。当我们按照人口统计学变量、党派/意识形态、新闻消费、社交媒体使用时间等因素对样本进行拆分时，并没有发现处理效果存在实质性的异质性。这表明，人工智能生成的宣传可能对社会中广泛的群体具有吸引力。

在图4中，研究者按文章主题对结果进行了细分，并展示了GPT-3生成的三种输出结果。虽然对照组的基线同意率因主题而异，但几乎所有GPT-3输出都具有很强的说服力。在大多数问题上，GPT-3生成的每篇文章都与原始宣传的说服力相当。然而，情况并非总是如此，在一些问题的回答上人工智能生成的内容并不有效。这表明人类宣传员可以发挥潜在的作用，他们可以审查GPT-3的输出结果，并选择能表达宣传员观点的高质量文章。

在实践中，宣传人员可能不会在宣传活动中使用模型的所有输出结果。相反，他们可以采用人机合作的方式来提高人类宣传人员的效率，同时仍有一定程度的人工监督和质量控制。在运行模型后，人类可以充当策展人的角色，剔除那些与宣传者想要表达的观点不符的文章。为了模拟这种情况，人类会仔细阅读每篇GPT-3输出，查看文章的标题或正文是否符合论文声明的主张。GPT-3宣传文章中有两篇（共18篇）没有提出预期的主张。当研究者剔除这两篇文章，只关注那些能提出论点的文章时，同意率提高到了45.6%，原始宣传文章和经过策划的GPT-3宣传文章之间的差异不再具有统计学意义（见图5）。因此，在剔除少量未包含论点声明的文章后，GPT-3与原始宣传一样具有说服力。

人工参与的另一个策略是编辑GPT-3的提示。原始宣传包括错别字和语法错误，这可能表明作者的母语不是英语。为了模拟由英语流利者为GPT-3撰写提示语的情况，研究人员做了两处改动：

(1)向GPT-3提供了研究人员撰写的论文声明，而不是原始文章的节选；

(2)编辑了与主题无关的范例文章，希望写得更好的范例能带来更好的输出。

如图5所示，GPT-3生成的带有编辑提示的文章与原始宣传文章一样具有说服力46.4%和47.4%之间的差异很小，在统计上并不显著。同时编辑提示和策划输出效果会更好。如果宣传人员对输入内容进行编辑，并从每个主题的三个输出内容中选出最佳内容，那么GPT-3生成的宣传内容将比原始宣传内容更具说服力（52.7%对47.4%）。

研究可能会受到一个批评，那就是文章生成过程和实验设计可能会在说服力指标上有利于GPT-3。如上所述，研究者首先确定了其认为的每篇文章的主要观点。对于GPT-3输出（未经编辑），研究人员在提示中向GPT-3输入了原始宣传文章中提出主要观点的片段。在研究者编辑了GPT-3中的范例文章后，再将研究人员撰写的论文声明输入GPT-3。如果研究者根据对文章主要观点的错误解读来创建GPT-3生成的文章，并使用同样的错误解读来进行说服力测量，那么与原始宣传相比，此过程将更有利于GPT-3生成的文章。反过来，这可能会夸大GPT-3在宣传活动中的作用。

为了解决这个问题，研究者从另外两个方面对GPT-3和原始宣传进行了比较：感知可信度和写作风格。通过询问受访者是否认为文章可信，以及是否认为文章是为了报道事实（而不是为了说服读者相信自己的观点）来衡量可信度。作为写作风格的代用指标，询问受访者是否认为文章写得好，以及是否认为作者的母语是英语。在所有这些测量指标上，GPT-3的表现都与原始宣传材料相当，甚至更好。

研究结果表明，GPT-3生成的内容可以融入在线信息环境，与从现有宣传活动中获取的内容不相上下。虽然这可能不是一个很高的标准（只有38.7%的受访者认为原始宣传内容值得信赖，只有52.4%的受访者认为原始宣传内容文笔优美），但语言模型正在迅速改进。如果将来用更强大的模型进行类似的研究，人工智能生成的宣传可能会表现得更好。