人工智能如何助长学术造假 危及科研公信力 | 大紀元
大紀元
人工智能如何助长学术造假 危及科研公信力
专家指出:“我们现在看到的情况实际上相当于一次拒绝服务攻击。真正的研究人员被淹没在科研噪音之中。”
人工智能如何助长学术造假 危及科研公信力
学术界和网络安全专家警告称,人工智能生成的虚假研究论文正在绕过查重检测,进入学术纪录系统,威胁着科学工作的可信度。即使撤回这些人工智能生成的文章,也会给本已不堪重负的学术论文同行评审系统带来负担。(Illustration by The Epoch Times, Shutterstock)
2025-11-11 14:20 中港台时间|11-13 03:43 更新
人气 2029

【大..;2025年11月11日讯】(英文大..;记者Autumn Spredemann撰文/张紫珺编译)学术界和网络安全专家警告称,一波利用人工智能(artificial intelligence,简称AI)生成的虚假科学研究正在隐秘地绕过学术查重机制,最终被列入学术记录系统。专家表示,这种现象助长了长期存在的“论文工厂”(paper-mill)式造假,从而危及科学研究未来的公信力。

学术论文工厂是一种通过伪造学术研究报告和代写论文而牟利的造假组织,多年来一直困扰着学术界人士。随着人工智能在学术领域的应用,现在这方面的乱象呈几何式增长。

一些专家认为,要解决这个问题,不仅仅需要更好的查重工具,还需要进行结构性的变革。

AI学术造假范围之广令人震惊。据总部位于英国伦敦的久负盛名的国际学术期刊合集《自然组合》(Nature Portfolio)的数据,2023年全球有超过10,000篇研究论文被撤稿。

瑞典的博罗斯大学(University of Borås)的研究发现,利用大型语言模型(large language model,LLM)伪造的论文正在多个学术领域和平台(包括谷歌学术/Google Scholar)上大量涌现。近期发表在《自然组合》(Nature Portfolio)上的一项题为“期刊充斥着人工智能可以撰写的‘山寨’论文”(Journals infiltrated with‘copycat’papers that can be written by AI,09/23/2025)的分析指出,包括ChatGPT、Gemini和Claude在内的LLM工具能够生成看似可信、而且能通过学术论文标准查重检测的研究论文。

今年5月,希腊的雅典经济与商业大学(Athens University of Economics and Business)计算机科学学者兼教授迪奥米迪斯‧斯皮内利斯(Diomidis Spinellis)在发现自己成了某项研究的署名作者之后,撰写了一篇关于人工智能生成内容的独立研究报告,题为“虚假署名:一篇以我的名义发表的人工智能生成文章的探索性案例研究”(False authorship: an explorative case study around an AI-generated article published under my name,05/27/2025)。报告发表在总部位于加州的《全球国际创新研究杂志》(Global International Journal of Innovative Research)上。

斯皮内利斯在研究报告中指出,在他所查阅的53篇文章中,只有5篇(这些文章的文内引用次数最少)显示出人类研究人员参与的迹象。人工智能检测得分证实,其余48篇文章的内容“极有可能”(high probabilities)是由人工智能生成的。

这张摄于2025年的插图照片显示,ChatGPT应用程序和网站分别显示在手机和笔记本电脑上。学术界和网络安全专家警告称,人工智能生成的虚假研究报告正在绕过论文查重检测,被列入学术纪录系统,令科学工作的可信度面临威胁。(Justin Tallis/AFP via Getty Images)
这张摄于2025年的插图照片显示,ChatGPT应用程序和网站分别显示在手机和笔记本电脑上。学术界和网络安全专家警告称,人工智能生成的虚假研究报告正在绕过论文查重检测,被列入学术纪录系统,令科学工作的可信度面临威胁。(Justin Tallis/AFP via Getty Images)

瑞典大学研究人员对谷歌学术(Google Scholar)上发表的人工智能生成的“垃圾”(junk)科学文章进行了分析,发现了100多篇疑似人工智能生成的文章。

到目前为止,谷歌尚未回应《大..;时报》的置评请求。

瑞典大学研究报告显示,人工智能生成的研究报告(无论是有人类辅助的还是其它方式的)的一个主要问题是,错误的信息可能被用于“战略操纵”(strategic manipulation)。

“当人工智能生成的研究报告在搜索引擎中传播时,我们所说的‘证据篡改’(evidence hacking)风险就会显着地增加。这可能会带来切实的后果,因为错误的结果可能会进一步渗透到社会当中,甚至可能渗透到越来越多的领域。”该研究的作者比约恩‧埃克斯特伦(Björn Ekström)说道。

此外,瑞典大学团队认为,即使撤回这些文章,人工智能论文也会给本已不堪重负的同行评审系统增加额外的负担。

负面影响深远

位于犹他州的西部州长大学(Western Governors University)的人工智能伦理学家尼珊希‧舒克拉(Nishanshi Shukla)向《大..;时报》表示:“人工智能产生的大量伪科学对人们关心的研究领域造成的破坏性影响最大。”

舒克拉认为,当使用人工智能分析数据时,人类的监督和分析不可或缺。

“当所有研究成果都由人工智能生成时,就会存在知识同质化的风险。”她解释道。

她表示:“短期来看,这意味着所有遵循类似路径和方法的研究,都会受到类似假设和偏见的影响,变得只会迎合特定群体的需求。长期来看,这意味着没有任何新的知识,知识的生产过程只是一个人类批判性思维缺位的循环过程。”

2019年1月25日,华盛顿特区,一名观众正在观看一段由卡内基梅隆大学(Carnegie Mellon University)研究人员利用人工智能技术制作的“深度伪造”(deepfake)视频示例。研究人员表示,(无论是否有人类辅助)人工智能生成的研究报告的一个关键问题是,虚假信息可能被用于“战略操纵”。(Alexandra Robinson/AFP via Getty Images)
2019年1月25日,华盛顿特区,一名观众正在观看一段由卡内基梅隆大学(Carnegie Mellon University)研究人员利用人工智能技术制作的“深度伪造”(deepfake)视频示例。研究人员表示,(无论是否有人类辅助)人工智能生成的研究报告的一个关键问题是,虚假信息可能被用于“战略操纵”。(Alexandra Robinson/AFP via Getty Images)

人工智能研究公司“维尔图斯”(Vertus)的联合创办人米哈尔‧普里瓦塔(Michal Prywata)也认为,人工智能伪科学的趋势存在很大问题,而且其影响已经显现。

“我们现在看到的情况本质上就相当于一次拒绝服务攻击(denial-of-service attack,又称“DoS攻击”)。真正的研究人员被淹没在科研噪音之中,同行评审员不堪重负,引用文献中充斥着捏造的参考文献。这使得真正的科学进步更难被识别和验证。”普里瓦塔告诉《大..;时报》。

(译注:在计算机领域,拒绝服务攻击(denial-of-service attack)是一种网络攻击,攻击者通过暂时或永久性的破坏连接网络的主机服务,使目标用户无法使用特定机器或网络资源。拒绝服务通常通过向目标机器或资源发送过量请求来实现,试图使系统超载,从而阻止部分或全部合法请求得到响应。DoS攻击手段包括向服务器发送数百万请求来降低服务器性能、用大量无效数据令服务器不堪负荷,以及提交带有非法IP地址的请求等。)

在与前沿人工智能系统合作的过程中,普里瓦塔近距离地观察到了大规模部署的LLM的副产品,他认为这才是问题的核心。

“将人工智能视为生产力工具,而没有去真正理解智能的本质,必然就会出现这样的结果。目前的人工智能系统的构建并非和人脑一样。它们是一个复杂的模式匹配系统,在生成听起来合情合理的文本方面非常擅长。而虚假的研究报告要想看起来令人信服,所需要的恰恰就是AI的这种能力。”他说道。

总部位于科罗拉多州丹佛市的网络安全公司Optiv的首席信息安全官(Chief information security officer,简称CISO)内森‧温兹勒(Nathan Wenzler)认为,学术公信力的未来正面临着考验。

内森‧温兹勒(Nathan Wenzler),Optiv网络安全公司现场首席信息安全官。(Courtesy of Optiv Security)
内森‧温兹勒(Nathan Wenzler),Optiv网络安全公司现场首席信息安全官。(Courtesy of Optiv Security)

“随着受人尊敬的期刊和重要的科学评论中增加越来越多不正确或完全虚假的AI生成内容,无论是近期的还是长期的影响都是一样的:学术公信力将受到削弱。”温兹勒向《大..;时报》表示。

从安全角度来看,温兹勒认为,在知识产权盗窃方面,大学现在面临着一种不同类型的威胁。

他说:“我们已经看到一些国家行为体发起网络攻击,专门窃取大学和研究机构的研究成果,而这些国家随后又将其作为自己大学的研究成果发布出来,就好像这些研究是他们自己完成的一样。”

温兹勒表示,对于那些依靠拨款来进行合法的科学研究、技术、医疗保健等领域的组织机构来说,最终这将在财务上产生巨大的影响。

2020年12月10日,华盛顿州西雅图,华盛顿大学医学院的微生物实验室里,研究人员正在研发一种可复制的RNA疫苗。专家警告说,如今大学面临的来自人工智能增强型国家级网络攻击的知识产权盗窃风险正在加剧。(Karen Ducey/Getty Images)
2020年12月10日,华盛顿州西雅图,华盛顿大学医学院的微生物实验室里,研究人员正在研发一种可复制的RNA疫苗。专家警告说,如今大学面临的来自人工智能增强型国家级网络攻击的知识产权盗窃风险正在加剧。(Karen Ducey/Getty Images)

温兹勒举例描述了一个现实世界中可能出现的情况:“人工智能很容易被用来增强这类网络攻击,只需对被盗的研究内容稍加修改,就能制造出一个假象,让它看起来内容独特,而且是独立研究成果;或者通过创建虚假的反驳数据,来破坏原始数据和研究发现的可信度,从而制造出现有研究存在缺陷的虚假叙事。”

“潜在的经济影响是巨大的。然而,这对造福全球民众的科学进步所产生的负面影响,却是无法估量的。”他说道。

普里瓦塔指出,很大一部分公众已经对学术界提出了质疑。

“我担心的是,这会加速人们对科学机构的质疑。”他说道。“现在已经有证据表明这个系统可以被大规模地操纵。我认为对于社会来说,这是十分危险的。”

大量人工智能生成的虚假研究论文的出现,正值公众对科学的信任度低于新冠疫情爆发前之际。总部位于华盛顿特区的皮尤研究中心(Pew Research Center)发布的一项题为“公众对科学家的信任以及对科学家在政策制定中作用的看法”(Public Trust in Scientists and Views on Their Role in Policymaking,11/14/2024)的分析报告发现,对于科学家是否会以公众利益为先,仅有26%的受访者表示“很有信心”。51%的受访者表示他们有一定的信心;相比之下,2020年对科学抱有同样信心的受访者比例高达87%。

美国成年人对于科学家是否以公众利益为先的信心程度比例演变示意图(2019—2024)。柱状图浅绿色部分表示“有一定信心”,深绿色部分表示“很有信心”,褐色部分表示“没有多少信心/没有信心”。(数据来源:皮尤研究中心)
美国成年人对于科学家是否以公众利益为先的信心程度比例演变示意图(2019—2024)。柱状图浅绿色部分表示“有一定信心”,深绿色部分表示“很有信心”,褐色部分表示“没有多少信心/没有信心”。(数据来源:皮尤研究中心)

与此同时,美国民众对人工智能的进步也表现出越来越不信任的态度。总部位于华盛顿特区的布鲁金斯学会(Brookings Institution)发布的一项题为“了解人工智能进展对信任的影响”(The impact of learning about AI advancements on trust,12/2025)的研究成果发现,与没有接触过人工智能发展相关信息的参与者相比,接触过人工智能发展相关信息的参与者在语言学、医学和约会等众多不同的领域,表现出更多的不信任感。

2025年8月1日,总部位于加州旧金山的人工智能公司Anthropic发布的创意图。米哈尔‧普里瓦塔警告说,已发布的AI伪造数据可以训练新的模型,从而形成虚假信息的反馈循环。(Riccardo Milani/Hans Lucas/AFP via Getty Images)
2025年8月1日,总部位于加州旧金山的人工智能公司Anthropic发布的创意图。米哈尔‧普里瓦塔警告说,已发布的AI伪造数据可以训练新的模型,从而形成虚假信息的反馈循环。(Riccardo Milani/Hans Lucas/AFP via Getty Images)
寻求解决方案

舒克拉认为,人工智能伪造研究报告的泛滥,是学术界不断发表新论文带来的压力所致。

“论文的数量和引用次数决定了研究人员的学术生涯,在这种情势之下,使用人工智能生成研究成果成为了捷足先登的捷径。因此,要想阻止人工智能生成研究成果,首先要做的是减轻论文发表方面的压力,并建立更好的指标来衡量学术上的成就。”她说道。

舒克拉强调,针对人工智能生成研究开展宣传活动,提高相关认知十分重要。同时,还需要在学术报告和真实性验证方面保持“严格的标准”。

总部位于法国巴黎的国际科学理事会(International Science Council,简称ISC)指出,科研论文的发表情况一直在推动大学的排名和个人职业发展。这种为发表论文不惜一切代价的“持续不断的压力”,导致了数据造假现象的增加。

国际科学理事会表示:“除非这种情况有所改变,否则整个研究领域可能会向标准不那么严格的方向转变,从而阻碍医学、技术和气候科学等领域的重要进展。”

普里瓦塔指出,当人工智能伪造的数据发布之后,这些信息可以被用来训练新的人工智能模型,从而形成虚假信息的反馈循环。这令事情变得更为糟糕。

“人们需要为这种做法承担后果。”他说道。

2024年2月22日,德克萨斯大学奥斯汀分校(University of Texas at Austin),刚刚下课,学生坐在阶梯教室里。学术界长期以来一直将论文发表数量与工作保障和科研经费挂钩,但米哈尔‧普里瓦塔(Michal Prywata)表示,这种激励机制必须改变,研究人员和机构必须为论文造假承担经济责任。(Brandon Bell/Getty Images)
2024年2月22日,德克萨斯大学奥斯汀分校(University of Texas at Austin),刚刚下课,学生坐在阶梯教室里。学术界长期以来一直将论文发表数量与工作保障和科研经费挂钩,但米哈尔‧普里瓦塔(Michal Prywata)表示,这种激励机制必须改变,研究人员和机构必须为论文造假承担经济责任。(Brandon Bell/Getty Images)

目前,几乎所有的激励措施都在促使学术研究人员尽可能多地发表学术论文。大学层面十分看重论文的发表数量,长期以来将其与研究人员能否保住工作和获得研究项目经费联系起来。

“解决办法不是开发更好的人工智能检测工具,那是一场注定失败的军备竞赛。现在一些可以规避人工智能检测的工具已经在开发之中。”普里瓦塔说道。

他认为,需要彻底改变学术论文发表的激励机制,令发布造假论文的研究人员和机构在经济上承担相应的责任。

“必须停止根据论文发表的数量进行奖励的做法,而是应根据论文被引用的质量和实际影响力来提供资金支持。”他说道。

温兹勒指出,虽然同行评审(peer review)仍然是期刊验证研究成果的“黄金标准”(gold standard),但是进行评审的团队必须投入必要的时间和技术。

“要对研究论文进行全面审查,并核实其中所提供的任何信息来源。”他说道。

温兹勒认为,为了维护科研诚信,需要加强学术机构之间的合作和政府投资。

然而,同行评审制度并非没有挑战。由于评审内容日益增多,评审时间有限,审稿人员疲劳工作已经是一个普遍存在的问题。雪上加霜的是,《自然组合》的证据表明,在同行评审过程中,人工智能正扮演着越来越重要的角色,这一趋势引发了科学界新一轮的担忧。

对此,普里瓦塔建议:“要求公开评审员身份并进行实时同行评审。另外,要为同行评审工作提供充足的资金,而不能指望评审人员免费劳动。”◇

原文:How AI Is Supercharging Scientific Fraud 刊登于英文《大..;时报》。

责任编辑:叶紫微#

如果您有新闻线索或资料给我们
请进入安全爆料平台
守护善良正义,值得奋战到底
..;电子报
一旦重大新闻发生,我们会立即发送到您的电子邮箱
Email Icon
如果您有新闻线索或资料给大..;,请进入安全投稿爆料平台
留言
  • ..;保留删除恶意留言的权利,包括低俗、误导或攻击信仰等内容
本网站图文內容归大..;所有, 任何单位及个人未经许可,不得擅自转载使用。
Copyright© 2000 - 2026 The Epoch TimesAssociation Inc.All Rights Reserved.