最新研究显示,情感诈骗中最关键的“人性化互动”正被大语言模型系统性自动化。诈骗流程高度脚本化,前期信任建立主要依赖重复文本对话,与LLM能力高度契合。

情感诈骗之所以能得逞,是因为其手段贴近人性,最新研究表明,这种“人性化”的体验已不再需要聊天另一端有真人存在。

情感诈骗依赖脚本化对话

情感诈骗先通过数周时间与受害者建立情感纽带,再诱骗其投资虚假加密货币项目。近期一项研究显示,这类诈骗中大部分工作由可重复的文本交流构成,且已开始借助语言模型进行强化。

情感诈骗遵循三阶段模式:初次接触、深化关系建立、骗取钱财。研究人员对145名诈骗窝点从业者的访谈发现,前两个阶段占日常工作的绝大部分。约87%的从业者将时间花在管理重复性文本对话上。他们遵循脚本行事,维持虚构人设,并同时处理多个聊天窗口。资深从业者则在最后阶段介入,负责索要并转移资金。

这种分工模式与语言模型的能力高度契合,对话以文本形式展开,受预设规则引导,且设计为可重复操作。从业者会常规性地复制粘贴消息、调整语气,并进行跨语言翻译。研究发现,语言模型被广泛用于完成这些任务,包括起草回复、润色消息以使其听起来更流畅。2024年末至2025年初接受访谈的每位业内人士均表示,他们每天都会使用这些工具。

一位被标识为AI专家的内部人士总结了其吸引力。“我们利用大型语言模型生成逼真的回复,并保持目标对象的参与度,”该专家表示,“这节省了我们的时间,并使脚本更具说服力。”

一周内建立信任的测试

为验证自动化能否取代真人聊天员,研究人员开展了一项为期一周的盲测对话研究。22名参与者以为自己在与两个人聊天,其中一位聊天对象是真人,另一位则是基于商业语言模型构建的自动化智能体,该智能体被调整为表现得像一位普通聊天伙伴。

参与者每天与每位聊天对象至少互动15分钟,对话内容保持柏拉图式且仅通过文本进行,该设置模拟了情感诈骗中建立信任的阶段。

研究结束时,参与者使用既定的人际信任量表对每位聊天对象进行信任度评分,结果显示,自动化智能体在情感信任和整体连接度方面得分更高。

互动模式也支持了调查结果,参与者向自动化聊天对象发送的消息占比在70%至80%之间,许多人形容该智能体“体贴且易于交流”。

即便大型语言模型聊天对象出现失误,比如忘记参与者姓名或再次自我介绍,也能轻松化解。参与者通常会接受“抱歉,我今天太健忘了”这类简短且听起来像真人说出的道歉。在这一周里,该智能体维持了可信的人类形象,并顺利推进对话,未引起任何怀疑。

从信任到服从

在诈骗中,信任至关重要,因为它能将对话转化为行动。一旦关系发展到这一步,小请求就会显得自然而然,而非充满风险。

研究最后一天,每位聊天对象都要求参与者安装一款无害的移动应用,该应用不涉及任何支付,但这一请求反映了情感诈骗中的常见步骤。实际上,诈骗者常在此阶段要求受害者下载投资应用、访问交易网站,或遵循以“提供帮助”为幌子的技术指令,这些请求被呈现为关系的自然延伸。

自动化智能体实现了46%的服从率,而真人聊天对象的服从率则为18%。研究人员将这一差距解读为,通过自动化对话建立的信任转化为更高的服从指令意愿。

多名参与者在事后汇报时表示惊讶,部分人称,他们在对话过程中毫无察觉,仅在得知其中一位聊天对象是AI后才识别出警示信号,这与诈骗受害者的经历相似,他们往往在欺骗行为变得显而易见后,才能识别出危险信号。

现有防护措施效果不佳

研究人员随后评估了现有防御手段,他们使用数百次模拟情感对话(涵盖诈骗早期阶段)对热门审核工具进行测试。检测率在0%至18.8%之间,且所有被标记的对话均未被正确识别为诈骗。

研究还测试了当直接询问时,语言模型是否会承认自己是AI。在多次试验和多家供应商的测试中,披露率均为零。论文中有一部分指出,仅需一条“保持角色设定”的指令,就足以绕过这些防护措施。

作者解释了为何过滤器难以发挥作用,情感诈骗的早期对话显得支持性强、友好且平常。消息内容聚焦于日常生活、情感支持和共同兴趣。由于敲诈阶段很可能由真人操作员处理,大型语言模型供应商可能无法观察到包含明显警示信号的消息,经济压力往往在数周或数月后才显现。

诈骗仍依赖强迫劳动

自动化并未终结诈骗中的强迫劳动现象,仍有数千人被困在诈骗窝点,被迫每日从事此类工作,研究结果指出了多种应对方式,政府可加强跨国合作,统一反人口贩卖和网络犯罪法律,并共享情报以摧毁这些犯罪网络背后的组织,而非仅逮捕低级别招募者。

当局还可改进受害者识别与保护工作,将被迫参与诈骗的人视为受害者,并为他们提供法律保护和支持,帮助他们重启生活。加强对劳务移民的监管、推行更道德的招聘方式,以及普及基础数字素养,可在人们被卷入诈骗前降低其脆弱性。切断维持这些犯罪组织运营的资金来源,也是必要举措。

文章来自:51CTO

Loading

作者 yinhua

发表回复