欺诈与生成式人工智能和代理人工智能的兴起

本文探讨了生成式AI（GenAI）和代理AI的兴起对欺诈行为的影响，分析了代理AI如何降低欺诈的技术门槛并使追踪溯源更加困难，同时也讨论了GenAI在欺诈分析中的应用，例如快速索引和提取关键数据，最后提出了针对代理AI的安全建议，强调了审计和限制AI代理操作的重要性。

欺诈以及 GenAI 和 Agentic AI 的兴起

在许多领域，我们都有经验丰富的专家，他们可以利用这些经验来理解复杂的调查。欺诈分析尤其如此，在欺诈分析中，人们会创建复杂的欺骗网络来隐藏他们的踪迹。但是，GenAI 的兴起是否会带来分析和检测欺诈的新方法？Agentic AI 是否会给我们带来实施欺诈的新方法？如果是这样，让我们来分析一下。

欺诈的一个基本定义是 [1]：

通过歪曲、隐瞒或遗漏关于承诺的商品、服务或其他利益和后果的事实，故意和有意识地欺骗受害者，这些事实是不存在的、不必要的、从未打算提供的，或为金钱利益而故意歪曲的。

在任何调查中，我们都必须在一定程度上将事件归因于人类的动机。

背景

欺诈分析中的一个关键概念是将事件归因于某人。在 Harold Shipman 的案例中，法医调查人员能够确定他更改了电脑上的时钟，使死去的病人在死亡前看起来像是具有某些症状。因此，在欺诈行为中，GenAI，尤其是 agentic AI 的兴起，给这种归因带来了一些问题，辩护理由可能是“是机器人干的，不是我！”。为此，我们需要了解智能代理的自主程度，它可以从用户作为真正的操作员 (L1) 到人类纯粹是代理的观察员 (L2) 不等。如图 1 [1] 所示。因此，当我们从 L1 移动到 L5 时，将行为归因于人类变得更加困难，因为代理在其方法中变得更加独立。

图 1：不同的自主程度 [1]

谁？什么？何时？何地？为什么？以及如何？

在 GenAI 兴起之前，我们经常使用传统的计算机取证方法将某人归因于给定的行为，例如具有给定用户 ID 的人打开并编辑文件，但在 agentic AI 的世界中，这种归因将变得越来越困难，因为它可能不是人类打开和编辑文件，而是一个智能代理。为此，我们需要了解人类与代理之间不同的交互级别。

如图 2 所示，GenAI 涉及与 GenAI 代理的直接查询/响应，用户通常会有关于此交互的证据轨迹，并且该轨迹与特定的用户 ID 相关联。使用 agentic AI，操作不太直接，代理代表人类行事。

图 2：Gen AI、Agentic AI 和协作 Agentic AI [2]

在协作式 agentic AI 模式中，代理可以相互通信，并且人类的初始意图可以通过多个代理交互来隐藏，以进行协调和规划活动。在这种情况下，人类可能会要求协作式 agentic AI 基础设施删除公司基础设施中提到的任何特定人员的文档。在这种情况下，审计跟踪将不太清晰，因为代理交互可能与用户控制的代理进行，并且几乎没有证据表明已向代理基础设施发出了命令。删除文件（删除证据）然后由无法与委托该操作的人员联系起来的代理完成。

五个 W 和一个 H

调查人员查看日志以确定谁做了什么、何时、何地、为什么以及如何做（调查的五个 W 和一个 H）的日子可能在 agentic AI 时代正在减少。

与许多领域一样，执行犯罪技术领域所需的技能水平正在降低，智能代理可以执行可以实施欺诈的行为，并且可以减少对特定人员的归因。因此，OWASP Top 10 Agentic AI 威胁将 Agentic Untraceability 列为逃避行为归因的关键威胁。

图 3：Agentic AI 威胁 [3]

OpenClaw 和 MoltBot 的兴起表明，创建智能代理所需的技能水平已降低到几乎为零，并且几乎任何用户都有机会以最少的技术技能创建复杂的 agentic AI 基础设施。事实上，在几分钟内，用户就可以设置 agentic AI，将其通信通道（例如 Telegram）与其 LLM 代理（例如 ChatGPT）与其目标系统（例如其本地文件系统）连接起来 - 图 4。

图 4：连接通信通道、LLM 和目标系统 [4]

这些链接现在支持来自用户的简单指示，这些指示导致有限的归因，例如，“从我在文件系统中找到的任何电子表格中删除我的名字，并替换为 Bob Smith”，或者“删除与我访问 My Bank 相关的浏览器缓存条目”。那些需要深厚的技术技能来编程这些操作的日子正在远去。

OpenClaw 的崛起

例如，使用 OpenClaw，我们现在拥有一个开源基础设施，可以快速将 LLM 模型提供商（例如 OpenAI）和特定模型（例如 ChatGPT-5.2）通过简单的二维码链接到多个通道（例如 Telegram 和/或 WhatsApp 帐户），然后链接到本地文件系统和电子邮件。

图 5：OpenClaw 设置

只需动动手指，用户现在就可以将他们在数字生活中进行的每个核心互动混合在一起，而无需实际具备执行这些操作的技术技能。因此，在 agentic AI 的世界中，Harold Shipman 必须手动更改机器上的时钟（并且具有执行此操作的技术技能）的日子大大减少了。

那么是什么？

“代理欺诈”或“代理犯罪”的机会是巨大的，尤其是随着 agentic AI 的兴起大大降低了技术技能要求。虽然公司可能难以控制不受其控制的设备，但它们必须确保以以下方式运营其数字基础设施（图 6）：

  • 对系统上的所有操作执行零信任，数字代理具有执行其操作的最低权限。因此，我们需要定义速率限制、操作边界、气隙和复制限制、代理的管理权限限制，并防止对特定目标的锁定。
  • 代理的所有操作都必须经过审计，并且如果可能，归因于人类。
  • 尽可能地，关键操作需要“人在回路中”才能获得批准。
  • Kill switch 架构。在这种情况下，如果系统遭受大规模损坏（例如大规模删除文件），则可以关闭 agentic AI。

图 6：Agentic AI 的安全要求

GenAI 在欺诈分析中发挥作用？

虽然 agentic AI 将降低那些希望实施欺诈的人的门槛。GenAI 的使用可以加强对更传统的欺诈调查方法的调查。例如，Christensen 等人。使用 GenAI 来改进审计师的欺诈风险评估 [5]。他们进行了两个实验。一个使用经验丰富的审计师，另一个使用新手审计师。结果表明，GenAI 对新手审计师有相当大的影响，并且大大提高了他们的绩效。总的来说，使用 GenAI 的新手审计师比经验丰富的审计师更能发现欺诈机会（图 7）。图 8 概述了使用的数据集范围及其相关性。

图 7：欺诈分析的数据集 [5]

图 8：欺诈分析结果 [5]

在欺诈分析中使用 GenAI 的一个核心优势是能够快速索引任何类型的文档，然后将这些索引值在文档中进行交叉关联。例如，使用 Llama，我们可以创建一个简单的索引脚本来从文档中提取详细信息，例如邮政编码、IP 地址和银行详细信息：

import os
from llama_cloud_services import LlamaExtract
from pydantic import BaseModel, Field

LLAMA_CLOUD_API_KEY =os.environ['LLAMA_CLOUD_API_KEY']

class ExtractArtefacts(BaseModel):
    postcode: str = Field(description="Extract all of the UK postcodes from the the document") # 从文档中提取所有英国邮政编码
    ip_addresses: str = Field(description="Find all the IP address") # 查找所有 IP 地址
    email_address: str = Field(description="Find all the email addresses") # 查找所有电子邮件地址
    bank_details: str = Field(description="Find all the bank details and sort codes") # 查找所有银行详细信息和分类代码
    telephone: str= Field(description="Find all the telephone addresses and their location") # 查找所有电话号码及其位置
    passwords: str= Field(description="Find all the passwords") # 查找所有密码
    credit_card: str = Field(description="Find all the credit card details") # 查找所有信用卡详细信息
    mac_address: str = Field(description="Find all the MAC addresses") # 查找所有 MAC 地址
    cities: str = Field(description="Find all the UK cities or towns") # 查找所有英国城市或城镇

llama_extract = LlamaExtract()
from llama_cloud.types import ExtractConfig, ExtractMode

config = ExtractConfig(use_reasoning=True,cite_sources=False, extraction_mode=ExtractMode.MULTIMODAL)
## agent = llama_extract.create_agent(name="artefact-parser", data_schema=ExtractArtefacts, config=config)
agent = llama_extract.get_agent(name="artefact-parser")

artefact_info = agent.extract("mydoc.pdf")
print(artefact_info.data)
print(artefact_info.extraction_metadata)

对于以下文档：

然后我们得到一个完全索引的分析：

{
'postcode': 'SW1 7AF, EH105DT, EH14 1DJ',
'ip_addresses': '192.168.0.1, 10.0.0.1, 192.168.1.1',
'email_address': 'f.smith@home.net, Fred.blogs@gmail.com, f.blogs@mail.com',
'bank_details': 'GB91BKEN10000041610008, 100000, 41610008; GB27BOFI90212729823529, 902127, 29823529; GB17BOFS80055100813796, 800551, 00813796; GB92BARC20005275849855, 200052, 75849855', 'telephone': '444.3212.5431, +44 (960) 000 00 00',
'passwords': 'Qwerty123, inkwell!!, a1b2c3', 'credit_card': '4321-4444-5412-2310, 5430-5411-4333-5123',
'mac_address': '01:23:45:67:89:ab, 00.11.22.33.44.55',
'cities': 'Glasgow, Edinburgh, Stirling'}

{'field_metadata': {
'postcode': {'reasoning': 'VERBATIM EXTRACTION', 'citation': [{'page': 1, 'matching_text': 'SW1 7AF and EH105DT'}, {'page': 1, 'matching_text': 'EH14 1DJ'}]},
'ip_addresses': {'reasoning': 'VERBATIM EXTRACTION', 'citation': [{'page': 1, 'matching_text': '192.168.0.1'}, {'page': 1, 'matching_text': '10.0.0.1 and 192.168.1.1'}]},
'email_address': {'reasoning': 'VERBATIM EXTRACTION', 'citation': [{'page': 1, 'matching_text': 'f.smith@home.net'}, {'page': 1, 'matching_text': 'Fred.blogs@gmail.com and f.blogs@mail.com'}]},
'bank_details': {'reasoning': 'VERBATIM EXTRACTION', 'citation': [{'page': 1, 'matching_text': '| GB91BKEN10000041610008 | 100000    | 41610008 |'}, {'page': 1, 'matching_text': '| GB27BOFI90212729823529 | 902127    | 29823529 |'}, {'page': 1, 'matching_text': '| GB17BOFS80055100813796 | 800551    | 00813796 |'}, {'page': 1, 'matching_text': '| GB92BARC20005275849855 | 200052    | 75849855 |'}]},
'telephone': {'reasoning': 'VERBATIM EXTRACTION', 'citation': [{'page': 1, 'matching_text': '444.3212.5431'}, {'page': 1, 'matching_text': '+44 (960) 000 00 00'}]},
'passwords': {'reasoning': 'VERBATIM EXTRACTION', 'citation': [{'page': 1, 'matching_text': 'password might be "Qwerty123" or "inkwell!!"'}, {'page': 1, 'matching_text': 'the password is: a1b2c3'}]},
'credit_card': {'reasoning': 'VERBATIM EXTRACTION', 'citation': [{'page': 1, 'matching_text': '4321-4444-5412-2310 and 5430-5411-4333-5123'}]},
'mac_address': {'reasoning': 'VERBATIM EXTRACTION', 'citation': [{'page': 1, 'matching_text': '01:23:45:67:89:ab or it might be 00.11.22.33.44.55'}]},
'cities': {'reasoning': 'VERBATIM EXTRACTION', 'citation': [{'page': 1, 'matching_text': 'meet in Glasgow or Edinburgh, or even Stirling'}]}}, 'usage': {'num_pages_extracted': 1, 'num_document_tokens': 461, 'num_output_tokens': 1082}}

或者一个没有推理的：

{'postcode': 'SW1 7AF, EH105DT, EH14 1DJ',
'ip_addresses': '192.168.0.1, 10.0.0.1, 192.168.1.1',
'email_address': 'f.smith@home.net, Fred.blogs@gmail.com, f.blogs@mail.com',
'bank_details': 'IBANs: GB91BKEN10000041610008, GB27BOFI90212729823529, GB17BOFS80055100813796, GB92BARC20005275849855; Sort codes: 100000, 902127, 800551, 200052; Accounts: 41610008, 29823529, 00813796, 75849855',
'telephone': '444.3212.5431, +44 (960) 000 00 00',
'passwords': 'Qwerty123, inkwell!!, a1b2c3', 'credit_card': '4321-4444-5412-2310, 5430-5411-4333-5123 (Name: Fred Smith)',
'mac_address': '01:23:45:67:89:ab, 00.11.22.33.44.55',
'cities': 'Glasgow, Edinburgh, Stirling'}

{'field_metadata': {'postcode': {'reasoning': 'VERBATIM EXTRACTION'}, 'ip_addresses': {'reasoning': 'VERBATIM EXTRACTION'}, 'email_address': {'reasoning': 'VERBATIM EXTRACTION'}, 'bank_details': {'reasoning': 'VERBATIM EXTRACTION'}, 'telephone': {'reasoning': 'VERBATIM EXTRACTION'}, 'passwords': {'reasoning': 'VERBATIM EXTRACTION'}, 'credit_card': {'reasoning': 'VERBATIM EXTRACTION'}, 'mac_address': {'reasoning': 'VERBATIM EXTRACTION'}, 'cities': {'reasoning': 'VERBATIM EXTRACTION'}}, 'usage': {'num_pages_extracted': 1, 'num_document_tokens': 461, 'num_output_tokens': 694}}

这种能够快速从可能具有证据的各种文档中提取关键数据的能力是 GenAI 在欺诈分析中的强大用途。

在下文中，我们将解析发票以查找帐单周期、客户详细信息、付款到期日、售出的商品和增值税的字段：

import os
from llama_cloud_services import LlamaExtract
from pydantic import BaseModel, Field

LLAMA_CLOUD_API_KEY =os.environ['LLAMA_CLOUD_API_KEY']
class ExtractInv(BaseModel):
    billing: str = Field(description="From this invoice, find the billing period") # 从此发票中，查找帐单周期
    customer_details: str = Field(description="From this invoice, find the customer details") # 从此发票中，查找客户详细信息
    payment_due_date: str = Field(description="From this invoice, find the payment due date") # 从此发票中，查找付款到期日
    payment_date: str = Field(description="From this invoice, find the total pyment due") # 从此发票中，查找应付付款总额
    items: str = Field(description="From this invoice, find names of the items sold") # 从此发票中，查找售出的商品名称
    vat: str = Field(description="From this invoice, find vat charged") # 从此发票中，查找收取的增值税
llama_extract = LlamaExtract()
from llama_cloud.types import ExtractConfig, ExtractMode
config = ExtractConfig(use_reasoning=True,cite_sources=False, extraction_mode=ExtractMode.BALANCED)
agent = llama_extract.create_agent(name="inv-parser", data_schema=ExtractInv, config=config)
agent = llama_extract.get_agent(name="inv-parser")
artefact_info = agent.extract("inv_001.docx")
print(artefact_info.data)
print(artefact_info.extraction_metadata)
artefact_info = agent.extract("inv_002.docx")
print(artefact_info.data)
print(artefact_info.extraction_metadata)

对于以下示例发票：

我们得到以下结果：

{'billing': 'From: 1 May 2025 To: 1 May 2025',
'customer_details': 'Name: Robert Apple, Company: Robot Shop, Address: 10 Colinton Road, Edinburgh',
'payment_due_date': 'JULY 7 2025',
'payment_date': '£580.00',
'items': 'Robot Waiter',
'vat': '£30.00'
}
{'field_metadata': {'billing': {'reasoning': 'VERBATIM EXTRACTION'}, 'customer_details': {'reasoning': 'VERBATIM EXTRACTION'}, 'payment_due_date': {'reasoning': 'VERBATIM EXTRACTION'}, 'payment_date': {'reasoning': 'VERBATIM EXTRACTION'}, 'items': {'reasoning': 'VERBATIM EXTRACTION'}, 'vat': {'reasoning': 'VERBATIM EXTRACTION'}}, 'usage': {'num_pages_extracted': 2, 'num_document_tokens': 365, 'num_output_tokens': 318}}

结论

我们现在处于 GenAI 和 agentic AI 的新世界，并且我们面临来自那些过去被认为是技术不熟练的人越来越大的威胁。这些天来，几乎不需要使用特定的软件包（例如文件传输协议或 API 电子邮件集成）来执行复杂的操作，并且无需编码技能即可构建复杂的交互。

这为全新的欺诈水平打开了大门（无论是在组织内部还是外部），公司现在需要了解如何将他们的系统从以人为本转变为专注于人类和人类归因行为的混合系统，并且重要的是记录和归因 AI 代理的每一个操作，并约束其操作。事实上，每家公司都应该像对待他们的人工员工一样对待他们的 AI 代理，并为代理提供数字 ID，并在基础设施上拥有相关的权利。

积极的一面是，GenAI 可能会允许快速索引关键文档并跨多个域提取关键标识符，并将这些标识符与时间戳进行交叉关联。为此，所使用的文件类型几乎没有限制，并且可以轻松地对文本、视频和声音文件进行交叉索引。

参考文献

[1] https://www.finrafoundation.org/sites/finrafoundation/files/framework-taxonomy-fraud.pdf

[2] Feng, K. J., McDonald, D. W., & Zhang, A. X. (2025). Levels of autonomy for ai agents. arXiv 预印本 arXiv:2506.12469。

[3] https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/

[4] https://www.ox.security/blog/one-step-away-from-a-massive-data-breach-what-we-found-inside-moltbot/

[5] Christensen, B. E., Emett, S. A., Eulerich, M., & Wood, D. A. (2025). Using Artificial Intelligence for Fraud Risk Assessment: Evidence from Novice and Experienced Auditors. 可在 SSRN 5173407 上获取。

  • 原文链接： medium.com/asecuritysite...
  • 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～
点赞 0
收藏 0
分享
本文参与登链社区写作激励计划 ，好文好收益，欢迎正在阅读的你也加入。

0 条评论

请先 登录 后评论
asecuritysite
asecuritysite
江湖只有他的大名，没有他的介绍。

asecuritysite

如果觉得我的文章对您有用，请随意打赏。你的支持将鼓励我继续创作！