PURA科普手记

AI 文本溯源 · 一篇互动图解

文字被改写之后,
来源还找得到吗?

有些线索,不写在文字表面。
从一个随机点开始,理解 PURA 怎样让采样承载来源编码。

7 分 30 秒11 个章节无旁白 · 完整文字说明

在随机数里藏下来源线索下载 1080p 视频 ↓文字字幕 ↓

一篇模型生成的文章被复制到别处,来源标签很容易丢失。再经过删句、替换或改写,剩下的文字还能留下什么线索?

PURA 研究的,是在生成时写入一小串预先约定的位,再从文本中恢复它。它可以代表系统、版本等来源编号。这串编号不是自动识别出的真人身份。

01 / 采样

选出一个词,
也可以看成投下一个点。

模型给出每个候选词的概率。把这些概率铺成首尾相接的区间,再在 0 到 1 之间均匀选一个随机点。点落在哪段,就输出哪个词。

云 · 15%雨 · 21%海 · 21%光 · 28%风 · 15%00.150.360.570.851
示例词表 · 区间左闭右开。

区间越宽,接住随机点的机会越多。这就是逆变换采样(ITS)的直觉:只要点整体仍然均匀,各词出现的概率就仍然与区间宽度一致。

02 / 嵌入

不改词的概率,
而是转动背后的随机数。

把刚才的尺子首尾相连,就得到一个圆。PURA 用载荷选出的 Gray 扇区决定一个偏移量,把基准随机点旋转,再按原来的概率区间选词。

A = (U + (S + 0.5) / K) mod 1

论文示例取 U = 0.15、S = 1、K = 4,偏移量为 0.375,得到 A = 0.525。它落在示例词表中“海”的区间里。

基准点0.15沿圆环旋转0.375,到达0.525;选中的扇区决定偏移,不限制最终落点。
选中的扇区决定旋转量。点并没有被强行塞进那个扇区。

整个均匀点云一起旋转后,仍然均匀。单次选中的词可以改变,但整体分布可以保持。论文的计算无偏性还有伪随机函数、域分离、有效种子上下文不重复等前提,并针对单次调用;不能直接扩展为固定密钥跨样本的绝对安全。

03 / 恢复

一个词,
保留的是一段不确定性。

观察到“海”,只能知道采样点落在 [0.36, 0.57);无法把它反解成唯一随机点。验证方需要密钥,以及源模型或兼容代理模型重建的概率,才能重新建立这个秘密区间。

观测词元区间与候选相位的余弦核重叠,面积转成相容权重,再转为每一位的软证据。
候选锚点与观测区间的重叠面积,给出软相容权重。

把候选按 Gray 码某一位是 0 还是 1 分组,将权重比例取对数,就得到局部 LLR。正号支持 1,负号支持 0;绝对值表示证据强弱。同一位在不同位置的证据相加,弱线索才可能积少成多。

+0.42 +0.94 −0.30 +0.41 = +1.47

Figure 2C 的局部证据累加示例。

04 / 动手实验

改变一个数,
看看线索怎样变化。

拖动随机点,切换扇区,或加入一份观测。三个演示都在浏览器中真实计算。

示例词表 · 模拟采样。

05 / 结果

91.7%,
要连着条件一起读。

先固定实验:36 个数据位、200 个生成词元、无后编辑,数据位不计额外校验位。Table 1 的整条消息完全匹配率如下。

方法类别 / 验证完整消息匹配率
StealthInk无偏基线0.5%
BiMark无偏基线28.9%
PURA代理模型验证91.7%
PURA源模型验证97.2%
RS-BH(δ=3)有偏基线81.4%

同一设置下,PURA 代理验证的单比特准确率为 99.02%,每样本核验约 0.05 秒。它们分别衡量每一位的正确性和核验耗时,都不能代替整条消息完全匹配率。

Table 2 中,特定 RoBERTa 分类器区分 PURA 的准确率为 50.23%,接近 50% 的机会水平;这不代表所有检测器都无效。

06 / 边界

水印会受损,
保证也有条件。

删除一个词,可能改变后续局部上下文,让一些位置失步。定向改写还可能把证据推向错误方向。论文把这两种影响合成有效边际 Γ;只有 Γ > 0 等条件成立时,才有 exp(−TΓ²/2) 形式的单比特误码上界。

另一组实验 / Table 3

18-bit 原始载荷 · 关闭 SPC 修复

在 Diaa 等人的 TM1 定向重写下,整条消息匹配率为 8.69%。这与前面的 Table 1 条件不同,不能把两个数字直接画成同条件性能下降。

更长文本可以提供更多证据:Figure 6 中,5,000 词元时四种 TM1 攻击下的单比特准确率均超过 98%。但这仍然不是整条消息匹配率。TM1 之外的密钥相关 oracle 压测中,单比特准确率还可跌到 47.35%。

所以,PURA 提供的是带条件、可恢复的来源线索。线索的意义,依赖密钥、兼容模型、来源编号的约定,以及明确的攻击假设。

参考论文

PURA: Provably Unbiased and Robust Multi-Bit Watermarking for AI-Generated Text Attribution