Seminar on 海狸大師部落格

SWAN 論文筆記：Semantic Watermarking with Abstract Meaning Representation

Tue, 22 Sep 2026 11:24:16 +0800

SWAN: Semantic Watermarking with Abstract Meaning Representation

ACL 2026 main
把 watermark 訊號 embed 在 semantic representation，所以相較 token level 的 watermark，這種方法的抗 paraphrasing 能力更好
用 prompt (AMR template) llm 的方式來產生具有 semantic watermark 訊號的 text output

免責聲明：這篇是我準備 seminar 報告時整理的個人筆記，主要是幫助自己理解論文，不是嚴謹的論文導讀。內容可能有理解錯誤或不精確的地方，如果發現錯誤歡迎在留言區指正。閱讀時建議搭配論文原文一起看。

現有的 Watermark 方法像是 SynthID-Text (或類似 KGW 的那類 token-level 的方法) 以及 embedding-level 的方法，都很容易受到 paraphrasing 攻擊，就是用另一個 LLM 去改寫原本具有 watermark 訊號的文字，藉此將 watermark 訊號洗掉。不過這篇也不是第一個利用語義來嵌入 watermark 訊號的論文，現有的方法會遇到一個問題是，被改寫的文字可能發生 embedding 被位移的情況，那還是會影響偵測的效能。

不過其實我也沒看過 embedding-level 的 watermark 論文，剛剛問了一下 ChatGPT，大意就是把句子的 embedding 當作 watermark 訊號，可以想成 sample 的精細度不同，不是逐 token 的。

不過這篇用 AMR 來表示句子，他有辦法表示程式碼或者 JSON 之類的特殊格式嗎？不知道他有沒有考慮到這個問題。以及不同語言的問題，這個我們拭目以待 (TODO: 看完回來回答這邊)

Background

這邊只記錄一些我沒看過的部分

Abstract Meaning Representation (AMR)

AMR 是一種以圖 (Graph) 去表示抽象過後的句子的方式，目的是抽象掉句子的語法 (syntactic) 與詞彙 (lexical) 差異。直接舉例子比較好懂，以下四個句子的組合方式完全不同，但是 AMR 卻是相同的：

The boy desires the girl to believe him.
The boy desires to be believed by the girl.
The boy has a desire to be believed by the girl.
The boy’s desire is for the girl to believe him. 可以想成都是：「boy wants (girl believes boy)」

\begin{align*} 1 \quad & (w \ / \ \text{want-01} \\ 2 \quad & \quad :\text{ARG0} \ (b \ / \ \text{boy}) \\ 3 \quad & \quad :\text{ARG1} \ (b2 \ / \ \text{believe-01} \\ 4 \quad & \qquad\qquad :\text{ARG0} \ (g \ / \ \text{girl}) \\ 5 \quad & \qquad\qquad :\text{ARG1} \ b)) \end{align*}

AMR 表示如 figure 1 所示，這邊 node 表示各種 concepts，edges 則是語意關聯：

Text Watermarking

文字浮水印主要可以根據粒度 (granularity) 的不同，分成以下三類

token-level：在 decoding 過程對 sampling distribution 施加輕微的 bias，把統計訊號嵌入進去。傳統的 KGW 和更進階的 SynthID-Text 都屬於這類。這種方法對 paraphrasing 和字面上的文字修改沒轍。
sentence-level：為了提高抗改寫能力，把 watermark 訊號 encode 在語意空間，類似的方法有 SemStamp 和 k-SemStamp (之後一定要找來看一下)。
paragraph-level：大概又可以分成兩種「在 paragraph level 嵌入浮水印」以及「在文字生成後，以 black-box 的方式注入浮水印 (post-hoc)」。像 PostMark 就是其中之一，他會先對段落的語意進行 encoding，然後從一個 embedding table 選出特定的 watermark words，再讓一個 instruction-following LLM 編入原本的文字中。這樣的方式就屬於黑箱的，因為不需要取得 Target Model 的權重甚至是 sampling algorithm

至於這篇的 SWAN 呢？作者說不同於上述三種，他直接將 watermark 嵌入句子的語意結構中。

Overview of the Framework

AMR Bank Creation

作者用 MASSIVE-AMR 資料集，有大約 84000 個 AMR graph 涵蓋 1685 種資料查詢型語句

然後把原始 AMR 抽象成 template AMR，像是把名詞替換成通用的 placeholder，像是 Alice 可能會被變成 NE (Name Entity)。之所以要用 template AMRs 有兩個優點

Generality：少量的 template AMR 就可以對應到大量不同的句子
Robustness：透過替換掉實體的名稱，可以降低詞彙修改破壞浮水印的可能性

那他們怎麼選的呢？為了建立 AMR bank，作者把 MASSIVE-AMR 走訪完畢，只保留符合以下兩種條件的 AMR graph：

頻率出現在 3 ~ 20 次 (排除太特別的和太制式化的)
必須至少出現 3 個 concept nodes (不希望 AMR 太簡單)

這邊的 Secret Bank $\mathcal{B}$ 就等同於這個 watermark 的 Key 的概念，會在 Injection 以及 Detection 的時候用到。

Watermark Injection

要生成一句話之前，會從 AMR bank 抽出一個 template $$g$$ ，然後提供 LLM 兩個輸入：

先前已生成句子累積的 Context，用來維持 discourse coherence。
template $$g$$ 。

然後指示 LLM 生成符合該 template 語意結構的文字，整個 Prompt 長這樣 (from appendix A.1)

AMR (Abstract Meaning Representation) is a graph-based representation of a sentence's meaning. Each node is a concept and edges represent semantic roles or relationships.
Below are some examples of template AMRs and corresponding sentences:
{example_text}

In the provided AMR, there are placeholders:
- "NE" for named entities (e.g., "Alice", "France", "Google").
- "N" for generic nouns (e.g., "a device", "an object").
- "X" for unspecified concepts (e.g., "something", "an idea").

Instructions:
- Do not write "NE", "N", or "X" literally. Instead, replace them with appropriate English words to form a natural, meaningful sentence.
- Ensure the generated sentence aligns with both the AMR structure and the given context.
- Do not produce multiple sentences or lists.
- Produce exactly one coherent sentence.

AMR:
{chosen_template}
Context: {context}
Please output only that one sentence.

然後這個 LLM 產生的輸出，會經過一個 AMR Parser 解析回一個 AMR Graph $\hat{g}$ 。對每一個生成出的 graph $\hat{g}$ 我們都會計算 S2MATCH： $S2MATCH(\hat{g},g)$ ，即它與 AMR template $$g$$ 的相似度。這邊作者描述 S2MATCH 是一個 lightweight metric，會參考 node-level 和 edge-level 的 F1 score，然後輸出 0 ~ 1 的數值。也就是說只有在 $S2MATCH(\hat{g},g)>\theta_{accept}$ 這句話才會被接受，否則就重新生成一次。

又因為受到 context 影響，LLM 的輸出不會每次都這麼剛好符合 template，所以他會設定一個小的 resampling 次數上限，如果到達上限還沒成功就放棄目前的 template 從 bank 再選一個出來生成。(Adaptive Target Switching)

完整的 Algorithm 可以參考下圖：

Watermark Detection

SWAN 透過三個步驟來偵測一段文字

使用現成的 AMR Parser 將句子的每一句話轉成 AMR Graph
對某一句子 parse 得到的 $\hat{g}$ ，它會把 secret bank 的所有 templates 進行比較 (S2MATCH)，然後取最大值。如果最高相似度超過閾值，那就將它標記為 green sentence。
一個 paragraph 可能有 n 句，所以還需要 one-proportion z-test 來檢定。若有 k 句被標記為 green sentence，計算 $z = \frac{k-\lambda n}{\sqrt{n \lambda (1- \lambda)}}$ ，其中 $\lambda$ 是 expected hit-rate。

這邊虛無假設 $$H_0$$ 為「這段文字是在不知道 secret bank 的情況寫出來的」

以下是 Paragraph-Level 的 detection 演算法

Experiments

實驗沿用 SemStamp baseline 的設定，在 C4 corpus 的 REALNEWS subset，這是一個 Google 開源的新聞索引資料集，專業撰寫的新聞文章組成。取 subset 的前 250 個句子作為 evaluation set。

然後是 AMR bank 的大小，要小心設定，因為這個在 injection 和 detection 都會用到，尤其是 detection 要掃過所有 template。這邊他們設定 $|\mathcal{B}| = 50$ 。

所有的 watermark injection model 都使用 DeepSeek-R1-Distill-Qwen-14B，演算法的次數是最多嘗試 $$M=5$$ 次，每一句最多換 $$T=10$$ 個不同的 AMR template。相較之下 SemStamp 每一句最多是 100 次嘗試，這邊只有 50 次。

偵測的部分，用 parse_xfm_bar_large，這是一個模型，接著才做 S2MATCH。

改寫攻擊 (paraphrasing) 的部分，用 Pegasus (專門用來改寫)、Parrot (T5-based model，表示很會抽換詞)、Claude 3.7 Sonnet 來製造改寫攻擊，文字品質的部分則採用 Claude 3.7 Sonnet 以 Zero-shot 的方式來評估 Coherence、Fluency、Diversity，就是 LLM-as-a-Judge。

評估指標可以分為 watermark 的效果，以及是否影響文字品質兩個。

Detection Result

Table 1 這邊顯示的是在完全沒 rewrite 的情況下，paragraph-level 的偵測結果，結果…也沒有比較好呀？作者還是有硬凹一下的，就是 raw detectability 和其他的差不多，所以也還好啦，至少遠好於 SynthID。

Table 2 則是受到攻擊後的表現，這邊才展現了 SWAN 的優勢，因為這 SWAN 的浮水印訊號是這句話本身的 AMR 結構，即使改寫了也不會差太多。其他純語意的方式就可能受到改寫而偏掉。

Effect of AMR-Bank Size

直覺去想，如果 bank size 大，那就可以涵蓋更多種語意的 pattern，但同樣的這樣 false positive 也可能更高，因為有可能只是 LLM 偶然生成和 secret bank template 相似的 AMR 結構而已。這邊做實驗發現 800 和 50 差不多，所以也不能說 bank 越高 AUC 越高，作者說在設定 size 的時候應該考慮效能比較重要。但老實說我覺得挺沒道理的，為啥會這樣啊？

Text Quality Evaluation

然後是 Claude 對這幾種方法產生的文字去打分數，作者說 SWAN 和其他 watermark 方法其實是品質相當的。作者說在更強的抗改寫能力情況，還能和他們相當，很棒棒喔。

Qualitative Examples

質性分析

SWAN 的 high 那句，雖然被判定 High 但還是有重複的「Vote for … Vote for …」。然而 Low 就更爛了，一堆 John 是怎樣。SemStamp 的 Low 就是看起來有點不自然，k-SemStamp 則是有重複資訊，奇怪的標點。

Sampling Efficiency

如同其他 sentence-level algorithm，SWAN 也依賴 rejection sampling。算了 $250 \times 5 = 1250$ 個 sentence 最後得出平均要 17.7 trials 的結論。相較之下 SemStamp 平均只需要 13.8 次。圖三可以看到完整分佈，42% 的句子會在 10 次嘗試內被接受，54% 的句子在 15 次內被接受。46 ~ 50 的高峰，對應到那些幾乎耗盡 sampling budget 的句子 (就是不可能符合 AMR template 的句子，如果是 Agent 的情況我覺得就是工具呼叫那些輸出)

作者說未來可以做 context-aware template selection 而不是這樣 random 選，或許也可以降低 inference 次數。

Conclusion

We introduced SWAN, a novel semantic watermarking framework that embeds robust, paraphrase-resistant signals into AMR representations. 作者提出 SWAN 一種新的 semantic watermarking framework，可以將訊號嵌入 AMR representation 中。
Empirically, it outperforms token-level and embedding-based watermark baselines in paraphrase robustness, while maintaining strong text fluency and naturalness. 實驗上，SWAN 的抗改寫攻擊是最卓越的

一些限制

AMR Parser 本身會出錯
如何安全管理 Secret Bank？
只有英文新聞有用

我的想法

針對程式碼、JSON 輸出，這類的好像沒有辦法很好涵蓋呀？以及 Agent 的情境更不適合了。還有 inference 次數也是個問題，一次 LLM forward 的成本可以接受但多次就不行了。

在 Related Work 作者有提到早期的語言隱寫術 (linguistic steganography) 也是透過語法樹的方式來隱藏訊息，和 SWAN 的概念很像。我應該也可以好好利用這個東東，感覺 Agentic System 跨檔案之間一定有什麼關聯，是我可以藏資訊用的。

SynthID-Text 論文筆記：Scalable watermarking for identifying large language model outputs

Tue, 22 Sep 2026 11:15:51 +0800

Scalable watermarking for identifying large language model outputs

text SynthID 原始論文
Published online: 23 October 2024 發表在 Nature

免責聲明：這篇是我準備 seminar 報告時整理的個人筆記，主要是幫助自己理解論文，不是嚴謹的論文導讀。內容可能有理解錯誤或不精確的地方，數學推導也是我自己重新推過一遍的版本，如果發現錯誤歡迎在留言區指正。閱讀時建議搭配論文原文一起看。

Introduction

LLM 已經可以合成高品質的文字了，這些文字有時候和人類打得很難分辨。這樣的 AI 垃圾充斥在網路上可能會對整個資訊知識體系造成很大的影響。這個時候如果可以朔源 (Provenance) 就太好了，所以浮水印很重要，我們想要知道這段文字的來源到底是什麼，浮水印就是一個好用的工具。不論是文字還是圖片都一樣。

之所以看 SynthID Image 以及 SynthID Text 是我覺得這兩篇都是 Google 的論文，與其說是論文不如說是一個有學術理論支持的產品，Anthropic 也公告他們的 Model 產生的文字現在都有浮水印加入在裡面(官方說明)。或許我可以在這邊找到一些我的碩論的方法，把浮水印作為一種手段來使用。

SynthID 好用就在於它不會改變 LLM 訓練的流程，只是修改 LLM sample 的過程，道理和 KGW 紅綠 token 應該類似，不過他似乎有做一些增強。為了讓浮水印可以大規模部署，SynthID-Text 採取了可以和 speculative sampling 兼容的策略，speculative sampling 是一種 LLM 推論的加速方法 (預測要出來的 token 的道理)

作者做實驗發現 SynthID 甚至不會降低原本 LLM 的能力，他們進行了線上實驗，分析了將近 2000 萬筆 Gemini 回覆的使用者反饋，看這個浮水印有沒有辦法維持文字品質 (不過 Gemini 最近的風評似乎不太好，我猜他們又在做實驗了哈)

這邊他 introduction 的用詞是「identification and attribution of LLM text is critical to ensure safe and responsible use of the technology」，而不是用 Provenance。

目前要做到這件事有幾種方法

retrieval-based approach：保存所有生成文字的紀錄，把檢測文字與這邊的文字作比對。但是會有隱私疑慮，因為要把所有和 LLM 互動的文字都存起來。
post hoc detection：利用文字本身的統計特徵，或者再額外訓練一個分類器。優勢是不需要保存生成紀錄，缺點是可能要很高的計算成本，且效能不穩定，在 out of domain data 上的表現差 (資料分布外的) 會有高 false positive
text watermarking：在生成的文字內加入一些肉眼無法分辨的標記，又可以分為三種方法
- generative watermarking：在生成的過程中加入浮水印
- edit-based watermarking：在生成出來的文字上加浮水印
- data-driven watermarking：修改 LLM 的訓練資料

Edit-based watermarking 依賴 rule-based 文字轉換，像是同義詞轉換或者插入不可見的 Unicode 字元 (應該就是類似 ascii smuggling 那種方式)

Data-driven 則是在訓練時會有一個 trigger phrase，當 LLM 看到這個 trigger 才會輸出帶有浮水印的內容，類似植入 watermark 後門的感覺

所以這邊 SynthID 使用的是 Generative watermarking，因為這邊有一個條件是 Google 希望在大規模的情框也可以精細操作對文字的影響，維持低計算成本。但作者也說不存在完全可靠的文字偵測方法。

SynthID-text 其實是建立在現有的浮水印元件上的，不過採用了新的 Sampling 方式叫做：Tournament Sampling (競賽式採樣)。SynthID-text 可以設定兩種模式：

non-distortionary：以維持文字品質為目標
distortionary：會破壞文字品質但是更容易偵測出 watermark

Watermarking with SynthID-Text

這邊 x 是一段輸入文字序列，其中包含來自 vocabulary $$V$$ 的 $$t - 1$$ 個 token

x_{<t} = x_1, \dots, x_{t-1},

LLM 會根據 $x_{<t}$ 來計算下一個字的機率分佈

p_{\text{LM}}(\cdot \mid x_{<t}).

以上過程如 figure 1 的上半部所示

這樣的 generative watermark 又可以分成三個元件：

random seed generator
sampling algorithm
scoring function

figure 1 下半部可以看到，在每一個步驟 $$t$$ ，random seed generator 會產生一個隨機種子 $$r_t$$ ，這個種子可能是根據前面出現的文字 + 一個 key 來產生的。然後 sampling algorithm 會根據 $$r_t$$ 以及 $P_{LM}(\cdot | x_{<t})$ 來取樣下一個 token。重點就是這個 sampling algorithm 會讓 $$r_t$$ 和 $$x_t$$ 產生相關性 (correlations)，這樣輸出的文字就是帶有統計訊號的 watermarked text。

然後這邊採用 sliding window 的方式來取得最近 $$H$$ 個 token 並與 key 進行 hash 得到 $$r_t$$ 。figure 2 上半部可以看到，下面式子則是 $$H=4$$ 。不過這邊也不一定要用 sliding window 就是了。到目前為止的 idea 都和 KGW 相同，唯一不同的就是前面提到的 tournament sampling 方法這個等等會提到。

r_t = \text{Hash}(x_{t-4}, x_{t-3}, x_{t-2}, x_{t-1}, k),

SynthID-Text’s Tournament sampling approach

所謂的 Tournament 就是讓候選 token 去競賽，這邊會先定義要用到的 watermark function g 的數量 $$m$$ ，figure 2 上半部的右邊可以看到有 $$m=3$$ 個 function $$g_1$$ $$g_2$$ $$g_3$$ ，彼此是獨立的 pseudorandom number functions (偽隨機函數)。

這個 function g 會給一個 score，公式會像這樣 $g_{l}(x_t, r_t)$ ，在 figure 2 的例子輸出只有 0 或 1。也就是說同一個 token 在不同的 watermark function 可能會得到不同的輸出。function g 出來的分數我接下來都簡稱為 g-score。

在 figure 2 下半部可以看到比賽流程，這邊會先定義 sample 的候選數量 $$m$$ ，從 LLM 的輸出機率中 sample $$M=2^m$$ 個 token 出來，而且同一個 token 可能會被選到多次。像下圖的 $$m$$ 定義為 3，所以會有八個，不過這邊有四組重複的。 $$m=3$$ 意味著會經過 3 輪比賽，每一輪取分數高者獲勝，如果同分就隨機選一個，最後那個 token 就會是 $$x_t$$ 。

前面作者有提到這套方法可以用在拿不到 LLM 權重的情況，我一開始想說這不還是要拿到機率分佈嗎？後來想到 openai-python 套件在呼叫的時候有一個參數 n 可以生成多份獨立的完成結果，不過他也不是逐 token 的，所以…不太確定怎麼用在完全黑箱的情況下。誒等等，我想到這個有沒有機會做呀，不過這就類似 A Watermark for Black-Box Language Models 提到的，會有很大量的推論成本。

不過到這邊也不難發現 SynthID-Text 和 KGW 最大的差異就是在於不需要修改 logits (可以參考下圖我擷取自 KGW 原始論文 algorithm 2 的第四步驟)，KGW 是直接把修改 logits 後的 LLM 輸出當作有浮水印訊號的文字；SynthID 則是去取樣更多文字，然後 g function 數值高的獲勝 (還要贏每一輪)。KGW 這樣改 logits 的方式是很容易影響文字輸出品質的，而 SynthID 則比較不會，這個後面的章節會提到。

Watermark detection

偵測方式非常簡單，就是去計算這段可疑文字的 g-score 即可，因為文字的採樣偏好 g-score 高者，公式如下：

\text{Score}(x) = \frac{1}{mT} \sum_{t=1}^{T} \sum_{\ell=1}^{m} g_\ell(x_t, r_t).

這邊 m 是 g function 的數量，T 是 token 數量，其實就是把每一輪的每一個 token 的分數加總後平均。如果 Score 異常高，那表示這段文字極有可能是含有 SynthID-Text 的輸出。

有兩種會影響浮水印偵測效能的因素，一個是文字的長度，長度越長偵測就越準；另一個因素則是 entropy，就是輸出下一個 token 的確定程度。如果今天 LLM 分部的 entropy 特低，表示模型每一次 sample 幾乎都會拿到一樣的回覆。直覺想一個例子就是我告訴 ChatGPT 給我生成 100 個 a 好了，那他怎麼可能給我生成 b，這 100 個 a 要怎麼去加浮水印？反之，如果要他生成一篇小說，那可能性就非常多樣且長度也很長。這和其他浮水印方法遇到的問題可以說是一模一樣。

作者提到，LLM 分佈的 entropy 大小有很多因素會影響，越大的模型對自己的輸出就越有自信所以 entropy 會越低，如果有經過 RLHF 也可能降低 entropy，此現象又稱為 mode collapse (在 GAN model 常常用到的詞)，還有前面我提的例子的 prompt 也是、temparature 也是，還有很多。

如果增加 Tournament layer m 的數量，可以讓每一個 token 提供更多 watermark evidence，同時降低 Score 公式的變異數。不過偵測的能力也不會隨著 layer 提升而無限增加 (直覺理解就是你後面的 layer 能選的多樣性也不多了，已經被前面選過多次了)

本篇論文測試的 $$m$$ 如果沒有特別講都設定成 $$30$$ 。

Preserving the quality of generative text

這邊要提到一個詞叫「non-distortionary」，在過去的文獻這個詞有點混淆了，作者把所謂讓文字失真這件事定義成幾種不同的程度，從最弱到最強去分。其中最弱的就是 single-token non-distortionary。定義是當我們對 random seed $$r_t$$ 取平均時，由 watermark sampling algorithm 採樣的分佈，要等於從 $P_{LM}(\cdot|x_{<t})$ 取樣的分佈。

我一開始有點看不懂但我仔細想想他要怎麼驗證這件事就通了，其實就是去產生各種不同的 $$r_t$$ 然後把經由這些 $$r_t$$ 的 sampling algorithm 產生的文字去取平均就知道了。

更強的 non-distortionary 定義就會擴展到更長的 token 而不是 single-token 而已，可能是整個序列之類的。就是從 $$P(x_t)$$ 到要求 $$P(x_1, x_2, ..., x_t)$$ 都要保證和 LLM 的分佈相同。(這點其實就是 A Watermark for Black-Box Language Models 提到的 distortion-free 的概念)

至於 SynthID-Text 為什麼可以做到 single-token non-distortionary，在 Supplementary Information Section G.1 有證明，當競賽的候選只有兩個的情況，那就有 single-token non-distortionary 的性質。如果大於兩個那就不可能會 non-distortionary。

大於 2 不可能 non-distortionary 的證明如下：

假設 LLM 在只有兩個 token 的 vocabulary $V=\{a,b\}$ 中抽樣 $$N$$ 次， $$a$$ 產生的機率為 $$p$$ ， $$b$$ 產生的機率為 $$1-p$$ 。在 $$N$$ 次抽樣中， $$a$$ 出現的次數 $$i$$ 符合二項式分佈 $$Binomial(N,p)$$ 。我們要算的是 $$a$$ 最後被選為 $$x_t$$ 的機率 $p_{wm}(a)$ ，對 $$r$$ 取期望後希望它等於 $$p$$ 。

考慮三種情況

a 被選中 0 次，也就是 $(1-p)^N \times 0=0$ 。
a 被選中 N 次，也就是 $p^N\times 1=p^N$ 。
a 和 b 都有被選中，就是後面這個二項式分佈的式子，後面就是 g function 的數值，如果平手的話就直接是 $\frac{i}{N}$ 因為隨機挑。

對 r 取期望值，因為 $$p^N$$ 和二項式分佈那坨都和 r 沒關係所以可以取出來，等於說是取後面這項的期望值。這邊 $C_{f_g}$ 是 Collision probability (碰撞機率或者說平手機率) 的意思，利用指示函數 (Indicator function) 對指示函數取期望值，結果正好等於該事件發生的機率，而 $\frac{1-C_{f_g}}{2}$ 就是這樣來的，1 扣掉 $C_{f_g}$ 後剩下的就是 $$P(g_1(a) > g_1(b))+P(g_1(a) < g_1(b))$$ 的機率，而雜湊函數的設計就是讓他是公平的，所以這邊可以直接除以二。

\begin{aligned} \mathbb{E}_r \left[ p_{\mathrm{wm}}(a \mid p_{\mathrm{LM}}, r, f_g, N, 1) \right] &= \mathbb{E}_r \left[ p^N + \sum_{i=1}^{N-1} \binom{N}{i} p^i (1-p)^{N-i} \left[ \mathbb{1}_{g_1(a, r) > g_1(b, r)} + \mathbb{1}_{g_1(a, r) = g_1(b, r)} \frac{i}{N} \right] \right] \\ &= p^N + \sum_{i=1}^{N-1} \binom{N}{i} p^i (1-p)^{N-i} \left[ \frac{1 - C_{f_g}}{2} + C_{f_g} \frac{i}{N} \right] \end{aligned}

這個期望值的式子展開後會長得像 $c_0\cdot p^0 + c_1\cdot p^1 + ...c_N \cdot p^N$ ，而這個東東要恆等 (Identically Equal，在所有可能的變數取值下都成立) 於 $$p$$ (就是 $1\cdot p^1$ )，才符合 non-distortionary 的期待。也就是說要成立的話，因為 Polynomial Identity Theorem (多項式恆等定理) 的關係， $$c_1$$ 必須為 1，其他係數都要是 0。只要找出其他係數非 0 那就矛盾

$$p^2$$ 係數的展開與計算，這邊 $$N>2$$ 且 $C_{f_g} \neq 1$ 所以會是非 0，矛盾了。

\begin{aligned} &\sum_{i=1}^{2} \binom{N}{i} \binom{N-i}{2-i} (-1)^{2-i} \left[ \frac{1 - C_{f_g}}{2} + C_{f_g} \frac{i}{N} \right] \\ &= - N(N-1) \left[ \frac{1 - C_{f_g}}{2} + C_{f_g} \frac{1}{N} \right] + \frac{N(N-1)}{2} \left[ \frac{1 - C_{f_g}}{2} + C_{f_g} \frac{2}{N} \right] \\ &= \frac{N(N-1)}{4} \left[ C_{f_g} - 1 \right] \end{aligned}

當一層是兩個樣本去競賽時必定 non-distortionary 的證明如下：

這個是 single layer ( $$m=1$$ ) $p_{wm}$ 的定義，分子是「在 $$N$$ 次抽樣中，每一個樣本的分數都小於或等於 $$x_t$$ 的機率」減去「在 $$N$$ 次抽樣中，每一個樣本的分數都嚴格小於 $$x_t$$ 的機率（代表最高分比 $$x_t$$ 還低）。」，兩者相減就是最高分數正好等於 $$g_1(x_t, r)$$ 的機率。分母則是所有和 $$x_t$$ 同 g-value 的 token 的機率總和 (包含 $$x_t$$ 自己)。

p_{wm}(x_t \mid p, r, f_g, N, 1) = \begin{cases} p(x_t) \left( \frac{p(V \le g_1(x_t, r))^N - p(V < g_1(x_t, r))^N}{p(V = g_1(x_t, r))} \right) & \text{if } p(x_t) \neq 0 \\ 0 & \text{if } p(x_t) = 0. \end{cases}

也可以想成下式：

p_{\mathrm{wm}}(x_t) = \underbrace{\left[ p\left(V^{\le g_1(x_t,r)}\right)^N - p\left(V^{< g_1(x_t,r)}\right)^N \right]}_{\text{最高分恰好等於 } g_1(x_t, r) \text{ 的機率}} \times \underbrace{\frac{p(x_t)}{p\left(V^{= g_1(x_t,r)}\right)}}_{\text{在平手群體中，} x_t \text{ 贏得選取的機率}}

將 $$N=2$$ 帶入後可以寫成以下，就是按照原始 LLM 的機率分佈去乘以「Vocabulary 中分數和 $$x_t$$ 剛好相同的機率」+「Vocabulary 中分數大於或小於的機率」，這邊之所以可以直接 $2p(V^{g_1(x_t,r)})$ ，這個 2 倍純粹來自代數： $\le$ 可以拆成 $$<$$ 和 $$=$$ ，所以 $A+B = (B + p(V^{=})) + B$ 會多出一倍的 $p(V^{<g_1(x_t,r)})$ ，這一步還沒用到雜湊函數的性質。機率可以變成指示函數的加總所以有了最後的式子。

平方差公式：

$$ A^2 - B^2 = (A - B)(A + B) $$

然後 “ $\le$ ” 可以拆成 “ $$<$$ ” 和 “ $$=$$ ”, $A = B + p\left(V^{= g_1(x_t, r)}\right)$ ：

A - B = p\left(V^{= g_1(x_t, r)}\right), \quad A + B = p\left(V^{= g_1(x_t, r)}\right) + 2p\left(V^{< g_1(x_t, r)}\right)

帶回去消掉：

p_{\text{wm}}(x_t) = \underbrace{(A - B)}_{p\left(V^{= g_1}\right)} (A + B) \times \frac{p(x_t)}{\underbrace{p\left(V^{= g_1(x_t, r)}\right)}_{\text{cancels}}} = p(x_t) \left[ p\left(V^{= g_1}\right) + 2p\left(V^{< g_1}\right) \right]

機率就可以寫成，並還原為 indicator function 的加總：

\begin{aligned} p_{\mathrm{wm}}(x_t \mid p, r, f_g, 2, 1) &= p(x_t) \left( p(V^{= g_1(x_t, r)}) + 2 p(V^{< g_1(x_t, r)}) \right) \quad \\ &= p(x_t) \left( \sum_{x \in V} p(x) \left[ \mathbb{1}_{g_1(x, r) = g_1(x_t, r)} + 2 \mathbb{1}_{g_1(x, r) < g_1(x_t, r)} \right] \right) \quad \end{aligned}

然後我們要對 r 取期望值 $\mathbb{E}_r[p_{wm}]$ ，也就只要算下面這個，可以發現這邊有用到雜湊函數的性質，也就是把 $2\mathbb{E}[\mathbb{1}_<]$ 拆成 $\mathbb{E}[\mathbb{1}_<] + \mathbb{E}[\mathbb{1}_>]$ ：

\begin{aligned} &\mathbb{E}_r \left[ \mathbb{1}_{g_1(x, r) = g_1(x_t, r)} \right] + 2 \mathbb{E}_r \left[ \mathbb{1}_{g_1(x, r) < g_1(x_t, r)} \right] \\ &= \mathbb{E}_r \left[ \mathbb{1}_{g_1(x, r) = g_1(x_t, r)} \right] + \mathbb{E}_r \left[ \mathbb{1}_{g_1(x, r) < g_1(x_t, r)} \right] + \mathbb{E}_r \left[ \mathbb{1}_{g_1(x, r) > g_1(x_t, r)} \right] \quad \text{(by Methods Def 4)} \\ &= \mathbb{E}_r \left[ \mathbb{1}_{g_1(x, r) = g_1(x_t, r)} + \mathbb{1}_{g_1(x, r) < g_1(x_t, r)} + \mathbb{1}_{g_1(x, r) > g_1(x_t, r)} \right] \\ &= \mathbb{E}_r [1] \\ &= 1. \end{aligned}

帶回去，得到了。(multi-layer 也有證明出一樣的結果)

\begin{aligned} \mathbb{E}_r \left[ p_{\mathrm{wm}}(x_t \mid p, r, f_g, 2, 1) \right] &= p(x_t) \left( \sum_{x \in V} p(x) \right) \\ &= p(x_t). \end{aligned}

然後 Section G.2 又有詳細描述透過 repeated context masking 的方式來達到 non-distortionary for one or more sequences 性質的證明。就是去避免同一個 context 再次出現時，又套用相同的 watermark bias。這個就留給大家自己去看吧，反正我是相信他了，絕對不是懶得看了。

這篇文章的 Supplementary Information 根本在寫課本了，從基本的開始講，蠻值得一看，但我有點累了。

Ensuring computational scalability

因為只要在 sampling layer 做一些改動，所以不會重新執行 LLM 本身，因此附帶的計算成本可以忽略。且這些候選 token 的 g-value 可以平行運算，很適合 vectorization。

要注意一點就是 production system 通常不是一般的 autoregressive loop，像是 production 可能會利用 speculative sampling 的方式，就是一種利用一個更小更快的 model 去預測 token 讓 LLM 可以更快運算的方法。target LLM 會再去檢查這些預測的 Token，就不用 Target LLM 每次都要浪費時間 forward，多出來的這些預測 token 可以平行運算。

以下是 speculative sampling 的演算法，這邊 q 是 target LLM，p 是小模型

4 ~ 6 行，先讓小模型 draft K 個候選 token
7 行，大模型把這 K 個 token 一起輸入，就可以平行運算 logits
8 ~ 15 行，檢查的步驟，對每一個 drafted token $\tilde{x_t}$ 抽取隨機均勻數 $r \sim U[0,1]$ ，如果 $r < min(1, \frac{q(\tilde{x_t})}{p(\tilde{x_t})})$ 就把小模型 q 的 token 納入最後結果。如果不符合就立刻中斷本輪驗證，然後從殘差分佈中重新抽樣正確的 token 替換

這邊值得注意的是 reject 的情況，就是要避免被拒絕的那個 token 變高，所以才要用這個式子，把兩個機率分佈相減。還有他們比較的方式，是用 target model 機率除以小 LLM 機率，越接近 1 甚至 > 1 就越有可能被接受，所以就是比較大模型和小模型對這個 token 的認同度的概念。然這邊也利用了 Uniform，因為小魔型的機率乘以這個 accept rate 的機率剛好就會是 target LLM 的機率，這麼做才不會讓 sampling 的分佈和 target LLM 不同，才不會影響生成品質，這樣才公平。

這邊右下角的 + 符號表示「Positive Part Operator / Rectified Unit」，效果就和 ReLU + L1 normalization 相同

在這之前還沒有人討論過怎麼把 generative watermarking 與 speculative sampling 結合，這是他的貢獻之一。這邊作者提出了兩種 generative watermarking scheme with speculative sampling 演算法，在 supplementary Information Section I.4：

high-detectability watermarked speculative sampling

目標是維持 watermark 的可偵測性，可能會降低 speculative sampling 的效率但是不會犧牲浮水印的訊號。這邊演算法 (algorithm5) 就不特別說明了，和 speculative sampling 的方法一樣，只是 target LLM 的機率分佈換成 watermark sampling function 的機率分佈而已。不過會增加成本，因為演算法要求直接算出 $p_{wm}$ 以及 $q_{wm}$ 的分佈。主要是慢在 reject 的機率高，被 reject 後還要算整個 Vocabulary 的 watermark 分佈。

fast watermarked speculative sampling

可以維持 speculative sampling 的效率，但是可偵測性可能下降。針對這個 approach 作者提出了 learned bayesian scoring function，讓偵測端更有效。

以下演算法可以看到，他不需要算出 $p_{wm}$ $q_{wm}$ 之類的機率，只要能夠 sample 就好。然後還有雙金鑰的機制，Draft key $$k^D$$ 是小模型用的，Target Key $$k^T$$ 是大模型用的。

4 ~ 6 行，一樣讓小模型產生 K 的 draft token，產生這些 token 時小模型用的是 $$k^D$$ 。
然後大模型開始跑平行運算，算出這 K 個位置未加浮水印的分佈
然後用跟前面提到一樣的方式去檢查 draft token
1. 有通過的話，那就是 accept，不過注意這個 token 保留的是小模型的 key 的 watermark
2. 沒通過的話，這時候大模型會用 $$k^T$$ 從分佈抽一個 token 補上，然後中斷這回合

之所以可以說他是 fast 是因為 algorithm 5 的 10 行比值是 $\frac{q_{wm}(\tilde{x_t})}{p_{wm}(\tilde{x_t})}$ 也就是說系統要把這幾萬個 token 都丟回 watermark sampling function 算一遍，但是 algorithm 6 第十行只要算 $\frac{q(\tilde{x_t})}{p(\tilde{x_t})}$ 就可以了。和完全沒有浮水印的原始 speculative sampling 一樣快。之所以要用 two key 也是考慮到機率獨立性的問題 ( $$k^D$$ 和 $$k^T$$ 互相獨立抽樣)，這樣可以提升 target model 接受 draft model 的 token 機率，因為理論上 p 和 q 會很像，two key 等於說消除了 watermark 的干擾。

Evaluation

作者做了很多實驗，這邊只挑有趣的講。

作者比較對象分為兩種，non-distortionary 和 distortionary，前者選擇當時最佳的 Gumbel sampling 後者則選擇 Soft Red List。為了公平比較 (like-for-like comparison)，作者把焦點放在 sampling algorithm 上，其他部分都維持相同 (像是 random seed generator、scoring 之類的)，對所有 baseline 作者使用相同的 sliding window random seed generator，以及相同的 repeated context masking。

希望驗證 quality (不能影響文字品質) 和 scalability (不能 cost 太高)

SynthID-Text preserves quality including in a large-scale- production system

在 gemini 還叫做 bard 的時候，他們就做了線上的測試，把 user query 一半丟給 watermarked sampling 一半丟給沒有 watermark 的，讓使用者透過 UI 上的 👍 和 👎 來評分。結果就是 thumbs-up rate 說差 0.01 (thumbs-down 則是差 0.02)，而且有 2000 萬筆喔，等於說幾乎沒差的意思，至少人類感覺不出來。

為了提供其他人可以 reproduce 的實驗，作者用 Gemma 7B-IT (IT -> instruction-tuned) 對 300 個 ELI5 (explain like im five 取名來自知名的 Reddit 論壇，有很多複雜且開放式的大哉問) 問題來回答，然後一樣讓人類評分，以 side-by-side comparison 的方式 (應該就是 LM-SYS 那種)，對以下面向進行評分

grammaticality / coherence：文法與連貫性
relevance：相關性
correctness：正確性
helpfulness：實用性／幫助程度
overall quality：整體品質

果就是沒有統計上的差異，可以看到 Extended Data Table 1

然後他還有做 perplexity 和 automated benchmark performance，結論就是 non-distortionary SynthID-Text 與 unwatermarked model 都沒有顯著差異。

SynthID-Text provides better detectability than existing watermarks

model:

Gemma 2B-IT
Gemma 7B-IT
Mistral 7B-IT 實驗採用 ELI5 資料集，都是一些需要具有解釋性的多句回答，我在想他們的目的是這樣的 prompt 會使輸出 entropy 高的意思。在 figure 3a 是 non-distortionary 的類別，可以看到 SynthID-Text 確實比 Gumbel sampling 的效果好，且可以看到 token 越長確實 TPR 就越高。注意這邊的縱軸是 $TPR\ @\ FPR = 1\%$ 也就是在 FPR 最多只能 1% 的情條件下，模型的 TPR 是多少 (可以想成 score 的門檻)。

如果是在需要非常低 FPR 的場景，可以用 selective prediction mechanism 的方式，就是對那些 scoring function 沒有信心的 sample 直接不做判斷 (abstention)。系統會設定兩個分數門檻

高門檻 $\tau_{positive}$ ：根據 unwatermarked text 算出來，高於這個門檻才敢判斷為有 watermark (控制 FPR)
低門檻 $\tau_{negative}$ ：根據 watermarked text 算出來，低於這個門檻才敢判斷為無 watermark (控制 FNR) 如果 $\tau_{positive} < \tau_{negative}$ 表示目前長度的檢測能力非常好，完全不需要棄權就可以完成要求。

figure 3b 就是在描述採用 selective prediction mechanism 的情況，縱軸是放棄率，可以看到 token 越多，detector 越不會放棄。

figure 3c，低 perplexity 和高 TPR 的搭配在左上角，越靠近左上角越好。可以看到 SynthID-Text 與 Soft Red list 的方法相比，模型困惑度更低，表示句子的品質犧牲較少。

Extended data fig 4，這邊用的是一個叫 Self-BLUE 的指標，用來衡量文字的多樣性，數值越低表示 diversity 越高。可以看到 SynthID-Text 也是比 Gumbel sampling 的多樣性更高

SynthID-Text has minimal computational impact

作者指出，Tournament sampling 花費的時間確實可能比 Gumbel 和 Soft Red List sampling 還要久，但是這些時間都還是遠小於 LLM 本身推論的時間，所以對系統整體的影響相較是比較小的。

這邊作者做了一個實驗是當 Gemma 7B-IT 使用 4 個 v5e TPU 時，原始文字生成速度為 15.527 ms / token，加入 30-layer tournament sampling 後，時間來到 15.615 ms / token。latency 只多了 0.57%。作為比較，Gumbel 增加的 latency 為 0.26%，Soft Red List 則增加 0.28%。可以看到根本就沒什麼差。

Discussion

Contribution

以下是我整理的 Contribution

We have introduced SynthID-Text, a method for watermarking LLM text.
SynthID-Text uses certain elements introduced in previous work, but differs in the use of the sampling algorithm, Tournament sampling, which we find provides superior detectability compared with existing methods. 採用了過去研究的部分元素，但多了一個創新 sampling 方法：tournament sampling，這樣的方法優於現有方法的檢測能力。
SynthID-Text comes with rigorous and customizable non-distortion properties that can be configured to guarantee text quality preservation. SynthID-Text 具有可以客製化的 non-distortionary 特性 (兩個面向，一個是 tournament 每一場有幾個 competitors，如果剛好只有兩個那就是 single-token non-distortionary；另一個面向是 repeated context masking 的 K 值)，可以確保文字品質不受影響
We have also proposed an algorithm to combine generative watermarking with speculative sampling. 提出 generative watermarking 與 speculative sampling 結合的演算法

Limitations

這種 generative watermark 的優點是跨語言穩定性高，且比 post hoc detector 還要好 (因為不會有遇到沒看過的資料的問題)。比較顯著的限制：

需要服務提供商配合，如果不配合的話，那可能要搭配 post hoc detector 來檢驗。也就是說 SynthID-Text 也不是萬能解。
開源模型通常是去中心化的方式部署，官方無法強制每一個人都帶有浮水印的機制去推論
浮水印還是可能被竊取 (stealing，透過觀察大量 watermarked output 去推出 watermark 規則)、偽造 (Spoofing)、抹掉 (Scrubbing)
改寫攻擊 (LLM paraphrasing)：用其他 LLM 來改寫具有浮水印的文字，其實很容易就把 watermark 訊號移除了。

啊我還有想到一個，對我們這樣的 LLM 應用開發者來說，其實我們也拿不到 sampling 的東東，應該說我們也沒辦法對 sampling 的過程做到如 SynthID-Text 這麼細節的操作。所以黑箱 API 的浮水印也是一個值得挑戰的問題。

Conclusion

這篇論文為 SynthID-Text 提供了證據證明 SynthID-Text 在真實世界是有可行性的，據他們所知，這是第一個大規模部署的 Generative text watermark。(但應該也只有 Google 可以做到這種程度XD)