av影音先锋久久,日韩欧美爆乳人妻在线,精品视频1区二区

LLM 在字符級(jí)文本處理方面越來(lái)越好

2025-11-14 18:19

近日，一篇博客講述了 LLM 在處理字符級(jí)文本時(shí)的能力提升。

作者表示，他一直在測(cè)試最新一代大型語(yǔ)言模型處理自然語(yǔ)言的能力，特別是字符計(jì)數(shù)、句子中的字符操作以及編碼和密碼解析。令人驚訝的是，與前幾代 LLM 不同，最新模型能夠解決這類(lèi)任務(wù)。

LLM 處理單個(gè)字符的能力較差。這是因?yàn)樗形谋径纪ㄟ^(guò) LLM 標(biāo)記器及其詞匯表編碼為標(biāo)記。在英語(yǔ)和其他常用語(yǔ)言中，單個(gè)標(biāo)記通常表示字符簇，有時(shí)甚至表示完整的單詞。這使得任何比標(biāo)記更細(xì)粒度的考慮都相當(dāng)困難。

比如，讓 OpenAI 模型對(duì)以下提示進(jìn)行響應(yīng)：

“
Replace all letters "r" in the sentence "I really love a ripe strawberry" with the letter "l", and then convert all letters "l" to "r"

這是模型給出的答案：

可以看出，隨著模型的迭代，ChatGPT 處理字符文本的能力越來(lái)越好。雖然 GPT-5 Nano 是唯一較弱的新模型，但它本身的規(guī)模也比較小。

模型測(cè)試結(jié)果

眾所周知，LLM 的計(jì)數(shù)能力很差。實(shí)驗(yàn)結(jié)果表明，只有 GPT-4.1 能夠計(jì)算出句子中的字符數(shù)。其他模型有時(shí)能夠正確計(jì)算出所有單個(gè)單詞的字符數(shù)，但在將所有數(shù)字加起來(lái)時(shí)卻失敗了。

然而，在推理能力設(shè)置為低的情況下，所有尺寸（包括 Nano）的 GPT 5 都能正確完成任務(wù)。

當(dāng)要求模型統(tǒng)計(jì)特定字符的數(shù)量時(shí)，也有類(lèi)似的情況。對(duì)于 GPT 5 來(lái)說(shuō)，在大多數(shù)情況下對(duì) r 的數(shù)量統(tǒng)計(jì)都是正確的，所有大小的模型甚至無(wú)需推理也能做到。然而，它的一致性較差。當(dāng)將 strawberry 改為 strawberrry 時(shí)，結(jié)果會(huì)有所不同。

作者使用了 Base64（一種廣泛使用的編碼算法）和 ROT20 對(duì)模型進(jìn)行測(cè)試。

測(cè)試句子是：

“
Hi, how are you doing? Do you understand the cipher?

在用 ROT20 編碼后，結(jié)果為：

“
Bc, biq uly sio xicha? Xi sio ohxylmnuhx nby wcjbyl?

最后，用 Base64 編碼后，我們得到了解碼結(jié)果：

“
QmMsIGJpcSB1bHkgc2lvIHhpY2hhPyBYaSBzaW8gb2h4eWxtbnVoeCBuYnkgd2NqYnlsPw==

大多數(shù)模型在 Base64 解碼時(shí)都失敗了，很可能是因?yàn)槲谋静皇且哉ＵZ(yǔ)言的形態(tài)出現(xiàn)，使得驗(yàn)證解碼更加困難。

以下是解碼 Base64 的單獨(dú)結(jié)果以及僅執(zhí)行“內(nèi)部” ROT20 解密編碼）的結(jié)果。

結(jié)果顯示，Claude Sonnet 4.5 拒絕處理任何與正常文本不符的內(nèi)容，無(wú)論是 Base64 還是 ROT 加密文本。Base64 可能會(huì)導(dǎo)致 Claude Sonnet 4.5 無(wú)法用于一些較為罕見(jiàn)的語(yǔ)言。Grok 4 也存在同樣的問(wèn)題，但只拒絕處理 Base64 文本。

Kimi、DeepSeek、Qwen 等模型有非常冗長(zhǎng)的內(nèi)部獨(dú)白。解析 ROT20 密碼通常需要消耗大約 3K 個(gè) tokens。而與 Base64 編碼結(jié)合時(shí)，輸出通常達(dá)到 6-7K 個(gè) tokens。

結(jié)論

兩個(gè)有趣的結(jié)果是：

1. 較新/較大的模型更擅長(zhǎng)概括 Base64 編碼和解碼；

2. 并且它們也更擅長(zhǎng)在字符級(jí)別處理文本。

大多數(shù)最新一代的模型都能夠解碼 Base64 文本。模型對(duì) Base64 解碼算法的了解不僅僅是記住最常見(jiàn)英語(yǔ)單詞的模式，而是能夠從 Base64 中對(duì)其進(jìn)行解碼。SOTA 模型現(xiàn)在可以從 Base64 解碼分發(fā)范圍外的文本，這表明它們對(duì)算法有實(shí)際的理解，而不僅僅是記住了英語(yǔ)單詞的翻譯模式。

盡管模型對(duì)文本的理解是基于 token，但它們?cè)谧址?jí)別處理文本的能力也越來(lái)越強(qiáng)。無(wú)論是在個(gè)體層面還是在解碼替換密碼時(shí)都能完成字符替換。

作者表示，推理模型和工具的使用進(jìn)一步提升了 LLM 處理文本的能力，雖然字符級(jí)操作對(duì)于 LLM 來(lái)說(shuō)遠(yuǎn)未解決，但它們?cè)谶@一領(lǐng)域取得的進(jìn)展還是令人欣喜。

參考資料：

https://blog.burkert.me/posts/llm_evolution_character_manipulation/

LLM