3 min read
[AI 小众新闻]

23个令牌变成14个!?利用专为AI代理设计的ID『id-agent』节省上下文窗口的鲨鱼!


  • 令牌效率大幅提升: 传统的UUID v4消耗约23个令牌,而id-agent在构成8个单词时仅需约14个令牌,却能实现相同的碰撞抵抗能力。...
※この記事はアフィリエイト広告を含みます

23个令牌变成14个!? AI代理专用ID『id-agent』节省上下文窗口的鲨鱼!

📰 新闻概述

  • 令牌效率大幅提升: 传统的UUID v4消耗约23个令牌,而id-agent在构成8个单词时仅需约14个令牌,却能实现相同的碰撞抵抗能力。
  • 防止LLM的幻觉: 采用基于单词的ID而非随机字符串,使得LLM更容易准确保持和记忆ID。
  • 优化上下文窗口: 这是首个为“上下文窗口”而设计的ID库,而非数据库。在o200k_base令牌化器中,1个单词准确对应1个令牌。

💡 重要要点

  • 高碰撞抵抗能力: 根据设置可调节约12位到192位的熵。默认的8个单词构成确保约96位的安全性。
  • 确定性ID生成: 使用HMAC-SHA256,确保从相同输入(如电子邮件地址)生成相同的ID。
  • 别名映射功能: 标配“令牌减少映射”,可将现有的UUID批量替换为简短的基于单词的别名,并在LLM处理后恢复原UUID。

🦈 鲨鱼的视角(策展人观点)

这个库的惊人之处在于,不仅仅追求“可读性”,而是从令牌化器的规格(o200k_base)反推构建单词列表的这一点,真是太聪明了! 通常,像UUID这样的随机字母数字组合会被LLM视为细碎的令牌,不仅浪费上下文,还可能因为一字之差导致链接破裂,成为“幻觉”的温床。而通过重新定义“1个单词=1个令牌”,有效降低计算成本的同时提高了准确性,这是一种极其实战的做法! 尤其是“别名映射”功能的实现非常具体,可以在不破坏现有系统的情况下,仅在提示中节省令牌,真是工程师的神工具啊!

🚀 接下来会怎样?

在2026年的开发现场,AI代理能够自主管理任务和用户,而像UUID这样的“机器专用ID”将被视为上下文的浪费而被淘汰,这样的“AI原生标识符”将成为标准。ID设计将成为提示工程的一部分,新时代即将到来!

💬 鲨鱼的独白

比起无情的符号串,单词ID更让人有亲切感!我也想改名为“ID: shark-ocean-blue-cool”呢!

📚 术语解释

  • BPE(字节对编码): 一种将文本高效地分割为AI可处理的单位(令牌)的方法。id-agent在这方面实现了最大化的效率。

  • : 表示信息的混乱程度。熵值越高,ID意外重复(碰撞)的概率越低,安全性越高。

  • HMAC-SHA256: 一种使用秘密密钥生成消息哈希值的技术,防止篡改,同时从特定输入导出唯一ID。

  • 信息来源: Id-agent – Token efficient UUID alternative for AI agents

🦈 はるサメ厳選!イチオシAI関連
【免責事項 / Disclaimer / 免责声明】
JP: 本記事はAIによって構成され、運営者が内容の確認・管理を行っています。情報の正確性は保証せず、外部サイトのコンテンツには一切の責任を負いません。
EN: This article was structured by AI and is verified and managed by the operator. Accuracy is not guaranteed, and we assume no responsibility for external content.
ZH: 本文由AI构建,并由运营者进行内容确认与管理。不保证准确性,也不对外部网站的内容承担任何责任。
🦈