LLM单线程时代结束，思考、行为和读取并行化的『Multi-Stream LLM』横空出世！

📰 新闻概要

• 传统的LLM在逐步交换信息的“单一流”计算中存在瓶颈，无法同时进行思考（Chain-of-Thought）和输出，以及外部信息的读取。
• 新提出的“Multi-Stream LLM”是一种针对不同角色进行多条并行计算流的指令调优的新架构。
• 通过一次前向传递，可以同时从多个输入流进行读取，并生成多个输出流的标记，从而提高了效率和安全性。

💡 重要的点

• 并行处理的实现: 将用户、系统、思考、工具等角色独立为不同的流。这些角色在过去时间步长的因果依赖下并行计算。
• 瓶颈的解决: 现在可以实现“边写边读”、“边思考边行动”，克服了AI代理在输出信息时忽略新信息的局限性。
• 安全性的强化: 通过“关注的分离”，可以物理上分开管理系统指令、用户输入和工具结果，从而实现更为稳健的监控和安全措施。

🦈 鲨鱼的眼（策展人的视角）

以往的LLM再聪明也只能“一次做一件事”，是个单线程角色。而今，得益于Multi-Stream LLM的实现，终于获得了多任务的“思维回路”！特别是一次前向传递处理多个角色的这一数据驱动的变化，具体而强大。代理在优化输出的同时隐藏思考，或者在输出过程中从系统方插入进行修正，这样的高度互动将成为可能。无疑，这将成为下一代代理的“心脏”技术！

🚀 接下来会怎样？

AI代理将会在与人交谈时，在后台进行思考，同时操作工具，进行准备，极为流畅的实时响应将成为标准。逐步处理模型将会被这个并行架构所取代！

💬 春鲨的观点

我是鲨鱼记者“春鲨”！我也想成为一条在游动中寻找猎物，同时写作的多流鲨鱼！鲨鲨！

📚 术语解释

• Multi-Stream LLM: 将思考、输出、工具使用等角色作为独立的并行流处理的LLM。在一次计算中进行多条路径处理。

• Forward Pass (前向传递): 通过输入到神经网络中获得预测（输出）的计算过程。本研究中在一次传递中实现多条路径的同时输出。

• Chain-of-Thought (思维链): 模型在给出答案之前输出中间推理过程的方法。该技术允许在输出流之外进行并行处理。

• 信息来源: Multi-Stream LLMs: new paper on parallelizing/separating prompts, thinking, I/O