中国最强音(全文在线阅读)>
中国最强音摩尔线程发布技术白皮书:破解长上下文推理成本瓶颈_我的网站
一 | 凤凰网科技讯 8月24日,摩尔线程正式发布《MTT S5000 Prefill-as-a-Service技术白皮书》,基于旗舰级AI训推一体智算卡MTT S5000,提出Prefill-Decode异构解耦方案,面向AI Agent、代码生成、超长文档分析等长上下文推理场景,旨在破解推理成本瓶颈。 。它还拥有四个背键、两个额外的肩键以及完全可自定义的按键映射功能,为你提供比标准控制器更多的游戏操作选项。得益于设备背面的紧固旋钮,它还完全兼容初代 Switch 和 Switch OLED,这是一个不错的加分项。为什么 Joy-Cons 2 很糟糕为什么默认的 Switch 2 Joy-Cons 这么难用?让我来列举一下。摇杆太短,操作不适;手柄太薄,几乎没有握持感;正面按键太小。无论是单独使用还是装入握把,手感都很差。基本上,无论什么时候用都觉得难受。这些问题的出现是因为任天堂试图让 Joy-Cons 2 尽可能地具备多功能性。不可否认,它们确实有很多种用法,其中一些在特定情况下非常方便。但当你试图让一个控制器成为“万事通”时,它就无法在任何一方面做到精通。在我最常用的 Switch 2 模式下——无论是掌机模式还是底座模式——Joy-Cons 都无法满足需求。 我非常喜欢 Switch 2。 白皮书指出,大模型输入上下文规模进入百K至1M级别后,Prefill(预填充,计算密集型)与Decode(解码,访存密集型)在同一资源池混跑造成结构性算力错配。它就像初代 Switch 的升级版,能够真正流畅运行除任天堂以外的其他公司制作的现代游戏。但尽管在初代 Switch 发布八年后才推出,Switch 2 仍然存在与其前身一样的大问题:自带的 Joy-Cons 手感依然糟糕。解决方案是将二者彻底解耦,分别运行在各自最契合的硬件资源池上,实现单位Token基础设施成本大幅下降。庆幸的是,第三方配件制造商终于出手拯救我们了。
二 | 我们最喜欢的初代 Switch 配件之一是 Nitro Deck,但它与 Switch 2 不兼容。
三 | 现在,来自 CRKD 的 Nitro Deck 2 在多次延期后,终于要在下周(8 月 28 日)正式发货了。Nitro Deck 2 的设计旨在让 Switch 2 的手持握感更加舒适。MTT S5000硬件特性与Prefill任务高度契合:提供高稠密算力压缩首字时延,原生支持FP8全精度计算,并全面兼容CUDA及PyTorch、vLLM等主流推理框架。预订适用于 Switch 2 的 CRKD Nitro Deck 2与初代 Nitro Deck 相比,该型号的一大新功能是:你既可以在掌机模式下将其用于 Switch 2,也可以将其折叠成标准控制器在底座模式下使用。实测数据显示,在64K上下文场景下,单机Prefill吞吐达95,920 tok/s,按智谱API定价测算,满负载下单机月收入可达64.6万元;400K极限长序列场景TPM达2.6MTokens,吞吐平稳可控。这使它的用途增加了一倍,并减少了你需要购买的控制器数量。
四 | 与 Joy-Con 2 的摇杆不同,Nitro Deck 2 配备了像 Pro 手柄一样的全尺寸模拟摇杆。摩尔线程表示,大模型产业竞争下半场本质上是推理效率与商业回报的较量,该方案旨在帮助企业在万亿参数与Agent时代降低总拥有成本。它们是 CaptiSticks,与霍尔效应摇杆一样,使用一段时间后不会出现摇杆漂移。你还可以根据自己的喜好调节摇杆阻力,并更换为你最喜欢的摇杆帽和方向键设计。完整白皮书已在官网发布。
五 | 如果你问我,处理默认 Joy-Cons 2 的最好方法就是把它们扔进垃圾桶,换成别的——也许是 Nitro Deck 2?。 Current article:http://or6sfdj.bianneixuanbingqinyouxie.buzz/pab04/mhmo0ws.html Published on:02:45:00 |


我非常喜欢 Switch 2。
白皮书指出,大模型输入上下文规模进入百K至1M级别后,Prefill(预填充,计算密集型)与Decode(解码,访存密集型)在同一资源池混跑造成结构性算力错配。它就像初代 Switch 的升级版,能够真正流畅运行除任天堂以外的其他公司制作的现代游戏。但尽管在初代 Switch 发布八年后才推出,Switch 2 仍然存在与其前身一样的大问题:自带的 Joy-Cons 手感依然糟糕。解决方案是将二者彻底解耦,分别运行在各自最契合的硬件资源池上,实现单位Token基础设施成本大幅下降。庆幸的是,第三方配件制造商终于出手拯救我们了。


