Programmable World Model:将世界状态演化与视觉生成解耦的可编程世界模型

内容摘要
概述: Programmable World Model是一种将世界状态演化与视觉生成解耦的可编程世界模型框架。该模型通过将自然语言指令转化为可执行程序,实现对实体状态和状态转换规则的控制,从而在游戏中实现可玩性和持久的世界状态。 要点: 1. Programmable World Model通过解耦世界状态演化与视觉生成,提高了世界模型的交互性和持久性。 2. 模型将自然语言指令转化为程序,实现对实体状态和状态转换的直接控制。 3. 引入状态增强的3D方向包围盒作为中间表示,连接世界状态与视觉生成。 4. 模型在CombatStateBench基准测试中取得94%的计数准确率和98%的状态准确率,优于现有交互式视频世界模型。 5. 该模型支持连贯的长时生成,为构建持久、可编程的世界提供了有效方法。
概述:
Programmable World Model是一种将世界状态演化与视觉生成解耦的可编程世界模型框架。该模型通过将自然语言指令转化为可执行程序,实现对实体状态和状态转换规则的控制,从而在游戏中实现可玩性和持久的世界状态。

要点:
1. Programmable World Model通过解耦世界状态演化与视觉生成,提高了世界模型的交互性和持久性。
2. 模型将自然语言指令转化为程序,实现对实体状态和状态转换的直接控制。
3. 引入状态增强的3D方向包围盒作为中间表示,连接世界状态与视觉生成。
4. 模型在CombatStateBench基准测试中取得94%的计数准确率和98%的状态准确率,优于现有交互式视频世界模型。
5. 该模型支持连贯的长时生成,为构建持久、可编程的世界提供了有效方法。

Recent video world models generate increasingly realistic and interactive visual experiences, yet lack reliable mechanisms for maintaining persistent world state and enforcing programmable rules over extended interactions. We introduce Programmable World Model, a framework that decouples world-state evolution from visual observation generation. An agent translates natural-language instructions into executable programs that specify entity states and state-transition rules, enabling direct control over individual entities and their interactions. A lightweight engine executes these programs to update and maintain an explicit, persistent global world state, including off-screen entities and non-visual attributes. To connect world state with visual generation, we introduce state-augmented 3D oriented bounding boxes (OBBs) as an intermediate representation. This representation, together with the target camera trajectory, is deterministically compiled into pixel-aligned spatiotemporal conditioning signals for a pretrained video model serving as the generative renderer. This design allows users to create playable games with predefined mechanics, direct control over individual entities, and persistent world state throughout gameplay. We further introduce CombatStateBench, a benchmark for evaluating programmable world models. On CombatStateBench, our method achieves 94% Count Accuracy and 98% State Accuracy, substantially outperforming existing interactive video world models while supporting coherent long-horizon generation. These results demonstrate the effectiveness of separating explicit state evolution from generative rendering for building persistent, programmable worlds.

原始发布方:HuggingFace Daily Papers(社区热门论文)

原文时间:2026-09-09 08:00:00 +08:00

阅读原文 · 数据来源:AIHOT

提示

本文用于信息整理与经验分享。第三方订阅、支付及账号服务可能调整,实际规则、价格和可用性请以下单页面及服务方最新说明为准。

咨询 GPT 充值咨询充值