主打虚拟现实的北欧公司Hexagon与英伟达展开的合作,令工业数字孪生能够实时捕获数据。
数字孪生是现实世界中的工厂或建筑等实物的数字映射。Hexagon与英伟达的这项合作的基本想法是将现实捕获、数字孪生的建立、人工智能、模拟和可视化合在一起,达到实时比较现实世界模型的目的。
这项合作将整合Hexagon和英伟达的技术,为工厂规划、设计、流程质量优化和运营提供统一视图及实现无缝多用户工作流程。
在这次合作中,Hexagon的HxDR平台和Nexus制造平台将与基于通用场景描述(USD)框架的英伟达Omniverse融合在一起。英伟达Omniverse平台是个用于开发和运营工业元宇宙应用。
客户利用融合平台提供的互补技术可以发展数字工厂制造、加速推动数字孪生对智能城市、建筑和基础设施的进程。
Hexagon首席执行官Paolo Guglielmini在一份声明中表示,“Hexagon的创新团队一直都在与英伟达合作开发结合现实捕获、人工智能、模拟、数据分析和可视化的无缝协作规划平台。我们的解决方案采用英伟达的技术和Hexagon的Smart数字现实,将提供现实世界和虚拟世界模型的实时比较。”
Hexagon 表示,通过实时数据采集和分析,Hexagon旗下的智能数字现实技术可以彻底改观数字孪生,为客户提供现实世界的360度画面,这些数字孪生与模拟解决方案一起使用有助于提高生产力、质量、安全和盈利能力。
英伟达的Omniverse和模拟技术副总裁Rev Lebaredian在一份声明中表示,“每个行业都在竞相将自己的物理过程数字化,以迎接下一波先进的自动化浪潮。我们与Hexagon的合作将弥合现实世界和虚拟世界之间的差距。弥合二者之间的差距是建立数字孪生的前提条件,我们将能够在虚拟世界中训练机器人及令运动物体实现自主化。”
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。