这篇论文介绍了一个名为"CrEval"的创新框架,用于跨领域评估文本创造力。研究团队构建了"CreataSet"数据集,包含超过10万条人类水平和100多万条合成创意文本,涵盖87个领域。基于此训练的CrEval评估器在与人类判断的一致性上显著优于现有方法,包括GPT-4o。研究发现,结合人类创建的数据和合成数据对训练有效评估器至关重要,且CrEval不仅能评估创造力,还能提升AI模型生成更有创意内容的能力,为创造力评估和提升开辟了新方向。
这项研究由清华大学和新加坡国立大学团队完成,系统探讨了大推理模型在事实查询任务中的幻觉问题。研究发现,仅通过单一训练阶段(仅SFT或仅RL)开发的推理模型更容易产生幻觉,而完整SFT+RL流程训练的模型幻觉较少。研究者识别出两种导致幻觉的关键认知行为:"错误重复"和"思考-答案不匹配",并从模型不确定性校准角度揭示了幻觉产生的内在机制,为开发更可靠的推理模型提供了重要指导。
这项由香港理工大学和复旦大学联合领导的研究提出了"自适应无分类器引导"(A-CFG)技术,用于改进AI文本生成。传统CFG使用静态无条件输入,而A-CFG能识别模型在生成过程中最不确定的部分,动态地重新掩码这些低置信度标记,创建针对性的无条件输入。实验表明,A-CFG在多种基准测试中显著优于标准CFG,如在GPQA上提升3.9点,在数独任务上提升8.0点,证明了在迭代生成中动态响应模型不确定性的价值。
这项由中国科学院大学、新加坡国立大学、浙江大学和耶鲁大学研究人员联合发表的研究提出了VF-EVAL,一个专门评估多模态大语言模型对AI生成视频提供反馈能力的新基准。研究通过四项任务:连贯性验证、错误感知、错误类型检测和推理评估,全面测试模型理解合成视频的能力。研究发现即使是最先进的GPT-4.1模型也难以在所有任务上保持良好表现,表明AI对生成视频的理解仍有巨大提升空间。研究还通过REPROMPT实验证明,将大模型反馈与人类偏好更好地对齐可以显著提升视频生成质量。
伊利诺伊大学香槟分校研究团队开发了SafeScientist,一个安全优先的AI科学家框架,能主动拒绝不道德或高风险任务,并在整个研究过程中确保安全。该框架整合了四层防御机制:提示监控、智能体协作监督、工具使用控制和伦理审查。团队还创建了SciSafetyBench基准测试集,包含240个高风险科学任务和120个工具相关风险场景,用于评估AI科学家的安全性。实验表明,SafeScientist比传统框架提高了35%的安全性能,同时不影响科学输出质量,为AI驱动的科学探索提供了安全与创新并重的新范式。
ETH Zürich等机构研究人员提出TrustVLM框架,解决视觉-语言模型预测可信度问题。该方法利用模型中存在的"模态差距",创新性地结合图像到文本和图像到图像的相似度,实现无需重新训练即可大幅提升误分类检测性能。在17个数据集的严格测试中,TrustVLM相比现有方法在关键指标上提升显著,同时改善了零样本分类准确率。此成果为AI系统在自动驾驶、医疗等安全关键领域的可靠部署提供了重要保障。
这项研究提出了个性化安全概念,解决大语言模型对不同用户采用统一安全标准的问题。研究团队创建了PENGUIN基准测试集评估模型在处理高风险场景时的个性化安全能力,并开发了RAISE框架高效获取关键用户信息。实验表明,提供用户背景可使安全分数提高43.2%,而RAISE框架通过平均仅2.7次交互即可提高安全分数31.6%。这一创新方法将AI安全从"一刀切"转向"个性定制",为高风险领域的AI应用提供了新思路。
明尼苏达大学研究团队提出了一种创新方法,通过回合级信誉分配显著提升大语言模型(LLM)智能体的多回合推理能力。传统方法只对整个过程进行评价,而他们的MT-GRPO算法能够精确评估每个决策步骤的价值,就像为每一步提供具体反馈。在维基百科搜索工具使用场景中,该方法实现了100%的工具执行成功率和50%的答案精确匹配率,远超传统方法。这一突破不仅提高了AI在多步骤任务中的表现,也为开发更复杂的AI系统提供了重要思路。
这篇研究介绍了PISCES——一种能精确从大语言模型参数中移除特定概念知识的创新技术。与现有方法不同,PISCES通过解缠器模型识别概念相关特征,直接编辑模型参数,实现了更精准的知识移除。在Gemma和Llama模型上的测试表明,该方法不仅有效降低了目标概念的准确率(低至7.7%),还保持了模型在无关领域的高性能,并显著提高了对"重新学习"的抵抗力。这一突破为AI系统的安全部署和合规使用提供了新的可能性。
这项研究探究大语言模型从真实文本中推断因果关系的能力,创建了首个真实世界基准数据集ReCAST。研究发现,即使最先进模型在此任务上表现也不佳,最高F1分数仅为0.477。模型尤其难以处理隐含因果关系、区分关键因素与背景信息,以及整合长文本中分散的信息。这揭示了当前语言模型在真实世界因果推理方面的重大局限,为未来研究指明了方向。
Atos 正在重组,法国政府已确认以4.1亿欧元收购其 Eviden 子公司先进计算业务(不含 Vision AI 部分),该业务涵盖 HPC、量子计算及 AI 部门,预计2025年营收约8亿欧元,此举将为 Atos 提供急需流动资金。
文章讨论了 GPU 服务器如何利用并行处理支持 AI 运算,比较了其与传统 CPU 服务器在扩展性、功耗与散热等方面的区别,并指出数据中心须相应升级供电与冷却设施。
IBM 周一宣布收购 AI 数据分析平台 Seek AI,并在纽约启动 Watsonx AI Labs 加速器,以利用自然语言处理技术支持企业数据查询,扩展 AI 解决方案和人才培养。
Bing 视频生成器利用 OpenAI 的 Sora 模型,通过文字提示生成视频。登录微软账户的用户可免费生成10个视频,之后需消耗微软奖励积分。目前仅支持竖屏9:16比例,未来将增加横屏选项。
波士顿大学研究团队开发的DORI基准测试从四个维度评估多模态大语言模型的物体方向理解能力:正面对齐、旋转变换、相对方向和规范方向感知。研究评估了15个最先进模型,发现即使最佳模型在粗粒度任务上的准确率也仅为54.2%,在细粒度方向判断上更低至33.0%,与人类表现相差近30%。结果表明当前模型在精确角度估计、多视角追踪和理解复合旋转方面存在系统性缺陷,反映了它们内部3D空间表示的根本局限,为未来模型设计提供了明确方向。
这篇研究介绍了Oracle AI团队开发的一种针对企业系统的域特定检索硬负样本挖掘框架。该方法通过整合多种嵌入模型、降维处理和独特的语义选择标准,动态识别具有挑战性但上下文无关的文档作为训练样本,显著提升了重排序模型的性能。在云服务领域的测试中,该方法在MRR@3和MRR@10指标上分别提升了15%和19%,并在多个公开领域数据集上展示了广泛适用性,为企业搜索和检索增强生成应用提供了实用解决方案。
Oracle研究团队开发了FS-DAG,这是一种用于视觉丰富文档理解的少样本领域适应图网络模型。与传统大型模型不同,FS-DAG仅需5份示例文档即可适应新文档类型,参数量不到90M,却在信息提取任务中表现卓越。模型采用模块化架构,结合预训练的文本和视觉特征提取器与图神经网络,展现出对OCR错误的极强鲁棒性(性能下降不到1%)。实验表明,FS-DAG在多种文档类型上优于LayoutLMv2等大型模型,同时具有更短的训练和推理时间。目前已被50多家企业采用,每月处理超过100万次API调用,证明了其在实际业务场景中的价值。
Prot2Token是密苏里大学研究团队开发的一种突破性蛋白质建模框架,它通过将各种蛋白质预测任务转化为统一的下一个标记预测问题,解决了传统方法需要为不同任务开发专门模型的限制。这个框架以自回归解码器为核心,配合预训练蛋白质编码器和任务标记引导,实现了从蛋白质序列到结构、功能和相互作用的多样化预测。实验证明其性能媲美甚至超越专门方法,并在结构预测上比AlphaFold2快1000倍。Prot2Token通过多任务学习促进了不同预测任务间的协同效应,为蛋白质研究提供了高效、通用的计算范式。
这项研究提出了一种通过"替身模型"训练视觉编码器并实现零样本嫁接到大型语言模型的创新方法。研究团队分析发现大语言模型内部存在明显的处理阶段转折点,据此构建的替身模型保留早期处理层而压缩后期层。使用替身训练的视觉编码器可直接插入目标大模型而无需额外训练,或作为全面训练的高效起点。实验证明,这种方法不仅能将Llama-70B的训练成本降低约45%,还在部分基准测试中实现了超越全面训练的性能。