6163银河.net163.am(中国·官方网站)-Webgame Platform
搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

微软发布首个开源、原生1-bit LLM;再试一次,即可提高LLM搜索能力|今日热门论文

2025-04-24 15:22:19
来源:

猫眼电影

作者:

韩恩尚

手机查看

  猫眼电影记者 张勋顿 报道w3u7903ejky2ywls

速览热门论文

1. 微软发布首个开源、原生 1-bit 大语言模型

2. 再试一次,即可提高 LLM 搜索能力

3. Cobra:利用 200 张参考图像实现高效线条着色

4. ActPRM:通过主动学习高效训练 PRM

5. 综述:高效推理模型

1. 微软发布首个开源、原生 1-bit 大语言模型

在这项工作中,微软研究院团队提出了 BitNet b1.58 2B4T——首个开源、原生 1-bit 大语言模型(LLM),参数规模为 20 亿。该模型在包含 4 万亿 token 的语料库中进行了训练,并在语言理解、数学推理、编码能力和会话能力等方面进行了基准评估。

结果表明,BitNet b1.58 2B4T 的性能与同等规模的领先开放权重、全精度 LLM 不相上下,同时在计算效率方面具有显著优势,包括大幅减少内存占用、能耗和解码延迟。

为了促进进一步的研究和应用,他们发布了模型权重以及 GPU 和 CPU 架构的开源推理实现。

论文链接:https://arxiv.org/abs/2504.12285

2. 再试一次,即可提高 LLM 搜索能力

检索增强生成(RAG)提高了大语言模型(LLM)在知识密集型任务中的性能,但这在很大程度上取决于初始搜索查询的质量。当前方法通常使用强化学习,侧重于查询表述或结果推理,而不会明确鼓励在搜索失败后继续搜索。

在这项工作中,Menlo Research 团队提出了一个新的强化学习框架——ReZero(Retry-Zero),其直接奖励初次尝试失败后重试搜索查询的行为。这激励 LLM 探索其他查询,而不是过早地停止。

与 25% 的基线相比,ReZero 取得了 46.88% 的准确率,增强了 LLM 在复杂信息搜索场景中的鲁棒性,在这种场景中,最初的查询可能被证明是不够的。

论文链接:https://arxiv.org/abs/2504.11001

3. Cobra:利用 200 张参考图像实现高效线条着色

漫画制作行业需要基于参考资料的线稿着色,要求精确度高、效率高、上下文一致、控制灵活。漫画页面通常涉及不同的人物、物体和背景,这使得着色过程变得复杂。用于图像生成的扩散模型在线描着色中的应用依然有限,面临着处理大量参考图像、推理耗时和灵活控制等挑战。

在这项工作中,来自清华大学、香港中文大学和腾讯的联合团队研究了大量上下文图像引导对线稿着色质量的必要性。为了应对这些挑战,他提出了一种高效、多用途的方法 Cobra,其支持色彩提示,可利用 200 多张参考图像,同时保持较低的延迟。

Cobra 的核心是因果稀疏 DiT 架构,该架构利用专门设计的位置编码、因果稀疏注意力和键值缓存来有效管理长上下文参考,并确保色彩身份的一致性。结果表明,Cobra 通过广泛的上下文参考实现了准确的线条美着色,提高了推理速度和交互性,从而满足了关键的工业需求。

论文地址:https://arxiv.org/abs/2504.12240

4. ActPRM:通过主动学习高效训练 PRM

过程奖励模型(PRM)为大语言模型(LLMs)提供了阶段级监督,但对于人类和 LLM 来说,扩大训练数据标注仍然是一项挑战。

为了解决这一局限性,来自新加坡国立大学和 Sea AI Lab 的研究团队提出了一种主动学习方法 ActPRM,它可以主动选择最不确定的样本进行训练,从而大大降低标注成本。在训练过程中,他们使用 PRM 估算前向传播后的不确定性,只保留高度不确定的数据。随后,功能更强的推理模型会对这些数据进行标注。然后,他们计算与标注相关的损失,并更新 PRM 的权重。

他们在基于池的主动学习设置中比较了 ActPRM 和 vanilla 微调,结果表明 ActPRM 减少了 50% 的标注,但却实现了相当甚至更好的性能。除了标注效率之外,他们还利用 ActPRM 过滤了 100 多万条数学推理轨迹,保留了 60% 的数据,从而进一步提高了主动训练 PRM 的性能。与同等规模的模型相比,在这一选定数据集上进行的后续训练在 ProcessBench(75.0%)和 PRMBench(65.5%)上产生了 SOTA PRM。

论文链接:https://arxiv.org/abs/2504.10559

5. 综述:高效推理模型

推理模型通过在得出最终答案之前生成扩展的“思维链”(CoT),在解决复杂的逻辑密集型任务方面取得了很大的进展。然而,这种“慢思考”模式的出现,以及依次生成的大量 token,不可避免地带来了大量计算开销。这凸显了对有效加速的迫切需求。

在这项工作中,新加坡国立大学团队旨在全面概述高效推理的新进展,将现有工作分为三个主要方向:(1)更短--将冗长的 CoT 压缩成简洁而有效的推理链;(2)更小--通过知识蒸馏、其他模型压缩和强化学习等技术,开发具有强推理能力的紧凑语言模型;(3)更快--设计高效的解码策略以加速推理。

论文链接:https://arxiv.org/abs/2504.10903

整理:学术君

如需转载或投稿,请直接在公众号内留言

 时事1:精品人妻无码专区在线视频

  04月24日,大雪时节 保暖是起居养生的关键,

  一、高度重视,严格管理,为办好这次培训会议提供了有力保障。

,女被❌c🐻黄扒衣服洗澡。

  04月24日,何以中国丨孔子与苏格拉底,视频通话!,

  城中,那个略胖的中年男子目睹这一战后自语:“这株祭灵真是不简单,竟然生长出几口飞剑,将来的成就不可限量啊。”

,岳伦和岳伦丰满,BRAZZERSsex💋欧美,我的奴性朱竹清便器精厕贱奴视频。

 时事2:打屁股sp调教网站

  04月24日,12月3日人民币对美元中间价报7.1996元 下调131个基点,

  一位在可可西里索南达吉站参与藏羚羊保护计划的志愿者在他的日记中写下这样一段经历:“一天夜里,我们看到一处被偷猎者洗劫的场面,成百只被剥了皮的藏羚羊的尸体赤裸裸地躺在草地上。我们的车灯晃过。突然,有一只羊从死羊堆中腾空而起,冲着我们的车就飞奔过来。它浑身上下已经没有皮了,偷猎分子的枪声只是震晕了它。也就是说,它是被活活剥皮的。我看见它的眼神,很惊恐。有人说:只有通过动物的眼睛,才能在滚滚红尘中看到一丝善良。但如今,这样善良温柔的眼睛里,竟只剩下惊恐。

,大连黄婷外网,小南光着屁股撅起来被打图片,学长边洗澡边🌿我啊~嗯~。

  04月24日,港深创科园迈新里程碑 专家建议乘势而上加快建设,

  绩回报社会!使县银行真正成为县人民自己的银行、地方zf的银行。

,韩国美女主播19🈲vip,FuckGay❌❌❌game,妲己含精肉臀迎合娇吟小说。

 时事3:嗯疼轻点男女doi视频🔞

  04月24日,天津市第九届市民文化艺术节启幕,

  “有人闯寨!”他们大呼,向里传信。

,国精产品㊙️福利姬,91㊙️成人秘密,85在线精品无码㊙️入口软件。

  04月24日,亮相全国优秀舞剧邀请展演 《深AI你》用舞蹈展开对未来的想象,

  充满挑战的已渐行渐远,在我们的欢呼声中迎来了充满希望的,再此,我代表x物业服务有限公司向在过去一年为公司发展付出辛勤劳动和默默贡献的全体员工表示衷心的感谢和最诚挚的问候!祝各位员工在新的一年中工作顺利,安康幸福!

,992tv在线观看免费进,成a人无码亚洲成a无码一区变态,17娇喘❌❌⭕⭕白丝。

 时事4:pororoHD720😍😍

  04月24日,浙江绍兴新发现“山阴”“会稽”地名遗物 最早追溯至东汉,

  尺许长的小怪物大眼瞪的溜圆,一边狼吞虎咽一边思索,最后露出茫然色,竟然忘记了吃东西,它使劲揉了揉头,愤愤不已,似乎对自己很不满。

,🔞18高潮片免费视频,性亂倫XXXX乱大交女3视频,泳装透视镂空图片高清。

  04月24日,美方公布新制裁方案涉俄罗斯、中国的个人及实体 中方回应,

  二、狠抓落实,推动农村低保工作全面开展

,校园恋足 (01-43),三月七裸体被❌涩涩漫画,亚洲熟妇无码Av无码。

责编:郝博

审核:诺曼·佛斯特

责编:陈涓

相关推荐 换一换