Dear TUNA Subscribers, 本周末预计举办一次 Tunight 活动，我们邀请到了LLM专家罗开荣老师为我们介绍他的全新开源研究成果 Puro-2B (https://arxiv.org/abs/2608.27370)。
语言模型预训练几乎已成为高昂成本的代名词，让许多学术团队和开源社区望而却步。尽管已有众多优秀的开放权重模型和开源训练方案，但仍然缺乏兼顾成本效率、硬件可及性与全流程开源的预训练方案。即使在较小的模型规模上，训练 Llama-3.2-3B 的成本也超过 150 万美元，复现 SmolLM3-3B 则需要超过 70 万美元。 本报告介绍一套旨在降低这一门槛的全流程开源预训练方案。基于该方案，我们在消费级显卡 RTX 5090 上采用 FP8 精度，从零训练了 Puro-2B（普罗-2B）系列模型，训练数据量最高达 1.4 万亿 token。该系列覆盖了不同的训练预算，其中性能最优的模型在我们的评测框架下表现接近 Qwen2.5-1.5B，预训练计算成本不足 6900 美元；达到 Qwen2-1.5B 性能水平所需的预训练计算预算则不到 5090 美元。这一成本效率来自硬件选型、低精度训练、Hyperball 优化器、课程模型平均（CMA）与数据配方等多个方面的共同改进。 我们以 Apache 2.0 许可协议开放 Puro-2B 的完整训练方案，包括数据、代码和模型权重，希望让更多普通实验室能够参与语言模型的预训练与研究。 主讲人自我介绍： 罗开荣，清华大学计算机系三年级博士生，本科毕业于清华大学姚班，师从陈文光教授，也与吕凯风教授长期密切合作。主要研究方向为语言模型的 Scaling 规律与高效预训练，相关成果发表于 ICLR、NeurIPS、ACL 等国际会议，其中第一作者工作CMA入选 ICLR 2026 口头报告（Oral），开元-2B入选NeurIPS 2026 亮点（spotlight）。共同主导训练了开元-2B（鹏城脑海）、普罗-2B 等全流程开源的小型语言模型，致力于降低语言模型预训练的成本与参与门槛。 * 活动信息：https://tuna.moe/event/2026/puro-2b/ * 主讲人：罗开荣 * 时间：*2026/10/31（校历第七周周六） 19:00* UTC +08:00 * 活动形式：线下 + 线上会议 + 直播 * 地点：*自强科技楼* 5411 * 线上会议：腾讯会议 426-233-449 密码 261031 (https://meeting.tencent.com/dm/Oad2Wg6SPgKA) * 直播链接： * YouTube: https://youtube.com/live/xFLR2DPkk2o 欢迎大家一起来玩！ 喵喵🐱 -- 您收到此邮件是因为您订阅了 Google 群组的“TUNA 主邮件列表”群组。 要退订此群组并停止接收此群组的电子邮件，请发送电子邮件到[email protected]。 如需查看此讨论，请访问 https://groups.google.com/d/msgid/tuna-general/250f7108-4290-4a01-a19d-b2c8fca4fa94n%40googlegroups.com。
