Raon-1 mini preview

KRAFTON 从零训练的 28.8B 混合专家模型(激活 4.3B),韩语能力突出,上下文 262K,另有 17.6 GB 的 NVFP4 版本。

一句话概括. Raon-1 mini preview 是韩国游戏公司 KRAFTON 从零训练的文本模型,擅长韩语对话,也能驱动编程和调用工具的智能体。它有 288 亿参数,但每个 token 只调用其中 43 亿,所以实际跑起来比参数量看上去更快。4 位的 NVFP4 版本约 17.6 GB,KRAFTON 称它能在一块 32 GB 的 RTX 5090 上运行。许可证是 Apache 2.0;模型卡称这是预览版,最终模型可能有所不同。

概述

Raon-1 mini preview 是韩国游戏公司 KRAFTON 的 AI 团队 KRAFTON AI 在 2026 年 10 月 21 日发布到 Hugging Face 的文本模型。KRAFTON 称它是自己设计并从零训练的,而不是在别家实验室的权重上改出来的。它是混合专家模型,总参数 288 亿,每个 token 激活 43 亿(128 个路由专家里选 6 个,再加 1 个共享专家),原生上下文 262,144 token。模型卡称它是预览版,规格和结果在最终版发布前可能变化。它用韩语、英语、日语、中文、西班牙语、法语和泰语训练,官方强调的强项是韩语对话和智能体任务。

注意力采用混合设计。25 层里有 18 层使用 Raon Delta Attention,这是一种状态大小固定的线性注意力,把 Kimi Delta Attention 的擦除门和写入门分开;只有 7 层带门控的 MLA 保留 KV 缓存,BF16 下每个 token 约 8 KiB。按我们的计算,完整的 262,144 token 上下文在 BF16 下约需 2 GiB 缓存。模型被设计成先思考再回答,模型卡建议不要关闭思考。主仓库是约 32.7 GB 的 MXFP8 权重。KRAFTON 还发布了约 17.6 GB 的 NVFP4 版本,称它能在一块 RTX 5090 上运行;16.1 GB 到 30.7 GB 的 GGUF 文件;面向 Apple 芯片的 MLX 版本;以及 2.7 GB 的 DFlash2 草稿模型,用于推测解码,它测得在一块 B300 上输出吞吐最高可达 2.18 倍。

KRAFTON 的表格把它与另外两个混合专家模型 Qwen3.6-35B-A3B 和 Gemma 4 26B-A4B 对比,并列出两个稠密模型 Qwen3.8-27B 和 Muse Glimmer 30B 作参考。对两个 MoE 对手,它在 GPQA Diamond(84.3)、AIME 2026(93.3)、IFBench(84.2)、SWE-bench Verified(70.8,使用 mini-SWE-agent 框架)、BrowseComp Plus(55.7)和内部韩语对话测试(92.9)上领先;在 MMLU-Pro(76.5 对 85.9)、Terminal-Bench Lite(47.0 对 63.3)和 BFCL v4(59.8,对手分别是 64.7 和 Gemma 4 的 65.8)上落后于 Qwen3.6-35B-A3B;稠密的 Qwen3.8-27B 在其余大部分项目上得分更高。韩语测试是未公开的内部基准,评分由 GPT 系列模型担任裁判。

Apache 2.0 许可证覆盖权重和仓库里的文件,每个仓库都带有 LICENSE 文件。KRAFTON 称它不覆盖其训练数据、训练方法、托管 API 和在线体验,这些另有条款。模型卡给出了推荐的采样设置(温度 1.0,top-p 0.95,top-k 20,编程和数学以外的任务使用 1.5 的存在惩罚),以及 Hermes Agent、Pi 和 OpenCode 的配置说明。它可以在 Transformers、KRAFTON 的 vLLM 测试版分支、llama.cpp 和 MLX 中运行。

适合做什么

  • 用韩语聊天和做智能体工作,4 位版本能放进一块 32 GB 的 GPU
  • 在 Hermes Agent、Pi、OpenCode 等框架中做编程和工具调用智能体,用上 262K 上下文
  • 在不大的内存里处理长文档,因为 25 层里只有 7 层保留 KV 缓存
  • 配合已发布的 DFlash2 草稿模型提速服务,前提是你能运行 KRAFTON 的 vLLM 分支

需要注意

  • 这是预览版,KRAFTON 称规格和结果在最终版发布前可能变化
  • 所有分数都是 KRAFTON 自己的,韩语对话结果用的是未公开的内部测试,而且在 Terminal-Bench Lite、BFCL v4 和 MMLU-Pro 上落后于 Qwen3.6-35B-A3B
  • 它要在开启思考的状态下使用,回复会带推理过程,存在惩罚由 Transformers 里的自定义代码实现
  • 模型卡的主要服务方案是 vLLM 的测试版分支,Transformers 里需要 trust_remote_code
  • 只能处理文本,2.18 倍的加速是在一块 B300 上用 MXFP8 模型测得的

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 GGUF IQ4_XS 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
Raon-1-mini-preview (MXFP8) FP8 28.8B 激活 4.3B 66 GB 33 GB 20 GB 游戏显卡
Raon-1-mini-preview-NVFP4 NVFP4 28.8B 激活 4.3B 66 GB 33 GB 19 GB 游戏显卡
GGUF IQ4_XS INT4 28.8B 激活 4.3B 66 GB 33 GB 18 GB 游戏显卡
GGUF Q4_K_M INT4 28.8B 激活 4.3B 66 GB 33 GB 22 GB 游戏显卡
GGUF Q8_0 INT8 28.8B 激活 4.3B 66 GB 33 GB 20 GB 游戏显卡

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。

显存计算器

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

延伸阅读

常见问题

Raon-1 mini preview 是什么?
Raon-1 mini preview 是韩国游戏公司 KRAFTON 从零训练的文本模型,擅长韩语对话,也能驱动编程和调用工具的智能体。它有 288 亿参数,但每个 token 只调用其中 43 亿,所以实际跑起来比参数量看上去更快。4 位的 NVFP4 版本约 17.6 GB,KRAFTON 称它能在一块 32 GB 的 RTX 5090 上运行。许可证是 Apache 2.0;模型卡称这是预览版,最终模型可能有所不同。
Raon-1 mini preview 可以商用吗?
可以。Raon-1 mini preview 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Raon-1 mini preview 是开源的吗?
Raon-1 mini preview 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 Raon-1 mini preview 吗?
可以,但需要一块好显卡。最小版本 GGUF IQ4_XS 在 4 位精度下约需 18 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
Raon-1 mini preview 是什么时候发布的?
Raon-1 mini preview 由 KRAFTON 于 2026年10月21日 发布。
Raon-1 mini preview 的上下文窗口有多长?
Raon-1 mini preview 支持最长 256K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Qwen3.6 Alibaba Qwen 27.8B – 36B 激活 3B 256K Apache 2.0 (宽松) 19 GB 游戏显卡
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
K-EXAONE 2.0 LG AI Research 750B 激活 37B 256K Apache 2.0 (宽松) 518 GB GPU 服务器
Raon-1 nano KRAFTON 3.1B 256K Apache 2.0 (宽松) 1.98 GB 笔记本或手机