Repository navigation
MiniCPM-o 4.5 技术报告细节疑问。 #1093
Description
你好，MiniCPM-o 4.5非常赞的工作 ！！！
在看其技术报告数据部分4.2 Vision-Language Data中，说有一部分是Text-only Data，请问：
（1）这部分纯文本数据全是sft吗？总的量级大概是多大呢？主要占比都是些什么样的分布，比如是偏数学？代码吗？
（2）纯文本数据占最后整个训练数据比例大概是多少？有做过一些大概纯文本占比多少就比较能保持原始模型智商的实验吗？
期待官方大大的解惑～～
Metadata
Metadata
Assignees
Labels
No labels
Activity
YuzaChongyi commentedon May 14, 2026
你好，(1) 纯文本数据在完整训练中不仅仅是 sft 格式，在大规模 pretrain 阶段也会有包括通用网页 / 代码 / 数学等等这类的预训练语料，总量级跟多模态数据合适配比即可; (2) 文本能力保持更重要的还是文本 sft 的数据质量
Mryangkaitong commentedon May 15, 2026
非常感激回复！
看技术报告说backbone是基于qwen3-8B热启的，那如果包括通用网页这种数据，也就是说热启的backbone其实是qwen3-8B的base model，而不是qwen3-8B的sft或者说Instruct版本？为什么不考虑Instruct版本热启呢？这样就更省去指令对齐了？
我也看了一下Qwen2.5-Omni、Qwen3-Omni等，看论文也是没有详细说清是基于base还是sft热启的，所以对于业界这块热启的通用做法比较困惑，期待大佬解答～～～