目前的现状是:
- 系统并不一定支持模型训练和修改,需要专门的设备
- 小模型和大模型能力差距不是线性的,像 GPT3 的很多能力是凸现的,GPT2 中并没有
- 增量式学习和交互反馈式的强化学习其实也是从理论上和实现上也是一个很难的事情(想要获取各种任务的反馈起码得有系统级别的 API 支持,比如知道你最后选了什么文件作为标签,不像搜索引擎可以直接用用户点击就能作为反馈)
- rewind 不是用一个模型来做的,OCR就是调用的系统的接口,多模态模型需要的数据和参数会更多
- 大概就是你想要的能力,一个人的数据是不够的,怎么联邦学习或者上面各种还是在学术界的状态