【王利民】：从训练的角度来说，由于这个基础模型它的参数通常会比较多，因此训练通常会被分解、拆解为、一个叫预训练，然后再加一个迁移学习的这么一个范式；那么预训练呢，通常我们是希望能够尽可能的啊——减少人的标记，啊，用一些更加高效、可拓展的、这种无监督的或者自监督的方式，通过海量的数据来对我们的啊——这个编码器做一个初始化，那么迁移学习的可能更多的是，我们会考虑到下游任务的一些场景的这个特性，以及我们任务解码器的这么一个设计，希望能有一个高效的方式，可以把大模型啊，不管是参数高效还是计算高效的方式，能够迁移到下一个任务，所以说因此而言，我觉得就未来的这个视觉大模型——“你”可能不可能像自然语言发展的这么完美，就说“哎，我一个模型就可以解决很多事情”；
可能很多时候我们是有一个基础模型，但是我们针对不同的任务体系啊，我们可能会有不同的算法啊，或者有不同的解码的这个体系，乃至于我们可能还有不同的这么这个预训练的方式啊，或者说不同的这个迁移学习的方式啊，所以说我认为他可能对应的是一套算法的体系，可能不一定是只有一个（算法体系）…

我当时听到这里感觉还是有点感想，这里其实就是讲述了decoder存在的其中一个源由：就是在实现下游任务时，需要一个解码器来适配下游任务的表示；

ViT-22B (2023)