模块化 还是 End-to-End

似乎近期的论文卖点都是 End-to-End 大模型，堆上数据硬 train 一发，效果还比较好。

精心地改架构调参数，怎么总觉得是玄学呢？

我总希望神经网络真正走向只能那一天，揭晓的答案会是"模块化"的，即特定神经网络解决特定的问题，还有上层的网络负责决定选择哪些神经网络参与进来，如何参与，有点像当今的AutoML；但另一方面又反复地思考人脑怎样学会复杂的事情，似乎又并非"模块"化，因为人脑不会额外长出一个脑组织来学新知识，但在衰老以前总是能学会新的知识，并且似乎并非 End-to-End 训练，往往是先学会这步，再学下一步，"分段训练"。

我一直认为，所谓神经网络的训练应该等同于人类的研究过程。