思考奇

似乎近期的论文卖点都是   End-to-End   大模型，堆上数据硬   train   一发，效果还比较好。 精心地改架构调参数，怎么总觉得是玄学呢？ 我总希望神经网络真正走向只能那一天，揭晓的答案会是 " 模块化 " 的，即特定神经网络解决特定的问题，还有上层的网络负责决定选择哪些神经网络参与进来，如何参与，有点像当今的 AutoML ；但另一方面又反复地思考人脑怎样学会复杂的事情，似乎又并非 " 模块 " 化，因为人脑不会额外长出一个脑组织来学新知识，但在衰老以前总是能学会新的知识，并且似乎并非   End-to-End   训练，往往是先学会这步，再学下一步， " 分段训练 " 。 我一直认为，所谓神经网络的训练应该等同于人类的研究过程。

人看东西是从轮廓到细节，而  CNN  是从细节到大体。 人识别车牌的过程大体是：看见车，到差不多的位置去看车牌，再阅读车牌的内容，某些看不清的字符还可以结合其他知识来辨识，比如所在城市。如果光线不好看不清车的轮廓，还可以因为看清了车牌而增强识别车的自信度。似乎不同的知识可以彼此增强。 CNN似乎是自底层向上传递信息，目前还没看到过上面的信息会增强底层信息的架构；这可能是一个很好的提升模型的切入点： 能否设计出神经网络的结构类似于人脑处理视觉？ 还有个问题是：人脑/眼真的是先识别轮廓吗？