人脑中的残差网络

我偶然翻看研究生时买的一本《神经科学扩展》时，看到了人脑中也存在 shortcut 结构，对比起来好有趣。

当人眼看到危险或恐怖的景象时，大脑存在下图的两条途径产生恐惧感：

- （快速）视神经->丘脑->杏仁核

- （精确）视神经->丘脑->视觉皮质->杏仁核

快速通路产生恐惧感仅需12ms，也就是通常人们感觉到的"吓一跳"，这个时候往往大脑还没有搞清楚具体是什么让自己恐惧，因为没有经过视觉的高级中枢分析，只是快速地一个反映让机体"紧急戒备"。我认为这条快速通路可能是通过人的进化/演化而来（没有科学依据支持的分析），比如看见黄黑相间的类似于马蜂肚子样的警戒色人会下意识害怕，这不需要大脑皮层分析具体会有什么危险。

精确通路会慢一些，但是经过了视觉皮质的分析，能够得到具体的危险信息。

这两条途径看起来跟残差网络 ResNet 似乎有相似之处，丘脑看起来起到了初步的电信号处理，然后一部分信息直接交给 output layer 先输出个粗略而快速的结果，另一部分交给枕叶视觉中枢来精确地分析。

对于 YOLO 不能很好地识别小目标这个问题上，我试图分析人脑是如何看清小物体的原理，由此也对残差网络有许多臆想。这也使我一直存在疑问，为什么残差网络仅仅是跳过两三层，而不是直指 output layer？