1、局部最優(yōu)問題。

深度學習算法的目標函數(shù)，幾乎全都是非凸的。而目前尋找最優(yōu)解的方法，都是基于梯度下降的。稍微有點背景知識的人都知道，梯度下降方法是解決不了非凸問題的。因此，如果找到最優(yōu)解，將是深度學習領域，非常值得研究的課題。

2、內存消耗巨大，計算復雜。

內存消耗巨大和計算復雜體現(xiàn)在兩個方面。（1）訓練過程。（2）檢測過程。

這兩個過程的計算復雜，根本原因都是龐大的參數(shù)規(guī)模造成的。

3、人腦機理還有很多沒用上。

深度學習模擬的是人腦的其中一個很小的方面，就是：深度結構，以及稀疏性。

但事實上，人腦是相當復雜滴。關于視覺注意機制、多分辨率特性、聯(lián)想、心理暗示等功能，目前根本就沒有太多的模擬。所以神經(jīng)解剖學對于人工智能的影響應該是蠻大的。將來要想掀起機器智能的另一個研究高潮，估計還得繼續(xù)借鑒神經(jīng)解剖學。

4、人為設計模版的可行性。

一直在想，為什么第一層用于檢測角點和邊緣這種簡單特征的模版，一定需要通過無監(jiān)督訓練得到，如果人為實現(xiàn)模擬的話，能否也得到較為理想的結果呢？

5、代價函數(shù)的設計方法。

代價函數(shù)的設計，在初學者看來，是很奇怪的。代價函數(shù)的設計，直接影響到最終的模版訓練結果，可以說是深度學習中最核心的模塊。

6、整個神經(jīng)網(wǎng)絡系統(tǒng)的設計。

神經(jīng)網(wǎng)絡的設計方法，包含了研究人員對人腦的理解方式。CNN、RBM，以及andrew項目組設計的變態(tài)網(wǎng)絡，都各有各的特色。要把整個網(wǎng)絡框架設計好，還是比較需要經(jīng)驗的，也是相當費腦力的。當然，這是整個領域最有研究價值的模塊。