據(jù) Emergen Research 分析稱，到 2028 年，全球深度學習市場規(guī)模預(yù)計將以 39.1% 的穩(wěn)定復(fù)合年增長率達到 933.4 億美元，推動其市場收入的關(guān)鍵因素是采用基于云的技術(shù)和在大數(shù)據(jù)分析中使用深度學習系統(tǒng)。

　　那么，究竟什么是深度學習?它如何工作?

　　據(jù)《VentureBeat》在近日《這就是深度學習如此強大的原因》一文中總結(jié)道：深度學習是機器學習的一個子集，它使用神經(jīng)網(wǎng)絡(luò)來執(zhí)行學習和預(yù)測。深度學習在各種任務(wù)中都表現(xiàn)出了驚人的表現(xiàn)，無論是文本、時間序列還是計算機視覺。深度學習的成功主要來自大數(shù)據(jù)的可用性和計算能力，這使得深度學習的表現(xiàn)遠遠優(yōu)于任何經(jīng)典的機器學習算法。

　　深度學習的本質(zhì)：神經(jīng)網(wǎng)絡(luò)和函數(shù)

　　有網(wǎng)友曾笑言，“當你想要擬合任何函數(shù)或者任何分布，而又沒有思路時，試試神經(jīng)網(wǎng)絡(luò)吧!”

　　先上兩個重要結(jié)論：

　　神經(jīng)網(wǎng)絡(luò)是一個相互連接的神經(jīng)元網(wǎng)絡(luò)，每個神經(jīng)元都是一個有限函數(shù)逼近器。這樣，神經(jīng)網(wǎng)絡(luò)被視為通用函數(shù)逼近器。

　　深度學習是具有許多隱藏層(通常大于 2 個隱藏層)的神經(jīng)網(wǎng)絡(luò)。深度學習是從層到層的函數(shù)的復(fù)雜組合，從而找到定義從輸入到輸出的映射的函數(shù)。

　　在高中數(shù)學我們會學到，函數(shù)就是從輸入空間到輸出空間的映射。一個簡單的 sin (x)函數(shù)是從角空間(-180°到 180°或0°到 360°)映射到實數(shù)空間(-1 到1)。函數(shù)逼近問題是函數(shù)論的重要組成部分，涉及的基本問題是函數(shù)的近似表示問題。

　　那么，為什么神經(jīng)網(wǎng)絡(luò)被認為是通用函數(shù)逼近器呢?

　　每個神經(jīng)元學習一個有限的函數(shù)：f(.)=g(W*X)其中W是要學習的權(quán)重向量，X是輸入向量，g(.)是非線性變換。W*X可以可視化為高維空間(超平面)中的一條線，而g(.)可以是任何非線性可微函數(shù)，如 sigmoid、tanh、ReLU 等(常用于深度學習領(lǐng)域)。

　　在神經(jīng)網(wǎng)絡(luò)中學習無非就是找到最佳權(quán)重向量W。例如，在y=mx+c中，我們有 2 個權(quán)重：m和c。現(xiàn)在，根據(jù)二維平面空間中點的分布，我們找到滿足某些標準的m及c的最佳值，那么對于所有數(shù)據(jù)點，預(yù)測y和實際點之間的差異最小。

　　神經(jīng)網(wǎng)絡(luò)“層”效果：學習具體到類別概括的映射

　　如果輸入是獅子的圖像，輸出是屬于獅子類的圖像分類，那么深度學習就是學習將圖像向量映射到類的函數(shù)。類似地，輸入是單詞序列，輸出是輸入句子是否具有正面/中性/負面情緒。因此，深度學習是學習從輸入文本到輸出類的映射：中性或正面或負面。

　　如何實現(xiàn)上述任務(wù)呢?

　　每個神經(jīng)元都是一個非線性函數(shù)，我們將幾個這樣的神經(jīng)元堆疊在一個“層”中，每個神經(jīng)元接收相同的一組輸入但學習不同的權(quán)重W。因此，每一層都有一組學習函數(shù)：f1,f2,…,fn，稱為隱藏層值。這些值再次組合，在下一層：h(f1,f2,...,fn)等等。這樣，每一層都由前一層的函數(shù)組成(類似于h(f(g(x))))。已經(jīng)表明，通過這種組合，我們可以學習任何非線性復(fù)函數(shù)。

　　深度學習是具有許多隱藏層(通常大于 2 個隱藏層)的神經(jīng)網(wǎng)絡(luò)。深度學習是從層到層的函數(shù)的復(fù)雜組合，從而找到定義從輸入到輸出的映射的函數(shù)。

　　深度學習作為曲線擬合的插值：過度擬合挑戰(zhàn)與泛化目標

　　深度學習先驅(qū) Yann LeCun(卷積神經(jīng)網(wǎng)絡(luò)的創(chuàng)造者和圖靈獎獲得者)曾在推特上發(fā)帖稱，“深度學習并沒有你想象的那么令人驚嘆，因為它僅僅是美化曲線擬合的插值。但是在高維中，沒有插值之類的東西。在高維空間，一切都是外推。”

　　插值(interpolation)是離散函數(shù)逼近的重要方法，利用它可通過函數(shù)在有限個點處的取值狀況，估算出函數(shù)在其他點處的近似值。

　　從生物學的解釋來看，人類通過逐層解釋圖像來處理世界的圖像，從邊緣和輪廓等低級特征，到對象和場景等高級特征。神經(jīng)網(wǎng)絡(luò)中的函數(shù)組合與此一致，其中每個函數(shù)組合都在學習關(guān)于圖像的復(fù)雜特征。用于圖像最常見的神經(jīng)網(wǎng)絡(luò)架構(gòu)是 CNN (Convolutional Neural Networks,卷積神經(jīng)網(wǎng)絡(luò))，它以分層方式學習這些特征，然后一個完全連接的神經(jīng)網(wǎng)絡(luò)將圖像特征分類為不同的類別。

　　比如，給定一組平面上的數(shù)據(jù)點，我們嘗試通過插值擬合曲線，該曲線在某種程度上代表了定義這些數(shù)據(jù)點的函數(shù)。我們擬合的函數(shù)越復(fù)雜(例如在插值中，通過多項式次數(shù)確定)，它就越適合數(shù)據(jù);但是，它對新數(shù)據(jù)點的泛化程度越低。

　　這就是深度學習面臨挑戰(zhàn)的地方，也就是通常所說的過度擬合問題：盡可能地擬合數(shù)據(jù)，但在泛化方面有所妥協(xié)。幾乎所有深度學習架構(gòu)都必須處理這個重要因素，才能學習在看不見的數(shù)據(jù)上表現(xiàn)同樣出色的通用功能。

　　深度學習如何學習?問題決定了神經(jīng)網(wǎng)絡(luò)架構(gòu)

　　那么，我們?nèi)绾螌W習這個復(fù)雜的函數(shù)呢?

　　這完全取決于手頭的問題，其決定了神經(jīng)網(wǎng)絡(luò)架構(gòu)。如果我們對圖像分類感興趣，那么我們使用 CNN。如果我們對時間相關(guān)的預(yù)測或文本感興趣，那么我們使用 RNN(Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò)) 或 Transformer，如果我們有動態(tài)環(huán)境(如汽車駕駛)，那么我們使用強化學習。

　　除此之外，學習還涉及處理不同的挑戰(zhàn)：

　　·通過使用正則化(regularization，用來防止訓(xùn)練的模型產(chǎn)生過擬合與欠擬合現(xiàn)象)處理確保模型學習通用函數(shù)，而不僅僅適合訓(xùn)練數(shù)據(jù)。

　　·根據(jù)手頭的問題，選擇損失函數(shù)。粗略地說，損失函數(shù)是我們想要的(真實值)和我們當前擁有的(當前預(yù)測)之間的誤差函數(shù)。

　　·梯度下降是用于收斂到最優(yōu)函數(shù)的算法。決定學習率變得具有挑戰(zhàn)性，因為當我們遠離最優(yōu)時，我們想要更快地走向最優(yōu)，而當我們接近最優(yōu)時，我們想要慢一些，以確保我們收斂到最優(yōu)和全局最小值。

　　·大量隱藏層需要處理梯度消失問題。跳過連接和適當?shù)姆蔷€性激活函數(shù)等架構(gòu)變化，有助于解決這個問題。

　　基于神經(jīng)架構(gòu)與大數(shù)據(jù)：深度學習帶來計算挑戰(zhàn)

　　現(xiàn)在我們知道深度學習只是一個學習復(fù)雜的函數(shù)，它帶來了其他計算挑戰(zhàn)：

　　要學習一個復(fù)雜的函數(shù)，我們需要大量的數(shù)據(jù);為了處理大數(shù)據(jù)，我們需要快速的計算環(huán)境;因此，我們需要一個支持這種環(huán)境的基礎(chǔ)設(shè)施。

　　使用 CPU 進行并行處理不足以計算數(shù)百萬或數(shù)十億的權(quán)重(也稱為 DL 的參數(shù))。神經(jīng)網(wǎng)絡(luò)需要學習需要向量(或張量)乘法的權(quán)重。這就是 GPU 派上用場的地方，因為它們可以非常快速地進行并行向量乘法。根據(jù)深度學習架構(gòu)、數(shù)據(jù)大小和手頭的任務(wù)，我們有時需要 1 個 GPU，有時，數(shù)據(jù)科學家需要根據(jù)已知文獻或通過測量 1 個 GPU 的性能來做出決策。

　　通過使用適當?shù)纳窠?jīng)網(wǎng)絡(luò)架構(gòu)(層數(shù)、神經(jīng)元數(shù)量、非線性函數(shù)等)以及足夠大的數(shù)據(jù)，深度學習網(wǎng)絡(luò)可以學習從一個向量空間到另一個向量空間的任何映射。這就是讓深度學習成為任何機器學習任務(wù)的強大工具的原因。
　　（邯鄲小程序開發(fā)）