TensorFlow 機器學(xué)習(xí)和深度學(xué)習(xí)概念入門

作者：譚東

    對于很多初入學(xué)習(xí)人工智能的學(xué)習(xí)者來說，對人工智能、機器學(xué)習(xí)、深度學(xué)習(xí)的概念和區(qū)別還不是很了解，那么接下來就給大家從概念和特點上進行闡述。先看下三者的關(guān)系。

    人工智能包括了機器學(xué)習(xí)，機器學(xué)習(xí)包括了深度學(xué)習(xí)，他們是子類和父類的關(guān)系。

    先看什么是人工智能。人工智能（Artificial Intelligence），英文縮寫為AI。是計算機科學(xué)的一個分支，二十世紀(jì)七十年代以來被稱為世界三大尖端技術(shù)之一（空間技術(shù)、能源技術(shù)、人工智能）。也被認(rèn)為是二十一世紀(jì)三大尖端技術(shù)（基因工程、納米科學(xué)、人工智能）之一。1956年夏季，以麥卡賽、明斯基、羅切斯特和申農(nóng)等為首的一批有遠見卓識的年輕科學(xué)家在一起聚會，共同研究和探討用機器模擬智能的一系列有關(guān)問題，并首次提出了“人工智能”這一術(shù)語，它標(biāo)志著“人工智能”這門新興學(xué)科的正式誕生。人工智能是對人的意識、思維的信息過程的模擬。人工智能不是人的智能，但能像人那樣思考、也可能超過人的智能。數(shù)學(xué)常被認(rèn)為是多種學(xué)科的基礎(chǔ)科學(xué)，數(shù)學(xué)也進入語言、思維領(lǐng)域，人工智能學(xué)科也必須借用數(shù)學(xué)工具。

    人工智能實際應(yīng)用：機器視覺，指紋識別，人臉識別，視網(wǎng)膜識別，虹膜識別，掌紋識別，專家系統(tǒng)，自動規(guī)劃，智能搜索，定理證明，博弈，自動程序設(shè)計，智能控制，機器人學(xué)，語言和圖像理解，遺傳編程等。涉及到哲學(xué)和認(rèn)知科學(xué)，數(shù)學(xué)，神經(jīng)生理學(xué)，心理學(xué)，計算機科學(xué)，信息論，控制論，不定性論等學(xué)科。研究范疇包括自然語言處理，知識表現(xiàn)，智能搜索，推理，規(guī)劃，機器學(xué)習(xí)，知識獲取，組合調(diào)度問題，感知問題，模式識別，邏輯程序設(shè)計軟計算，不精確和不確定的管理，人工生命，神經(jīng)網(wǎng)絡(luò)，復(fù)雜系統(tǒng)，遺傳算法等。人工智能目前也分為：強人工智能(BOTTOM-UP AI)和弱人工智能(TOP-DOWN AI)，有興趣大家可以自行查看下區(qū)別。

    機器學(xué)習(xí)(Machine Learning, ML)，是人工智能的核心，屬于人工智能的一個分支，是一個大的領(lǐng)域，是讓計算機擁有像人一樣的學(xué)習(xí)能力，模擬和實現(xiàn)人的學(xué)習(xí)行為和能力，可以像人一樣具有識別和判斷的能力，可以看作是仿生學(xué)。機器學(xué)習(xí)應(yīng)用領(lǐng)域十分廣泛，例如：數(shù)據(jù)挖掘、數(shù)據(jù)分類、計算機視覺、自然語言處理（NLP）、生物特征識別、搜索引擎、醫(yī)學(xué)診斷、檢測信用卡欺詐、證券市場分析、DNA序列測序、語音和手寫識別、戰(zhàn)略游戲和機器人運用等。

    李飛飛說，機器是又快又準(zhǔn)確，但是人類聰明呀！機器學(xué)習(xí)其實是在總結(jié)數(shù)據(jù)，預(yù)測未知。它具有高速的計算能力，我們可以通過不斷的學(xué)習(xí)用它來識別各種植物、動物等，并提高準(zhǔn)確率。

機器學(xué)習(xí)的工作方式：

1）選擇數(shù)據(jù)：將你的數(shù)據(jù)分成三組：訓(xùn)練數(shù)據(jù)、驗證數(shù)據(jù)和測試數(shù)據(jù)。

2）模型數(shù)據(jù)：使用訓(xùn)練數(shù)據(jù)來構(gòu)建使用相關(guān)特征的模型。

3）驗證模型：使用你的驗證數(shù)據(jù)接入你的模型。

4）測試模型：使用你的測試數(shù)據(jù)檢查被驗證的模型的表現(xiàn)。

5）使用模型：使用完全訓(xùn)練好的模型在新數(shù)據(jù)上做預(yù)測。

6）調(diào)優(yōu)模型：使用更多數(shù)據(jù)、不同的特征或調(diào)整過的參數(shù)來提升算法的性能表現(xiàn)。

機器學(xué)習(xí)的分類：

基于學(xué)習(xí)策略的分類

1）機械學(xué)習(xí) (Rote learning)

2）示教學(xué)習(xí) (Learning from instruction或Learning by being told)

3）演繹學(xué)習(xí) (Learning by deduction)

4）類比學(xué)習(xí) (Learning by analogy)

5）基于解釋的學(xué)習(xí) (Explanation-based learning, EBL)

6）歸納學(xué)習(xí) (Learning from induction)

基于所獲取知識的表示形式分類　

1）代數(shù)表達式參數(shù)

2）決策樹

3）形式文法

4）產(chǎn)生式規(guī)則

5）形式邏輯表達式

6）圖和網(wǎng)絡(luò)

7）框架和模式（schema）

8）計算機程序和其它的過程編碼

9）神經(jīng)網(wǎng)絡(luò)

10）多種表示形式的組合

綜合分類

1）經(jīng)驗性歸納學(xué)習(xí) (empirical inductive learning)

2）分析學(xué)習(xí)（analytic learning）

3）類比學(xué)習(xí)

4）遺傳算法（genetic algorithm）

5）聯(lián)接學(xué)習(xí)

6）增強學(xué)習(xí)（reinforcement learning）

學(xué)習(xí)形式分類

1）監(jiān)督學(xué)習(xí)(supervised learning)

2）非監(jiān)督學(xué)習(xí)(unsupervised learning)

當(dāng)然，后面的深度學(xué)習(xí)也有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)的區(qū)分。

    接下來看下深度學(xué)習(xí)。深度學(xué)習(xí)（Deep Learning）是機器學(xué)習(xí)的一種，是它的一個大的分支，深度學(xué)習(xí)的概念由Hinton等人于2006年提出，深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。既然叫做學(xué)習(xí)，那么自然與我們?nèi)祟惖膶W(xué)習(xí)過程有相似之處，其實就是仿生學(xué)，仿照我們?nèi)祟惔竽X的思維方式以及神經(jīng)網(wǎng)絡(luò)的接收和反饋方式進行計算機模擬深度學(xué)習(xí)的。我們的大腦就是一個深度學(xué)習(xí)的超級計算機。深度學(xué)習(xí)實際上指的的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，普通神經(jīng)網(wǎng)絡(luò)由于訓(xùn)練代價較高，一般只有3-4層，而深度神經(jīng)網(wǎng)絡(luò)由于采用了特殊的訓(xùn)練方法加上一些技術(shù)算法，可以達到8-10層。深度神經(jīng)網(wǎng)絡(luò)能夠捕捉到數(shù)據(jù)中的深層聯(lián)系，從而能夠得到更精準(zhǔn)的模型，而這些聯(lián)系不容易被普通的機器學(xué)習(xí)方法所發(fā)覺。

    用官方的含義就是：含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。同機器學(xué)習(xí)方法一樣，深度機器學(xué)習(xí)方法也有監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之分．不同的學(xué)習(xí)框架下建立的學(xué)習(xí)模型很是不同．例如，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks，簡稱CNNs）就是一種深度的監(jiān)督學(xué)習(xí)下的機器學(xué)習(xí)模型，而深度置信網(wǎng)（Deep Belief Nets，簡稱DBNs）就是一種無監(jiān)督學(xué)習(xí)下的機器學(xué)習(xí)模型。

    深度學(xué)習(xí)整個過程就是數(shù)據(jù)收集、數(shù)據(jù)清洗處理、傳入數(shù)據(jù)進行訓(xùn)練模型和學(xué)習(xí)優(yōu)化、經(jīng)過不斷優(yōu)化調(diào)節(jié)后形成高準(zhǔn)確率的識別分類模型，供相應(yīng)的領(lǐng)域進行傳入相關(guān)數(shù)據(jù)進行應(yīng)用分類。舉個例子，我們?nèi)祟愒趧偝錾鷷r看到一個手機，那么他是不知道這個是什么的，并且有各種各樣形狀和樣式的手機，此時我們的深度學(xué)習(xí)系統(tǒng)初始狀態(tài)就是這樣的。但是經(jīng)過父母和周圍的分類和指導(dǎo)，我們漸漸的知道了這種樣子和形狀、功能的物體是手機，那么我們通過大量的數(shù)據(jù)就具有了學(xué)習(xí)和分辨手機的能力模型，那么這就是我們的深度學(xué)習(xí)系統(tǒng)在經(jīng)過數(shù)據(jù)和算法訓(xùn)練后所具備的功能和學(xué)習(xí)能力。就是這么簡單，可以說就是仿生學(xué)。

    2017年CCF青年精英大會，香港中文大學(xué)教授湯曉鷗指出，深度學(xué)習(xí)的三大核心要素，就是算法設(shè)計、高性能的計算能力、大數(shù)據(jù)。我覺得應(yīng)該按照這個順序排序：大數(shù)據(jù)、算法設(shè)計、高性能的計算能力。

    例如深度學(xué)習(xí)在語音識別和自然語言領(lǐng)域，微軟研究人員通過與hinton合作，首先將RBM和DBN引入到語音識別聲學(xué)模型訓(xùn)練中，并且在大詞匯量語音識別系統(tǒng)中獲得巨大成功，使得語音識別的錯誤率相對減低30%。但是，DNN還沒有有效的并行快速算法，很多研究機構(gòu)都是在利用大規(guī)模數(shù)據(jù)語料通過GPU平臺提高DNN聲學(xué)模型的訓(xùn)練效率。在國際上，IBM、google等公司都快速進行了DNN語音識別的研究，并且速度飛快。國內(nèi)方面，阿里巴巴，科大訊飛、百度、中科院自動化所等公司或研究單位，也在進行深度學(xué)習(xí)在語音識別上的研究。

    最后，給大家附帶一個深度學(xué)習(xí)部分常用的神經(jīng)網(wǎng)絡(luò)算法的圖形展示。

參考文獻：

[1]http://openclassroom.stanford.edu/

[2]斯坦福CS231n—深度學(xué)習(xí)與計算機視覺

[3]http://www.asimovinstitute.org/neural-network-zoo/