話說五月下旬在：
台灣「人工智慧」社團 https://www.facebook.com/groups/Taiwan.AI.Group/
回了一篇落落長的文，要找的時候才發現被砍文了。
在別人的地盤發文的缺點就是刀在人家手上，想砍隨便砍…
看這張擷圖，我在回這篇前幾天寫了一篇落落長的回文，在這篇回應時提到另一篇給樓主看，兩天前要找已經找不到了。
有圖有真相
我也忘了那篇不見的文章在講啥，就輕鬆分享一些我的想法吧。
1992 (民81) 升大三的暑假，我參加了我唸研究所指導教授的研究生 meeting ，就當成研究會好了，我還記得陳德源學長念混沌 (chaos)、劉業主學長負責念模糊 (fuzzy)，還有幾個學長念啥我忘了，一個負責專家系統，我負責念類神經網路 (ANN) ，這是我最早接觸人工智慧 (AI) 的年代，當時念類神經網路應該是一本倚天出的電腦書，那本書大概只有概念，沒辦法依據這個概念去實作。
1994 (民83) 碩一上，去成大電機所念碩博合開的類神經網路，授課教授規定作業都要交程式碼跟運行結果，所以我就買了葉怡成教授的類神經網路，那時候葉老師的書是有 C的程式碼，我則是看懂後，改用 Quick Basic 4.5 寫作業，果然，實作才是王道，我終於開始入門了。後來葉怡成老師新改版的書已經抽掉程式碼。
碩士作業 類神經網路原始碼
碩士班搞了很多東西，主要包含 GIS 跟 NetFlow Programming，到了碩二下的三月，指導教授叫我列出來得及畢業的論文方向，並簡易試作，其中網流規劃我是計畫專任助理，會跟計畫成果有重疊，所以碩士論文就決定是類神經網路。
四月春假把原先的 QB 程式碼改用 Visual Basic 3 改寫後，每天晚上研究室的多台電腦都被我借來做算不同案例的批次學習，一早我再去每台電腦把計算結果拷貝到電腦進行分析檢討。
我的碩士論文是從曾文水庫九個電傳雨量站去預報未來一小時後曾文水庫的進水量，內容可到我個人網站找，網誌這邊沒有。
一開始滿白目的，犯了一個通盤的錯誤，所以我學習訓練的結果我總合來說，不用學習就可以使用公式：
f(t+1)=f(t)
來取代。
認真去看很多論文，其實都犯了這個錯誤，只用觀測量去推估預測量，例如預測一小時後，得到的結論是預測得很好，預測值只落後觀測值一小時。這種結論其實就是：
f(t+1)=f(t)
好在那時有念時序列分析，當我自己得到跟別人相同結論：「預測得很好，預測值只落後觀測值一小時」時，我是很洩氣，為啥大家做的都差不多，那到底用 ANN 還有甚麼意義？看著看著就想到時系列分析的 AR 模式，然後回想到非線性規劃，我就悟了。
這個狀況在五月初發現，說實在的，以碩士論文程度來說，沒發現也不會怎樣，更不要說那個年代沒幾個人懂，繼續往下做也沒關係，反正就是多一篇垃圾，當然發現得早就是指導教授會要我改… 所以我在 BPN (倒傳遞網路) 裡面加入了不學習的輸出節點當成系統內能，再轉入下一個時段的輸入節點。
這邊就要說，如果使用現成的套件，是不可能自己改架構的，學習不可能允許一個輸出值不被控制，所以能的話還是自己開發比較好，架構可以隨意調整，學習目標也可以任意變動，前期的值域，選擇的反映函數，輸出的映射，學習的目標函數，參數的最佳化等，才能自行變動。
再忙到七月論文口試之前，又體驗了過度描述 (over fitting) 問題。
用基本的數學原理來看問題。
一條變數、一條方程式可以得到一個唯一解。
所以當 n 個變數時，至少需要簡化後方程式還有 n 個方程式才能得到唯一解。
若小於上述條件時，將為無限多組解，當大於上述條件時，將得到近似解。
這段說得很饒口，我再舉一個簡例，大家都會線性回歸吧？線性回歸直接有公式算，在 Excel 只要在圖上按一下滑鼠右鍵就可以加入。
y=ax+b
有兩個變數 a, b
當只有一點 (x1,y1) 時，可以決定出無限多條直線方程式。
當有兩點 (x1,y1)、(x2,y2) 時，可以得到唯一一條直線方程式。 (這兩行是國中數學)
當有三點 (x1,y1)、(x2,y2)、(x3,y3)、…、(xn,yn) 以上時，可得到一條近似方程式最接近所有的點，也就是回歸方程式。 (這行是高中數學)
所以從上面的簡例可以知道，要有一個正確解，至少方程式要大於等於變數量，你才能得到唯一解或近似解來接近真正解，而不是無意義的無限多組解來拚運氣。
以 BPN 來說，參數量很好計算，是依據反應函數方程式來推，所以一層隱藏層就是 3 次方的參數量，而要學習的數據有限，所以只能透過降低參數量來改善過度描述的問題。
比如說一個七次方程式如果因為曲率變化不大，我們可能可以降階到改用三次方程式描述這個函數，所以就減少了四參數。
因此，我需要修剪我的 BPN ，把不重要的因子去掉，保留重要的因子進行分析，所以透過敏感度分析後，把影響不大的變數優先移除掉，以確保我的變數量小於我要學習的組數。
如果是說倒傳遞網路 (BPN) 的批次學習，我的理解是參數量x6 是最少的批次學習尺度，參數量的計算是 神經元數 + 兩兩層數相乘，假設是標準的超越函數，原因是依據數學方成組理論來，變數大於方程組，無限多組解，變數等於方程組，唯一解，變數小於方程組 在目標函數下跑最佳化才有意義，也就是說學習才有意義。大於參數量 是有義解，3 倍學習量是建議最小值，如果是高度非線性，例如三角函數，至少需 6 倍學習量才能良好的描述，所以學習的筆數少於參數量，從數學來看是無義解。
我是覺得當時我碩士論文針對 ANN 找到這些重點算滿大貢獻的了，不過青睞的人不多，還好葉怡成教授看上了，還發個 eMail 給我說要放到參考資料內，我 Outlook 內還有留 1997/11/21 回給葉老師的信…
碩士論文全文可到臺灣博碩士論文知識加值系統下載：https://ndltd.ncl.edu.tw/
鄭子璉，「分佈型類神經網路降雨逕流模式之研究」，碩士論文，國立成功大學水利及海洋工程研究所，民國 85 年 6月。
當然直接在臺灣博碩士論文知識加值系統可以搜尋到更多其他人的論文，做研究這個網站很重要。
當兵的時候，指導教授有要我把論文精簡後投研討會論文：http://www.tlcheng.tk/Paper/ANNRunoff/97topic.htm
當兵的時候，慢慢的想通所謂的學習，就是等同參數最佳化，就是非線性規劃的一種，ANN 通常採用的反應函數都是超越函數，透過微分 (牛頓法) 得到參數變化率的斜率，針對該斜率修正參數，逐步逼近最佳參數，達成最佳學習。
這裡面又有兩個關鍵點：
1. 參數最佳化
2. 評估函數 (目標函數)
首先先談參數最佳化。
牛頓法由於透過斜率為 0 來逼近最佳解，從高三數學教微積分就會教到，這會掉到區域最佳解。所以 ANN 透過多次亂數為起始值進行學習，來盡量找到全域最佳解。
非線性規劃屬於數學規劃的一種，而非線性規劃裡面談到最多的就是怎樣閃掉區域最佳解，所以為了解決這個問題，發展出多種參數逼近的方式。
在人工智慧裡面有個旁支是遺傳演算法，遺傳演算法若從非線性規劃的角度去解釋的話，可以當成格網縮放法 + 隨機格網，可以找到很多研究關於類神經網路與遺傳演算法的混和應用，我個人對於那種把兩種方法分兩步驟用的，沒有感覺，我認為拿遺傳演算法來做學習的，才叫做混和應用。
比如說牛頓法的原理是微分斜率為 0 ，重點就是連續可微。但是實際的應用大多數是有界的，就會產生不連續面，也就是不可微分點，如果還硬用牛頓法硬套，很大的可能結果是一直落在邊界附近的區域最佳解。
這種情形數學理論上來說，應該改用可處理有界或是不連續的非線性規畫法來推參數，也就是所謂的學習，而不是直接用既有的函數庫硬套學習，牛頓法如果能成為通解，後面也不會有一堆數學家研究非線性規劃的方法冒出來。
當然，非線性規劃有很多方法，用其他方法來取代牛頓法進行學習都是提高 ANN 的價值，回到老問題，想要做到這件事，就得自己開發軟體。
其次很重要的是評估函數。
大多數 BPN 可能會用均方根誤差來做評估函數，均方根越小，就認定參數越好，均方根縮小的曲線，就被稱為學習曲線。
很多軟體允許使用者選擇評估函數，但是也是有限的幾種。
從前面討論的線性回歸來看評估函數，線性回歸的公式應該是高二下在教，是利用 y 軸的最小距離平方法來推導，又稱最小平方法或是最小二乘方法。
均方根顧名思義，就是把誤差開根號取平均，最小平方法就是把誤差取平方。兩個在應用上的差別是容易受少數特異點影響，而造成回歸式改變，而均方根誤差，則是因為不受少數特異點影響而改變。
舉個例子好了，比如說要預測雨量，以南部地區來說大部分的情況下是不下雨的，只有少數情形是下雨。所以我不用任何 AI 模式或衛星雲圖，我直接給你 f(t+1)=0 ，也就是說我永遠預測未來一小時後降雨量為 0 ，我的準確率可達 98% 以上，因為南部下雨天數少於 60 天，所以算起來超過 98% 是不下雨的，那麼我到底準還是不準？以降雨預測資料進行學習，若使用均方根誤差，則預測的降雨會偏向 0 ，若使用最小平方法，則預設的降雨會比較大，因為小值的誤差，平方後幾乎沒影響，大值平方後影響就會很大，所以預測的結果就會跟著變化。
拿線性回歸來玩，可以玩甚麼？不要再套用線性回歸，而改用非線性規劃來推估
y=ax+b
的 a, b 兩參數。
比如說就用最小均方根誤差、最大相關係數來比。
我找到了一篇剛好在討論這件事，也用了線性回歸來檢討：
機器學習大神最常用的 5 個回歸損失函數，你知道幾個？ https://buzzorange.com/techorange/2018/06/22/computer-learning-5-tips/
從輸出資料的特性，需正確選對評估函數，再使用此評估函數進行參數最佳化 (學習) ，整個設計的模型才會有意義。
用非線性規劃去做 ANN 的參數最佳化是退伍後才領悟的，放在前面是為了比較好的說明，當兵時主要想通的是評估函數這塊。退伍後，回到成大做研究助理，考博士班，所以回學校後就繼續參加研究會，那時相關的論文就多了。
我 ANN 的 VB3 原始碼先給一位直升碩士班的大四吳學弟做直升生的專題研究。
念博士班以後，把我原先的 ANN 模式升級到 VB6 後，幫一個無心唸碩士的學弟做颱風降雨預測。 (http://www.tlcheng.tk/Paper/rain00/rain00.htm)
類神經網路的 VB6 原始碼
又到資管及工業管理研究所去念數學規劃，才把這塊讀通。到了博三升博四的那年暑假，指導教授要我自己列研究方向決定博士論文，我列了六個方向，其中類神經網路部分，當時有個逢甲來的博一陳學弟碩士做這塊，指導教授要我讓給學弟，最後依據系上大老蔡教授的建議下，走第七個方向 Hydro-Information ，所以才把人工智慧擺在一旁。
AI 人工智慧，在現代資訊技術進步下，應該明確的重新定義。
人工智慧的核心在模擬思考，只會計算的，那叫做計算機 (computer) 。
人腦不是記憶龐大就會產生智慧，更不是透過雲端查詢問題解決方案 (你以為打電話給廠商客服就算你有智慧嗎？)
人工智慧的
第一步是建造出模擬人類思考的正確模型，類神經網路只是簡化後的 Lite 版。
第二步是正確思考。
第三步是獨立思考。
第四部是創造性思考。
換種想法吧，就像養小孩，第一步老天爺做完了，所以第二步是你要教小孩甚麼是對的，第三步是你要信任小孩做正確的事，第四步是他能創造出新的價值。
所以 AI 的核心在第一步。
那麼跟雲端有啥關係？是認為目前電腦的計算速度跟儲存速度比不上人腦嗎？
演算法建模並驗證完成後，成為一個穩定的產品時，才是考慮雲端的時機，就跟檔案空間一樣，一台電腦只能服務你，一台雲端可以服務無數的你。
開發測試 AI 是小範圍的事，已開發完成的 AI 服務大眾才需要雲端，至少是第六步以後的事。
很多人把 AI 過度神化，我就問個問題，我現在要算 4 個數字的平均。
麻煩使用 AI 模型建立平均的架構，我要求也不高，算出來的平均誤差在 1% 以內就好。
ㄜ…
我以前玩過，會讓你懷疑人生，不是，是懷疑所謂的人工智慧。這種類型的硬要凹人工智慧的話，應該改用專家系統做，當然啦，平均直接用個函數就算出來了，是誰教你用所謂的人工智慧做？當然未來希望能整合進人工智慧裡，那就是要像人腦一樣，分理性跟感性，專家系統做理性，類神經網路做感性。
就跟幾年前雲端大熱一樣，雲端不就是伺服器(群)？改個名詞而已。
目前的人工智慧比較流於前人開發好的架構去套用，比如說人臉辨識的架構去套用不同的人臉沒啥問題，你拿來用衛星雲圖預測颱風路徑試看看。
人工智慧的模型、評估函數、參數最佳化、反應函數都是實務應用的重點，目前並沒有標準化的模型，深入理解後架構出來的東西才有意義。
不要跟幾年前雲端一樣，一頭熱不知道在熱啥。
