快捷導(dǎo)航

用Python實(shí)現(xiàn)BP神經(jīng)網(wǎng)絡(luò)（附代碼）

更新時(shí)間：2019年07月10日 10:42:14 作者：可能不會(huì)愛你

這篇文章主要介紹了用Python實(shí)現(xiàn)BP神經(jīng)網(wǎng)絡(luò)（附代碼），文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

用Python實(shí)現(xiàn)出來(lái)的機(jī)器學(xué)習(xí)算法都是什么樣子呢？前兩期線性回歸及邏輯回歸項(xiàng)目已發(fā)布（見文末鏈接），今天來(lái)講講BP神經(jīng)網(wǎng)絡(luò)。

BP神經(jīng)網(wǎng)絡(luò)

全部代碼

https://github.com/lawlite19/MachineLearning_Python/blob/master/NeuralNetwok/NeuralNetwork.py

神經(jīng)網(wǎng)絡(luò)model

先介紹個(gè)三層的神經(jīng)網(wǎng)絡(luò)，如下圖所示

輸入層（input layer）有三個(gè)units（

為補(bǔ)上的bias，通常設(shè)為1）

表示第j層的第i個(gè)激勵(lì)，也稱為為單元unit

為第j層到第j+1層映射的權(quán)重矩陣，就是每條邊的權(quán)重

所以可以得到：

隱含層：

輸出層

，

其中，S型函數(shù)

，也成為激勵(lì)函數(shù)

可以看出

為3x4的矩陣，

為1x4的矩陣

==》j+1的單元數(shù)x（j層的單元數(shù)+1）

代價(jià)函數(shù)

假設(shè)最后輸出的

，即代表輸出層有K個(gè)單元

，

其中，

代表第i個(gè)單元輸出與邏輯回歸的代價(jià)函數(shù)

差不多，就是累加上每個(gè)輸出（共有K個(gè)輸出）

正則化

L-->所有層的個(gè)數(shù)

-->第l層unit的個(gè)數(shù)

正則化后的代價(jià)函數(shù)為

共有L-1層，然后是累加對(duì)應(yīng)每一層的theta矩陣，注意不包含加上偏置項(xiàng)對(duì)應(yīng)的theta(0)

正則化后的代價(jià)函數(shù)實(shí)現(xiàn)代碼：

# 代價(jià)函數(shù)

def nnCostFunction(nn_params,input_layer_size,hidden_layer_size,num_labels,X,y,Lambda):

length = nn_params.shape[0] # theta的中長(zhǎng)度

# 還原theta1和theta2

Theta1 = nn_params[0:hidden_layer_size*(input_layer_size+1)].reshape(hidden_layer_size,input_layer_size+1)

Theta2 = nn_params[hidden_layer_size*(input_layer_size+1):length].reshape(num_labels,hidden_layer_size+1)

# np.savetxt("Theta1.csv",Theta1,delimiter=',')

m = X.shape[0]

class_y = np.zeros((m,num_labels)) # 數(shù)據(jù)的y對(duì)應(yīng)0-9，需要映射為0/1的關(guān)系

# 映射y

for i in range(num_labels):

class_y[:,i] = np.int32(y==i).reshape(1,-1) # 注意reshape(1,-1)才可以賦值

'''去掉theta1和theta2的第一列，因?yàn)檎齽t化時(shí)從1開始'''

Theta1_colCount = Theta1.shape[1]

Theta1_x = Theta1[:,1:Theta1_colCount]

Theta2_colCount = Theta2.shape[1]

Theta2_x = Theta2[:,1:Theta2_colCount]

# 正則化向theta^2

term = np.dot(np.transpose(np.vstack((Theta1_x.reshape(-1,1),Theta2_x.reshape(-1,1)))),np.vstack((Theta1_x.reshape(-1,1),Theta2_x.reshape(-1,1))))

'''正向傳播,每次需要補(bǔ)上一列1的偏置bias'''

a1 = np.hstack((np.ones((m,1)),X))

z2 = np.dot(a1,np.transpose(Theta1))

a2 = sigmoid(z2)

a2 = np.hstack((np.ones((m,1)),a2))

z3 = np.dot(a2,np.transpose(Theta2))

h = sigmoid(z3)

'''代價(jià)'''

J = -(np.dot(np.transpose(class_y.reshape(-1,1)),np.log(h.reshape(-1,1)))+np.dot(np.transpose(1-class_y.reshape(-1,1)),np.log(1-h.reshape(-1,1)))-Lambda*term/2)/m

return np.ravel(J)

反向傳播BP

上面正向傳播可以計(jì)算得到J(θ),使用梯度下降法還需要求它的梯度

BP反向傳播的目的就是求代價(jià)函數(shù)的梯度

假設(shè)4層的神經(jīng)網(wǎng)絡(luò),

記為-->l層第j個(gè)單元的誤差

《===》

（向量化）

沒有

，因?yàn)閷?duì)于輸入沒有誤差

因?yàn)镾型函數(shù)

的倒數(shù)為：

，

所以上面的

和

可以在前向傳播中計(jì)算出來(lái)

反向傳播計(jì)算梯度的過(guò)程為：

（

是大寫的

）

for i=1-m:-

-正向傳播計(jì)算

（l=2,3,4...L）

-反向計(jì)算

、

...

；

-

最后

，即得到代價(jià)函數(shù)的梯度

實(shí)現(xiàn)代碼：

# 梯度

def nnGradient(nn_params,input_layer_size,hidden_layer_size,num_labels,X,y,Lambda):

length = nn_params.shape[0]

Theta1 = nn_params[0:hidden_layer_size*(input_layer_size+1)].reshape(hidden_layer_size,input_layer_size+1)

Theta2 = nn_params[hidden_layer_size*(input_layer_size+1):length].reshape(num_labels,hidden_layer_size+1)

m = X.shape[0]

class_y = np.zeros((m,num_labels)) # 數(shù)據(jù)的y對(duì)應(yīng)0-9，需要映射為0/1的關(guān)系

# 映射y

for i in range(num_labels):

class_y[:,i] = np.int32(y==i).reshape(1,-1) # 注意reshape(1,-1)才可以賦值

'''去掉theta1和theta2的第一列，因?yàn)檎齽t化時(shí)從1開始'''

Theta1_colCount = Theta1.shape[1]

Theta1_x = Theta1[:,1:Theta1_colCount]

Theta2_colCount = Theta2.shape[1]

Theta2_x = Theta2[:,1:Theta2_colCount]

Theta1_grad = np.zeros((Theta1.shape)) #第一層到第二層的權(quán)重

Theta2_grad = np.zeros((Theta2.shape)) #第二層到第三層的權(quán)重

Theta1[:,0] = 0;

Theta2[:,0] = 0;

'''正向傳播，每次需要補(bǔ)上一列1的偏置bias'''

a1 = np.hstack((np.ones((m,1)),X))

z2 = np.dot(a1,np.transpose(Theta1))

a2 = sigmoid(z2)

a2 = np.hstack((np.ones((m,1)),a2))

z3 = np.dot(a2,np.transpose(Theta2))

h = sigmoid(z3)

'''反向傳播，delta為誤差，'''

delta3 = np.zeros((m,num_labels))

delta2 = np.zeros((m,hidden_layer_size))

for i in range(m):

delta3[i,:] = h[i,:]-class_y[i,:]

Theta2_grad = Theta2_grad+np.dot(np.transpose(delta3[i,:].reshape(1,-1)),a2[i,:].reshape(1,-1))

delta2[i,:] = np.dot(delta3[i,:].reshape(1,-1),Theta2_x)*sigmoidGradient(z2[i,:])

Theta1_grad = Theta1_grad+np.dot(np.transpose(delta2[i,:].reshape(1,-1)),a1[i,:].reshape(1,-1))

'''梯度'''

grad = (np.vstack((Theta1_grad.reshape(-1,1),Theta2_grad.reshape(-1,1)))+Lambda*np.vstack((Theta1.reshape(-1,1),Theta2.reshape(-1,1))))/m

return np.ravel(grad)

BP可以求梯度的原因

實(shí)際是利用了鏈?zhǔn)角髮?dǎo)法則

因?yàn)橄乱粚拥膯卧蒙弦粚拥膯卧鳛檩斎脒M(jìn)行計(jì)算

大體的推導(dǎo)過(guò)程如下，最終我們是想預(yù)測(cè)函數(shù)與已知的y非常接近，求均方差的梯度沿著此梯度方向可使代價(jià)函數(shù)最小化。可對(duì)照上面求梯度的過(guò)程。

求誤差更詳細(xì)的推導(dǎo)過(guò)程：

梯度檢查

檢查利用BP求的梯度是否正確

利用導(dǎo)數(shù)的定義驗(yàn)證：

求出來(lái)的數(shù)值梯度應(yīng)該與BP求出的梯度非常接近

驗(yàn)證BP正確后就不需要再執(zhí)行驗(yàn)證梯度的算法了

實(shí)現(xiàn)代碼：

# 檢驗(yàn)梯度是否計(jì)算正確

# 檢驗(yàn)梯度是否計(jì)算正確

def checkGradient(Lambda = 0):

'''構(gòu)造一個(gè)小型的神經(jīng)網(wǎng)絡(luò)驗(yàn)證，因?yàn)閿?shù)值法計(jì)算梯度很浪費(fèi)時(shí)間，而且驗(yàn)證正確后之后就不再需要驗(yàn)證了'''

input_layer_size = 3

hidden_layer_size = 5

num_labels = 3

m = 5

initial_Theta1 = debugInitializeWeights(input_layer_size,hidden_layer_size);

initial_Theta2 = debugInitializeWeights(hidden_layer_size,num_labels)

X = debugInitializeWeights(input_layer_size-1,m)

y = 1+np.transpose(np.mod(np.arange(1,m+1), num_labels))# 初始化y

y = y.reshape(-1,1)

nn_params = np.vstack((initial_Theta1.reshape(-1,1),initial_Theta2.reshape(-1,1))) #展開theta

'''BP求出梯度'''

grad = nnGradient(nn_params, input_layer_size, hidden_layer_size,

num_labels, X, y, Lambda)

'''使用數(shù)值法計(jì)算梯度'''

num_grad = np.zeros((nn_params.shape[0]))

step = np.zeros((nn_params.shape[0]))

e = 1e-4

for i in range(nn_params.shape[0]):

step[i] = e

loss1 = nnCostFunction(nn_params-step.reshape(-1,1), input_layer_size, hidden_layer_size,

num_labels, X, y,

Lambda)

loss2 = nnCostFunction(nn_params+step.reshape(-1,1), input_layer_size, hidden_layer_size,

num_labels, X, y,

Lambda)

num_grad[i] = (loss2-loss1)/(2*e)

step[i]=0

# 顯示兩列比較

res = np.hstack((num_grad.reshape(-1,1),grad.reshape(-1,1)))

print res

權(quán)重的隨機(jī)初始化

神經(jīng)網(wǎng)絡(luò)不能像邏輯回歸那樣初始化theta為0,因?yàn)槿羰敲織l邊的權(quán)重都為0，每個(gè)神經(jīng)元都是相同的輸出，在反向傳播中也會(huì)得到同樣的梯度，最終只會(huì)預(yù)測(cè)一種結(jié)果。

所以應(yīng)該初始化為接近0的數(shù)

實(shí)現(xiàn)代碼

# 隨機(jī)初始化權(quán)重theta

def randInitializeWeights(L_in,L_out):

W = np.zeros((L_out,1+L_in)) # 對(duì)應(yīng)theta的權(quán)重

epsilon_init = (6.0/(L_out+L_in))**0.5

W = np.random.rand(L_out,1+L_in)*2*epsilon_init-epsilon_init # np.random.rand(L_out,1+L_in)產(chǎn)生L_out*(1+L_in)大小的隨機(jī)矩陣

return W

預(yù)測(cè)

正向傳播預(yù)測(cè)結(jié)果

實(shí)現(xiàn)代碼

# 預(yù)測(cè)

def predict(Theta1,Theta2,X):

m = X.shape[0]

num_labels = Theta2.shape[0]

#p = np.zeros((m,1))

'''正向傳播，預(yù)測(cè)結(jié)果'''

X = np.hstack((np.ones((m,1)),X))

h1 = sigmoid(np.dot(X,np.transpose(Theta1)))

h1 = np.hstack((np.ones((m,1)),h1))

h2 = sigmoid(np.dot(h1,np.transpose(Theta2)))

'''

返回h中每一行最大值所在的列號(hào)

- np.max(h, axis=1)返回h中每一行的最大值（是某個(gè)數(shù)字的最大概率）

- 最后where找到的最大概率所在的列號(hào)（列號(hào)即是對(duì)應(yīng)的數(shù)字）

'''

#np.savetxt("h2.csv",h2,delimiter=',')

p = np.array(np.where(h2[0,:] == np.max(h2, axis=1)[0]))

for i in np.arange(1, m):

t = np.array(np.where(h2[i,:] == np.max(h2, axis=1)[i]))

p = np.vstack((p,t))

return p

輸出結(jié)果

梯度檢查：