稀疏自編碼器

在自動編碼器AutoEncoder的基礎(chǔ)上加上L1的正則限制（L1主要是約束每一層中的節(jié)點(diǎn)中大部分都要為0，只有少數(shù)不為0，這就是Sparse名字的來源），我們就可以得到Sparse AutoEncoder法。

如圖三，其實(shí)就是限制每次得到的表達(dá)code盡量稀疏。因為稀疏的表達(dá)往往比其他的表達(dá)要有效（人腦好像也是這樣的，某個輸入只是刺激某些神經(jīng)元，其他的大部分的神經(jīng)元是受到抑制的）

對于沒有帶類別標(biāo)簽的數(shù)據(jù)，由于為其增加類別標(biāo)記是一個非常麻煩的過程，因此我們希望機(jī)器能夠自己學(xué)習(xí)到樣本中的一些重要特征。通過對隱藏層施加一些限制，能夠使得它在惡劣的環(huán)境下學(xué)習(xí)到能最好表達(dá)樣本的特征，并能有效地對樣本進(jìn)行降維。這種限制可以是對隱藏層稀疏性的限制。

??如果給定一個神經(jīng)網(wǎng)絡(luò)，我們假設(shè)其輸出與輸入是相同的，然后訓(xùn)練調(diào)整其參數(shù)，得到每一層中的權(quán)重。自然地，我們就得到了輸入的幾種不同表示（每一層代表一種表示），這些表示就是特征。自動編碼器就是一種盡可能復(fù)現(xiàn)輸入信號的神經(jīng)網(wǎng)絡(luò)。為了實(shí)現(xiàn)這種復(fù)現(xiàn)，自動編碼器就必須捕捉可以代表輸入數(shù)據(jù)的最重要的因素，就像PCA那樣，找到可以代表原信息的主要成分。

??當(dāng)然，我們還可以繼續(xù)加上一些約束條件得到新的Deep Learning方法，如：如果在AutoEncoder的基礎(chǔ)上加上L1的Regularity限制（L1主要是約束隱含層中的節(jié)點(diǎn)中大部分都要為0，只有少數(shù)不為0，這就是Sparse名字的來源），我們就可以得到Sparse AutoEncoder法。

??之所以要將隱含層稀疏化，是由于，如果隱藏神經(jīng)元的數(shù)量較大（可能比輸入像素的個數(shù)還要多），不稀疏化我們無法得到輸入的壓縮表示。具體來說，如果我們給隱藏神經(jīng)元加入稀疏性限制，那么自編碼神經(jīng)網(wǎng)絡(luò)即使在隱藏神經(jīng)元數(shù)量較多的情況下仍然可以發(fā)現(xiàn)輸入數(shù)據(jù)中一些有趣的結(jié)構(gòu)。

自編碼器最初提出是基于降維的思想，但是當(dāng)隱層節(jié)點(diǎn)比輸入節(jié)點(diǎn)多時，自編碼器就會失去自動學(xué)習(xí)樣本特征的能力，此時就需要對隱層節(jié)點(diǎn)進(jìn)行一定的約束，與降噪自編碼器的出發(fā)點(diǎn)一樣，高維而稀疏的表達(dá)是好的，因此提出對隱層節(jié)點(diǎn)進(jìn)行一些稀疏性的限值。稀疏自編碼器就是在傳統(tǒng)自編碼器的基礎(chǔ)上通過增加一些稀疏性約束得到的。這個稀疏性是針對自編碼器的隱層神經(jīng)元而言的，通過對隱層神經(jīng)元的大部分輸出進(jìn)行抑制使網(wǎng)絡(luò)達(dá)到一個稀疏的效果。

假設(shè)我們只有一個沒有帶類別標(biāo)簽的訓(xùn)練樣本集合

自編碼神經(jīng)網(wǎng)絡(luò)嘗試學(xué)習(xí)一個

我們剛才的論述是基于隱藏神經(jīng)元數(shù)量較小的假設(shè)。但是即使隱藏神經(jīng)元的數(shù)量較大（可能比輸入像素的個數(shù)還要多），我們?nèi)匀煌ㄟ^給自編碼神經(jīng)網(wǎng)絡(luò)施加一些其他的限制條件來發(fā)現(xiàn)輸入數(shù)據(jù)中的結(jié)構(gòu)。具體來說，如果我們給隱藏神經(jīng)元加入稀疏性限制，那么自編碼神經(jīng)網(wǎng)絡(luò)即使在隱藏神經(jīng)元數(shù)量較多的情況下仍然可以發(fā)現(xiàn)輸入數(shù)據(jù)中一些有趣的結(jié)構(gòu)。

稀疏性可以被簡單地解釋如下。如果當(dāng)神經(jīng)元的輸出接近于1的時候我們認(rèn)為它被激活，而輸出接近于0的時候認(rèn)為它被抑制，那么使得神經(jīng)元大部分的時間都是被抑制的限制則被稱作稀疏性限制。這里我們假設(shè)的神經(jīng)元的激活函數(shù)是sigmoid函數(shù)。如果你使用tanh作為激活函數(shù)的話，當(dāng)神經(jīng)元輸出為-1的時候，我們認(rèn)為神經(jīng)元是被抑制的。

注意到

進(jìn)一步，讓

表示隱藏神經(jīng)元

其中，

為了實(shí)現(xiàn)這一限制，我們將會在我們的優(yōu)化目標(biāo)函數(shù)中加入一個額外的懲罰因子，而這一懲罰因子將懲罰那些

這里，

其中

這一懲罰因子有如下性質(zhì)，當(dāng)

我們可以看出，相對熵在

我們的總體代價函數(shù)可以表示為

其中

為了對相對熵進(jìn)行導(dǎo)數(shù)計算，我們可以使用一個易于實(shí)現(xiàn)的技巧，這只需要在你的程序中稍作改動即可。具體來說，前面在后向傳播算法中計算第二層（

我們將其換成

就可以了。

有一個需要注意的地方就是我們需要知道

證明上面算法能達(dá)到梯度下降效果的完整推導(dǎo)過程不再本教程的范圍之內(nèi)。不過如果你想要使用經(jīng)過以上修改的后向傳播來實(shí)現(xiàn)自編碼神經(jīng)網(wǎng)絡(luò)，那么你就會對目標(biāo)函數(shù)

稀疏性可以被簡單地解釋如下。如果當(dāng)神經(jīng)元的輸出接近于1的時候我們認(rèn)為它被激活，而輸出接近于0的時候認(rèn)為它被抑制，那么使得神經(jīng)元大部分的時間都是被抑制的限制則被稱作稀疏性限制。這里我們假設(shè)的神經(jīng)元的激活函數(shù)是sigmoid函數(shù)。如果你使用tanh作為激活函數(shù)的話，當(dāng)神經(jīng)元輸出為-1的時候，我們認(rèn)為神經(jīng)元是被抑制的。

稀疏自編碼器初始化參數(shù)

input_nodes=8*8//輸入節(jié)點(diǎn)數(shù)
hidden_size=100//隱藏節(jié)點(diǎn)數(shù)
output_nodes=8*8//輸出節(jié)點(diǎn)數(shù)

稀疏自編碼器初始化訓(xùn)練集數(shù)據(jù)

從mat文件中讀取圖像塊，隨機(jī)生成10000個8*8的圖像塊。

defsampleImage():
mat=scipy.io.loadmat('F:/ml/code/IMAGES.mat')
pic=mat['IMAGES']
shape=pic.shape
patchsize=8
numpatches=1000
patches=[]
i=np.random.randint(0,shape[0]-patchsize,numpatches)
j=np.random.randint(0,shape[1]-patchsize,numpatches)
k=np.random.randint(0,shape[2],numpatches)
forlinrange(numpatches):
temp=pic[i[l]:(i[l] patchsize),j[l]:(j[l] patchsize),k[l]]
temp=temp.reshape(patchsize*patchsize)
patches.append(temp)
returnpatches

稀疏自編碼器通過xvaier初始化第一層的權(quán)重值

defxvaier_init(input_size,output_size):
low=-np.sqrt(6.0/(input_nodes output_nodes))
high=-low
returntf.random_uniform((input_size,output_size),low,high,dtype=tf.float32)

稀疏自編碼器計算代價函數(shù)

代價函數(shù)由三部分組成，均方差項，權(quán)重衰減項，以及稀疏因子項。

defcomputecost(w,b,x,w1,b1):
p=0.1
beta=3
lamda=0.00001

hidden_output=tf.sigmoid(tf.matmul(x,w) b)
pj=tf.reduce_mean(hidden_output,0)
sparse_cost=tf.reduce_sum(p*tf.log(p/pj) (1-p)*tf.log((1-p)/(1-pj)))
output=tf.sigmoid(tf.matmul(hidden_output,w1) b1)
regular=lamda*(tf.reduce_sum(w*w) tf.reduce_sum(w1*w1))/2
cross_entropy=tf.reduce_mean(tf.pow(output-x,2))/2 sparse_cost*beta 
regular# regular sparse_cost*beta
returncross_entropy,hidden_output,output

稀疏自編碼器可視化自編碼器

為了使隱藏單元得到最大激勵（隱藏單元需要什么樣的特征輸入），將這些特征輸入顯示出來。

defshow_image(w):
sum=np.sqrt(np.sum(w**2,0))
changedw=w/sum
a,b=changedw.shape
c=np.sqrt(a*b)
d=int(np.sqrt(a))
e=int(c/d)
buf=1
newimage=-np.ones((buf (d buf)*e,buf (d buf)*e))
k=0
foriinrange(e):
forjinrange(e):
maxvalue=np.amax(changedw[:,k])
if(maxvalue<0):
maxvalue=-maxvalue
newimage[(buf i*(d buf)):(buf i*(d buf) d),(buf j*(d buf)):(buf j*(d buf) d)]=
np.reshape(changedw[:,k],(d,d))/maxvalue
k =1

plt.figure("beauty")
plt.imshow(newimage)
plt.axis('off')
plt.show()

稀疏自編碼器主函數(shù)

通過AdamOptimizer下降誤差，調(diào)節(jié)參數(shù)。

defmain():
w=tf.Variable(xvaier_init(input_nodes,hidden_size))
b=tf.Variable(tf.truncated_normal([hidden_size],0.1))
x=tf.placeholder(tf.float32,shape=[None,input_nodes])
w1=tf.Variable(tf.truncated_normal([hidden_size,input_nodes],-0.1,0.1))
b1=tf.Variable(tf.truncated_normal([output_nodes],0.1))
cost,hidden_output,output=computecost(w,b,x,w1,b1)
train_step=tf.train.AdamOptimizer().minimize(cost)
train_x=sampleImage()
sess=tf.Session()
sess.run(tf.global_variables_initializer())

foriinrange(100000):
_,hidden_output_,output_,cost_,w_=sess.run([train_step,hidden_output,output,cost,w],
feed_dict={x:train_x})
ifi00==0:
print(hidden_output_)
print(output_)
print(cost_)
np.save("weights1.npy",w_)
show_image(w_)

譯碼器的種類很多，但它們的工作原理和分析設(shè)計方法大同小異，其中二進(jìn)制譯碼器、二-十進(jìn)制譯碼器和顯示譯碼器是三種最典型，使用十分廣泛的譯碼電路。

二進(jìn)制碼譯碼器，也稱最小項譯碼器，N中取一譯碼器，最小項譯碼器一般是將二進(jìn)制碼譯為十進(jìn)制碼；

代碼轉(zhuǎn)換譯碼器，是從一種編碼轉(zhuǎn)換為另一種編碼；

顯示譯碼器，一般是將一種編碼譯成十進(jìn)制碼或特定的編碼，并通過顯示器件將譯碼器的狀態(tài)顯示出來。