|
雷鋒網(wǎng)按：本文作者陸池,，原文載于作者個人博客,，雷鋒網(wǎng)已獲授權。 引言學習一段時間的tensor flow之后,，想找個項目試試手,，然后想起了之前在看Theano教程中的一個文本分類的實例，這個星期就用tensorflow實現(xiàn)了一下,，感覺和之前使用的theano還是有很大的區(qū)別,，有必要總結mark一下。 模型說明這個分類的模型其實也是很簡單,，主要就是一個單層的LSTM模型,，當然也可以實現(xiàn)多層的模型，多層的模型使用Tensorflow尤其簡單,，下面是這個模型的圖 
簡單解釋一下這個圖，每個word經過embedding之后,，進入LSTM層,，這里LSTM是標準的LSTM,，然后經過一個時間序列得到的t個隱藏LSTM神經單元的向量，這些向量經過mean pooling層之后,，可以得到一個向量h,，然后緊接著是一個簡單的邏輯斯蒂回歸層（或者一個softmax層）得到一個類別分布向量。 公式就不一一介紹了,，因為這個實驗是使用了Tensorflow重現(xiàn)了Theano的實現(xiàn),，因此具體的公式可以參看LSTM Networks for Sentiment Analysis這個鏈接。 tensorflow實現(xiàn)鄙人接觸tensor flow的時間不長,，也是在慢慢摸索,，但是因為有之前使用Theano的經驗，對于符號化編程也不算陌生,，因此上手Tensorflow倒也容易,。但是感覺tensorflow還是和theano有著很多不一樣的地方，這里也會提及一下,。 代碼的模型的主要如下： import tensorflow as tf import numpy as np
class RNN_Model(object):
def __init__(self,config,is_training=True):
self.keep_prob=config.keep_prob self.batch_size=tf.Variable(0,dtype=tf.int32,trainable=False)
num_step=config.num_step self.input_data=tf.placeholder(tf.int32,[None,num_step]) self.target = tf.placeholder(tf.int64,[None]) self.mask_x = tf.placeholder(tf.float32,[num_step,None])
class_num=config.class_num hidden_neural_size=config.hidden_neural_size vocabulary_size=config.vocabulary_size embed_dim=config.embed_dim hidden_layer_num=config.hidden_layer_num self.new_batch_size = tf.placeholder(tf.int32,shape=[],name='new_batch_size') self._batch_size_update = tf.assign(self.batch_size,self.new_batch_size)
#build LSTM network
lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(hidden_neural_size,forget_bias=0.0,state_is_tuple=True) if self.keep_prob lstm_cell = tf.nn.rnn_cell.DropoutWrapper( lstm_cell,output_keep_prob=self.keep_prob )
cell = tf.nn.rnn_cell.MultiRNNCell([lstm_cell]*hidden_layer_num,state_is_tuple=True)
self._initial_state = cell.zero_state(self.batch_size,dtype=tf.float32)
#embedding layer with tf.device('/cpu:0'),tf.name_scope('embedding_layer'): embedding = tf.get_variable('embedding',[vocabulary_size,embed_dim],dtype=tf.float32) inputs=tf.nn.embedding_lookup(embedding,self.input_data)
if self.keep_prob inputs = tf.nn.dropout(inputs,self.keep_prob)
out_put= state=self._initial_state with tf.variable_scope('LSTM_layer'): for time_step in range(num_step): if time_step>0: tf.get_variable_scope.reuse_variables (cell_output,state)=cell(inputs[:,time_step,:],state) out_put.append(cell_output)
out_put=out_put*self.mask_x[:,:,None]
with tf.name_scope('mean_pooling_layer'):
out_put=tf.reduce_sum(out_put,0)/(tf.reduce_sum(self.mask_x,0)[:,None])
with tf.name_scope('Softmax_layer_and_output'): softmax_w = tf.get_variable('softmax_w',[hidden_neural_size,class_num],dtype=tf.float32) softmax_b = tf.get_variable('softmax_b',[class_num],dtype=tf.float32) self.logits = tf.matmul(out_put,softmax_w)+softmax_b
with tf.name_scope('loss'): self.loss = tf.nn.sparse_softmax_cross_entropy_with_logits(self.logits+1e-10,self.target) self.cost = tf.reduce_mean(self.loss)
with tf.name_scope('accuracy'): self.prediction = tf.argmax(self.logits,1) correct_prediction = tf.equal(self.prediction,self.target) self.correct_num=tf.reduce_sum(tf.cast(correct_prediction,tf.float32)) self.accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32),name='accuracy')
#add summary loss_summary = tf.scalar_summary('loss',self.cost) #add summary accuracy_summary=tf.scalar_summary('accuracy_summary',self.accuracy)
if not is_training: return
self.globle_step = tf.Variable(0,name='globle_step',trainable=False) self.lr = tf.Variable(0.0,trainable=False)
tvars = tf.trainable_variables grads, _ = tf.clip_by_global_norm(tf.gradients(self.cost, tvars), config.max_grad_norm)
# Keep track of gradient values and sparsity (optional) grad_summaries = for g, v in zip(grads, tvars): if g is not None: grad_hist_summary = tf.histogram_summary('{}/grad/hist'.format(v.name), g) sparsity_summary = tf.scalar_summary('{}/grad/sparsity'.format(v.name), tf.nn.zero_fraction(g)) grad_summaries.append(grad_hist_summary) grad_summaries.append(sparsity_summary) self.grad_summaries_merged = tf.merge_summary(grad_summaries)
self.summary =tf.merge_summary([loss_summary,accuracy_summary,self.grad_summaries_merged])
optimizer = tf.train.GradientDescentOptimizer(self.lr) optimizer.apply_gradients(zip(grads, tvars)) self.train_op=optimizer.apply_gradients(zip(grads, tvars))
self.new_lr = tf.placeholder(tf.float32,shape=[],name='new_learning_rate') self._lr_update = tf.assign(self.lr,self.new_lr)
def assign_new_lr(self,session,lr_value): session.run(self._lr_update,feed_dict={self.new_lr:lr_value}) def assign_new_batch_size(self,session,batch_size_value): session.run(self._batch_size_update,feed_dict={self.new_batch_size:batch_size_value})
模型不復雜,，也就不一一解釋了，在debug的時候,，還是入了幾個tensorflow的坑,，因此想單獨說一下這幾個坑。 坑1：tensor flow的LSTM實現(xiàn) tensorflow是已經寫好了幾個LSTM的實現(xiàn)類,，可以很方便的使用,，而且也可以選擇多種類型的LSTM，包括Basic,、Bi-Directional等等,。 這個代碼用的是BasicLSTM： #build LSTM network
lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(hidden_neural_size,forget_bias=0.0,state_is_tuple=True) if self.keep_prob lstm_cell = tf.nn.rnn_cell.DropoutWrapper( lstm_cell,output_keep_prob=self.keep_prob ) cell = tf.nn.rnn_cell.MultiRNNCell([lstm_cell]*hidden_layer_num,state_is_tuple=True) self._initial_state = cell.zero_state(self.batch_size,dtype=tf.float32) out_put= state=self._initial_state with tf.variable_scope('LSTM_layer'): for time_step in range(num_step): if time_step>0: tf.get_variable_scope.reuse_variables (cell_output,state)=cell(inputs[:,time_step,:],state) out_put.append(cell_output)
在這段代碼里面，tf.nn.rnn_cell.BasicLSTMCell的初始化只需要制定LSTM神經元的隱含神經元的個數(shù)即可,，然后需要初始化LSTM網(wǎng)絡的參數(shù)：self._initial_state = cell.zero_state(self.batch_size,dtype=tf.float32),，這句代碼乍看一下很迷糊，開始并不知道是什么意義,，在實驗以及查閱源碼之后,，返現(xiàn)這句話返回的是兩個維度是batch_size*hidden_neural_size的零向量元組，其實就是LSTM初始化的c0,、h0向量,，當然這里指的是對于單層的LSTM，對于多層的,，返回的是多個元組,。 坑2：這段代碼中的zero_state和循環(huán)代數(shù)num_step都需要制定 這里比較蛋疼，這就意味著tensorflow中實現(xiàn)變長的情況是要padding的,，而且需要全部一樣的長度,，但是因為數(shù)據(jù)集的原因,，不可能每個batch的size都是一樣的，這里就需要每次運行前,，動態(tài)制定batch_size的大小,，代碼中體現(xiàn)這個的是assign_new_batch_size函數(shù)，但是對于num_step參數(shù)卻不能動態(tài)指定（可能是因為筆者沒找到,，但是指定tf.Variable()方法確實不行）,，出于無奈只能將數(shù)據(jù)集全部padding成指定大小的size，當然既然使用了padding那就必須使用mask矩陣進行計算,。 坑3：cost返回non cost返回Non一般是因為在使用交叉熵時候,，logits這一邊出現(xiàn)了0值，因此stack overflow上推薦的一般是：sparse_softmax_cross_entropy_with_logits(self.logits+1e-10,self.target) 這樣寫法,。 訓練and結果實驗背景： tensor flow: tensor flow 1.1 platform:mac OS 數(shù)據(jù)集：subject dataset,，數(shù)據(jù)集都經過了預處理，拿到的是其在詞表中的索引
得益于tensorboard各個參數(shù)訓練過程都可以可視化,，下面是實驗訓練結果： 訓練集訓練結果： 
驗證集訓練結果 ： 
損失函數(shù)訓練過程 ： 
各個參數(shù)訓練結果： 
最終在測試集上,，準確度約為85%，還不錯,。 比較tensorflow和thenaotensor flow 和 theano 是最近比較流行的深度學習框架,，兩者非常相似但是兩者又不一樣，下面就我個人體驗比較下兩者的異同,。 1. 難易程度 就使用難度而言,，tensorflow的便易性要遠勝于theano，畢竟theano是一堆學者研究出來的,，而tensorflow是Google研究出來的,，比較面向工業(yè)化。tensor flow直接集成了學術界的很多方法,，比如像RNN,、LSTM等都已經被tensorflow集成了，還有比如參數(shù)更新方法如梯度下降,、Adadelta等也已經被tensorflow寫好了,，但是對于theano這個就得自己寫，當然難易程度不一樣了,。 2. 靈活性 就靈活性而言,，theano是要勝過tensor flow的，正是因為上一點theano的門檻稍高,，卻也使得theano有著更大的彈性,，可以實現(xiàn)自己任意定義的網(wǎng)絡結果，這里不是說tensorflow不行，tensorflow也能寫,，但是使用tensorflow久了之后,，寫一些自定義的結構能力就會生疏許多，比如修改LSTM內的一些結構,。而Theano則沒有這個約束。 3. 容錯性 我個人覺得theano的容錯性是比tensor flow要高的,，theano定義變量,，只需要制定類型，比如imatrix,、ivertor之類的而不用制定任何的維度,，只要你輸入的數(shù)據(jù)和你的網(wǎng)絡結構圖能夠對的上的話，就沒問題,，而tensorflow擇需要預先指定一些參數(shù)（如上面代碼的num_step參數(shù)）,，相比而言，theano的容錯能力多得多,，當然這樣也有壞處,，那就是可能對導致代碼調試起來比較費勁兒。 最后附上完整源代碼：https://github.com/luchi007/RNN_Text_Classify 雷鋒網(wǎng)相關閱讀： 手把手教你如何用 TensorFlow 實現(xiàn)基于 DNN 的文本分類 用金庸,、古龍群俠名稱訓練 LSTM,，會生成多么奇葩的名字？
|
