新的算法理論不斷涌現(xiàn)的同時(shí)，各種深度學(xué)習(xí)框架也不斷出現(xiàn)在人們視野，比如Torch，Caffe等等。TensorFlow是Google開(kāi)發(fā)的第二代機(jī)器學(xué)習(xí)系統(tǒng)，于2015年底開(kāi)源，成為了新一代流行的機(jī)器學(xué)習(xí)的算法框架。這一章節(jié)我們將tensorFlow怎么實(shí)現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。
單步的RNN：RNNCell

RNNCell是是TensorFlow中實(shí)現(xiàn)RNN的基本單元，每個(gè)RNNCell都有一個(gè)call方法，使用方式是：(output, next_state) = call(input, state)。
假設(shè)我們有一個(gè)初始狀態(tài)h0，還有輸入x1，調(diào)用call(x1, h0)后就可以得到(output1, h1)：

再調(diào)用一次call(x2, h1)就可以得到(output2, h2)：

也就是說(shuō)，每調(diào)用一次RNNCell的call方法，就相當(dāng)于在時(shí)間上“推進(jìn)了一步”，這就是RNNCell的基本功能。
RNNCell只是一個(gè)抽象類，我們用的時(shí)候都是用的它的兩個(gè)子類BasicRNNCell和BasicLSTMCell。這兩個(gè)類的重要屬性。
1.state_size
2.output_size
前者是隱層的大小，后者是輸出的大小。比如我們通常是將一個(gè)batch送入模型計(jì)算，設(shè)輸入數(shù)據(jù)的形狀為(batch_size, input_size)，那么計(jì)算時(shí)得到的隱層狀態(tài)就是(batch_size, state_size)，輸出就是(batch_size, output_size)。

import tensorflow as tf import numpy as np cell = tf.nn.rnn_cell.BasicRNNCell(num_units=128) # state_size = 128 print(cell.state_size) # 128 inputs = tf.placeholder(np.float32, shape=(32, 100)) # 32 是 batch_size h0 = cell.zero_state(32, np.float32) # 通過(guò)zero_state得到一個(gè)全0的初始狀態(tài)，形狀為(batch_size, state_size) output, h1 = cell.call(inputs, h0) #調(diào)用call函數(shù) print(h1.shape) # (32, 128)

對(duì)于BasicLSTMCell，情況有些許不同，因?yàn)長(zhǎng)STM可以看做有兩個(gè)隱狀態(tài)h和c，對(duì)應(yīng)的隱層就是一個(gè)Tuple，每個(gè)都是(batch_size, state_size)的形狀：

import tensorflow as tf import numpy as np lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(num_units=128) inputs = tf.placeholder(np.float32, shape=(32, 100)) # 32 是 batch_size h0 = lstm_cell.zero_state(32, np.float32) # 通過(guò)zero_state得到一個(gè)全0的初始狀態(tài) output, h1 = lstm_cell.call(inputs, h0) print(h1.h) # shape=(32, 128) print(h1.c) # shape=(32, 128)

對(duì)于單個(gè)的RNNCell，我們使用它的call函數(shù)進(jìn)行運(yùn)算時(shí)，只是在序列時(shí)間上前進(jìn)了一步。比如使用x1、h0得到h1，通過(guò)x2、h1得到h2等。這樣的h話，如果我們的序列長(zhǎng)度為10，就要調(diào)用10次call函數(shù)，比較麻煩。對(duì)此，TensorFlow提供了一個(gè)tf.nn.dynamic_rnn函數(shù)，使用該函數(shù)就相當(dāng)于調(diào)用了n次call函數(shù)。即通過(guò){h0,x1, x2, …., xn}直接得{h1,h2…,hn}。
具體來(lái)說(shuō)，設(shè)我們輸入數(shù)據(jù)的格式為(batch_size, time_steps, input_size)，其中time_steps表示序列本身的長(zhǎng)度，如在Char RNN中，長(zhǎng)度為10的句子對(duì)應(yīng)的time_steps就等于10。最后的input_size就表示輸入數(shù)據(jù)單個(gè)序列單個(gè)時(shí)間維度上固有的長(zhǎng)度。另外我們已經(jīng)定義好了一個(gè)RNNCell，調(diào)用該RNNCell的call函數(shù)time_steps次，對(duì)應(yīng)的代碼就是：

# inputs: shape = (batch_size, time_steps, input_size) # cell: RNNCell # initial_state: shape = (batch_size, cell.state_size)。初始狀態(tài)。一般可以取零矩陣 outputs, state = tf.nn.dynamic_rnn(cell, inputs, initial_state=initial_state)

此時(shí)，得到的outputs就是time_steps步里所有的輸出。它的形狀為(batch_size, time_steps, cell.output_size)。state是最后一步的隱狀態(tài)，它的形狀為(batch_size, cell.state_size)。

import tensorflow as tf import numpy as np # 每調(diào)用一次這個(gè)函數(shù)就返回一個(gè)BasicRNNCell def get_a_cell(): return tf.nn.rnn_cell.BasicRNNCell(num_units=128) # 用tf.nn.rnn_cell MultiRNNCell創(chuàng)建3層RNN cell = tf.nn.rnn_cell.MultiRNNCell([get_a_cell() for _ in range(3)]) # 3層RNN # 得到的cell實(shí)際也是RNNCell的子類 # 它的state_size是(128, 128, 128) # (128, 128, 128)并不是128x128x128的意思 # 而是表示共有3個(gè)隱層狀態(tài)，每個(gè)隱層狀態(tài)的大小為128 print(cell.state_size) # (128, 128, 128) # 使用對(duì)應(yīng)的call函數(shù) inputs = tf.placeholder(np.float32, shape=(32, 100)) # 32 是 batch_size h0 = cell.zero_state(32, np.float32) # 通過(guò)zero_state得到一個(gè)全0的初始狀態(tài) output, h1 = cell.call(inputs, h0) print(h1) # tuple中含有3個(gè)32x128的向量

經(jīng)典RNN結(jié)構(gòu)圖：

import tensorflow as tf
import numpy as np
from tensorflow.contrib import rnn
from tensorflow.examples.tutorials.mnist import input_data
from PIL import Image
import numpy as np
# import scipy
import matplotlib.pyplot as plt
import numpy as np
import pylab
config = tf.ConfigProto()
sess = tf.Session(config=config)
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
print mnist.train.images.shape

# 學(xué)習(xí)率
lr = 1e-3
# 在訓(xùn)練和測(cè)試的時(shí)候，我們想用不同的 batch_size.所以采用占位符的方式
batch_size = tf.placeholder(tf.int32, [])
# 每個(gè)時(shí)刻的輸入特征是28維的，就是每個(gè)時(shí)刻輸入一行，一行有 28 個(gè)像素
input_size = 28
# 時(shí)序持續(xù)長(zhǎng)度為28，即每做一次預(yù)測(cè)，需要先輸入28行
timestep_size = 28
# 每個(gè)隱含層的節(jié)點(diǎn)數(shù)
hidden_size = 64
# LSTM layer 的層數(shù)
layer_num = 2
# 最后輸出分類類別數(shù)量，如果是回歸預(yù)測(cè)的話應(yīng)該是 1
class_num = 10
_X = tf.placeholder(tf.float32, [None, 784])
y = tf.placeholder(tf.float32, [None, class_num])
keep_prob = tf.placeholder(tf.float32)

# 把784個(gè)點(diǎn)的字符信息還原成 28 * 28 的圖片
# 下面幾個(gè)步驟是實(shí)現(xiàn) RNN / LSTM 的關(guān)鍵
X = tf.reshape(_X, [-1, 28, 28])
def unit_lstm():
    # 定義一層 LSTM_cell，只需要說(shuō)明 hidden_size, 它會(huì)自動(dòng)匹配輸入的 X 的維度
    lstm_cell = rnn.BasicLSTMCell(num_units=hidden_size, forget_bias=1.0, state_is_tuple=True)
    #添加 dropout layer, 一般只設(shè)置 output_keep_prob
    lstm_cell = rnn.DropoutWrapper(cell=lstm_cell, input_keep_prob=1.0, output_keep_prob=keep_prob)
    return lstm_cell
#調(diào)用 MultiRNNCell 來(lái)實(shí)現(xiàn)多層 LSTM
mlstm_cell = rnn.MultiRNNCell([unit_lstm() for i in range(3)], state_is_tuple=True)

#用全零來(lái)初始化state
init_state = mlstm_cell.zero_state(batch_size, dtype=tf.float32)
outputs, state = tf.nn.dynamic_rnn(mlstm_cell, inputs=X, initial_state=init_state, time_major=False)
h_state = outputs[:, -1, :]  # 或者 h_state = state[-1][1]

# 把784個(gè)點(diǎn)的字符信息還原成 28 * 28 的圖片
# 下面幾個(gè)步驟是實(shí)現(xiàn) RNN / LSTM 的關(guān)鍵
X = tf.reshape(_X, [-1, 28, 28])
def unit_lstm():
    # 定義一層 LSTM_cell，只需要說(shuō)明 hidden_size, 它會(huì)自動(dòng)匹配輸入的 X 的維度
    lstm_cell = rnn.BasicLSTMCell(num_units=hidden_size, forget_bias=1.0, state_is_tuple=True)
    #添加 dropout layer, 一般只設(shè)置 output_keep_prob
    lstm_cell = rnn.DropoutWrapper(cell=lstm_cell, input_keep_prob=1.0, output_keep_prob=keep_prob)
    return lstm_cell
#調(diào)用 MultiRNNCell 來(lái)實(shí)現(xiàn)多層 LSTM
mlstm_cell = rnn.MultiRNNCell([unit_lstm() for i in range(3)], state_is_tuple=True)

#用全零來(lái)初始化state
init_state = mlstm_cell.zero_state(batch_size, dtype=tf.float32)
outputs, state = tf.nn.dynamic_rnn(mlstm_cell, inputs=X, initial_state=init_state, time_major=False)
h_state = outputs[:, -1, :]  # 或者 h_state = state[-1][1]

W = tf.Variable(tf.truncated_normal([hidden_size, class_num], stddev=0.1), dtype=tf.float32)
bias = tf.Variable(tf.constant(0.1,shape=[class_num]), dtype=tf.float32)
y_pre = tf.nn.softmax(tf.matmul(h_state, W) + bias)
# 損失和評(píng)估函數(shù)
cross_entropy = -tf.reduce_mean(y * tf.log(y_pre))
train_op = tf.train.AdamOptimizer(lr).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_pre,1), tf.argmax(y,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))

sess.run(tf.global_variables_initializer())
for i in range(1000):
    _batch_size = 128
    batch = mnist.train.next_batch(_batch_size)
    if (i+1)%200 == 0:
        train_accuracy = sess.run(accuracy, feed_dict={
            _X:batch[0], y: batch[1], keep_prob: 1.0, batch_size: _batch_size})
        # 已經(jīng)迭代完成的 epoch 數(shù): mnist.train.epochs_completed
        print "Iter%d, step %d, training accuracy %g" % ( mnist.train.epochs_completed, (i+1), train_accuracy)

    sess.run(train_op, feed_dict={_X: batch[0], y: batch[1], keep_prob: 0.5, batch_size: _batch_size})

images=mnist.test.images
labels=mnist.test.labels
print "test accuracy %g"% sess.run(accuracy, feed_dict={
    _X: images, y: labels, keep_prob: 1.0, batch_size:mnist.test.images.shape[0]})

掃一掃獲取最新精彩內(nèi)容與學(xué)習(xí)資料 

繼續(xù)閱讀：

星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問(wèn)題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問(wèn)、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。！：首頁(yè) > 大數(shù)據(jù) » 循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的實(shí)現(xiàn)