CNN+ Auto-Encoder 实现无监督Sentence Embedding ( 基于Tensorflow)

前言

基本思路是，通过编码解码网络（有点类似微软之前提出的对偶学习），先对句子进行编码，然后进行解码，解码后的语句要和原来的句子尽可能的接近。训练完成后，我们就可以将任意一个句子进行编码为一个向量，这算是Sentence Embedding的一种新的实现。最大的好处是，整个过程无需标注语料，属于无监督类学习。这次我还在编码前引入卷积网络，不过效果有待验证。

准备工作

我们假设大家已经准备了两个数据集，具体可以参考上一篇文章的Spark预处理部分：

已经分好词的语句词到vector的字典

然后我们使用如下函数来进行处理：

def next_batch(batch_num, batch_size, word_vec_dict):
    with open(WORD_FILE) as wf:
        line_num = 0
        start_line_num = batch_num * batch_size
        batch_counter = 0
        result = []
        for words in wf:
            result1 = []
            line_num += 1

            if line_num > start_line_num:
                batch_counter += 1
                for word in words.split(" "):
                    if word in word_vec_dict:
                        result1.append(word_vec_dict[word])
                if len(result1) < SEQUENCE_LENGTH:
                    for i in range(SEQUENCE_LENGTH - len(result1)):
                        result1.append(np.zeros(shape=(VOCAB_SIZE, 1)).tolist())
                result.append([str(line_num), result1[0:SEQUENCE_LENGTH]])
                if batch_counter == batch_size:
                    return result

字典的格式是： word + 空格 + 100个逗号分隔的数字文本内容格式是： 通过空格分隔的已经分好词的句子

因为这次测试数据集有点大，所以没办法一次性载入到内存，只能分批了。缺点是，每一次都需要重新打开文件，为了减少打开文件次数，程序后半部分做了一些优化处理，基本方式为，一次性从文件里取batch_size 条数据，然后让Tensorflow 再分 batch_size / mini_train_batch_size 次进行迭代。每次迭代给的样本量还是比较影响效果的，4000和200比，有20%左右的差异。

构建模型

我尝试了如下两个拓扑，第一个是带卷积的：

Input(段落) -> 卷积 -> 池化 -> 卷积 -> 池化 -> encoder -> encoder -> decoder -> decoder -> lost function (consine夹角)

第二个则是不带卷积：

Input(段落) -> encoder -> encoder -> decoder -> decoder -> lost function (consine夹角)

基本上是两层卷积，两层编解码器。

训练完成后，就获得编码器的所有参数，利用encoder_op 对所有的语句进行编码，从而实现所有语句得到一个唯一的向量（128维）表示。

大概准备了 60多万条语句进行训练，经历了50*60轮迭代后，不带卷积最后loss 大概是从1.1 下降到0.94的样子。如果进行更多迭代，提供更多训练数据，应该可以进一步降低。

带卷积的收敛较快，loss 从0.5 经过3000轮迭代，可以下降到0.1 左右。

因为语料比较隐私，无法提供，但是可以描述下大致的结论，随机找一段话，然后寻找相似的，目前来看，不带卷积的效果非常好，带卷积的因为卷积后信息损失太大，在encoder-decoder阶段感觉无法训练了，最后趋同，因此需要对卷积进行较大调整。关于NLP的卷积，其实我们不一定要保证卷积核的宽度或者高度保持和word embedding的size一样，因为对两个word截取其一般，我认为应该还是有一定的相似度的。

在训练过程中，损失函数我尝试了：

xent =tf.reduce_mean(tf.pow([y_true, y_pred],2), name="xent")

以及

consine = tf.div(tf.reduce_sum(tf.multiply(y_pred, y_true)),
                         tf.multiply(tf.sqrt(tf.reduce_sum(tf.multiply(y_pred, y_pred))),
                                     tf.sqrt(tf.reduce_sum(tf.multiply(y_true, y_true)))))
        xent = tf.reduce_sum(tf.subtract(tf.constant(1.0), consine))

因为采用欧式距离，我们难以确定相似度的阈值，而cosine是一个比较容易衡量的值。所以这里选择了consine作为损失函数。我没有找到Tensorflow的实现，所以完全根据consine公式自己实现了一个。

对于Optimizer,我尝试了

train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(xent) train_step = tf.train.RMSPropOptimizer(learning_rate).minimize(xent)

目前来看，RMSPropOptimizer效果好很多。

总结

现阶段大量优秀的人才都投入到了深度学习上，所以深度学习也取得了越来越多的进展，用法也越来越多，尤其是对抗学习，加强学习，对偶学习的发展让深度学习可以做的事情越来越多。深度学习在NLP文本分类，特征抽取方面，我觉得还是有潜力可挖的。不过，我觉得深度学习其实是把机器学习的门槛提的更高了，虽然越来越多的工具(比如Tensorflow)和已知的各种实践似乎在降低某些门槛。