文本的向量化处理

1. 文本序列化
通过tensorflow自带的Tokenizer分词器设置训练集text中所有词的索引值，然后将词映射为其索引值。

然后，查看text中独立词汇的数量

输出结果：Number of unique words: 14666

2. 嵌入GloVe字典
在这里我们将使用GloVe预训练的语料库模型来表示我们的单词。GloVe模型用于进行词的向量化表示，使得向量之间尽可能多地蕴含语义和语法的信息。我们需要输入语料库，然后通过该模型输出词向量。该方法的原理是首先基于语料库构建词的共现矩阵，然后基于共现矩阵和GloVe模型学习词向量。GloVe语料库共有3种类型：50D，100D和200 D。在这里我们将使用100D。

3. 匹配GloVe向量

输出结果:
100%|██████████| 14666/14666 [00:00<00:00, 599653.57it/s]
(14667, 100)

添加Embedding层以初始化GloVe模型训练出的权重矩阵。input_dim即词汇量，输入数组中的词典大小是14666，即有14666个不同的词，所以我的input_dim便要比14666要大1，output_dim是密集嵌入的尺寸，就如同CNN最后的全连接层一样，上面设置的100，便将每一个词变为用1×100来表示的向量，embeddings_initializer为嵌入矩阵的初始化的方法，为预定义初始化方法名的字符串，或用于初始化权重的初始化器。输入序列的长度设置为序列长度20，将每个text表示为一个20×100的矩阵

由于文本数据的连续性，我们添加LSTM层。LSTM是作为短期记忆的解决方案而创建的长短期记忆模型，和RNN类似，只是当词向量作为输入进入神经元后，神经元会按照某种方式对该词向量的信息进行选择，存储成新的信息，输入到相邻的隐藏层神经元中去。

输出结果：

2. 参数选择与调优
本文运用交叉验证的方法得到验证集精度，并以此为标准，使用网格搜索来确定最优超参数。
Scikit-Learn里有一个API 为model.selection.GridSearchCV，可以将keras搭建的模型传入，作为sklearn工作流程一部分。因此，我们运用此函数来包装keras模型以便在scikit-learn中使用keras。

3. 模型训练

输出结果：

输出结果：

由训练过程可知，验证集准确率最高的参数组合为第五次训练时的参数，batch_size=10 ,epochs=10。
4. 模型评估

查看最终参数选择的结果和交叉验证的结果：

输出结果：
交叉验证平均准确率： 0.7921975544580065
最好的参数模型： {‘batch_size’: 10, ‘nb_epoch’: 10}

5. 与传统机器学习模型对比
将train中训练集数据划分为训练集和验证集，然后对比其在验证集上的准确率。

分别使用SVM，KNN，多层感知器，朴素贝叶斯，随机森林，GBDT等方法构建模型，与神经网络进行对比。

输出结果：
模型1验证集准确率: 0.6250820748522653
模型2验证集准确率: 0.5843729481286933
模型3验证集准确率: 0.5384110308601444
模型4验证集准确率: 0.4799737360472751
模型5验证集准确率: 0.6323046618516087
模型6验证集准确率: 0.6401838476690742

以上模型的验证集准确率与神经网络的验证集准确率相比差别较大，可见本文基于神经网络的文本预测模型是相对准确且可靠的。

结果预测

我们继续通过上述步骤构建的神经网络模型预测test测试集中的target列。

#预测
predictions = grid_result.predict(testing_padded)
submission['target'] = (predictions > 0.5).astype(int)

输出结果：
 

项目结果

真实虚假样本比例接近1:1.

灾难相关推文中提到最多的词汇是fire。

最好的参数组合是batch_size=10 ,epochs=10。

将测试集输入模型得到最终预测结果。

关于作者

Yunfan Zhang

✉

     联系我们

在此对Yunfan Zhang 对本文所作的贡献表示诚挚感谢，她专长机器学习，概率论与数理统计。