sas神经网络:构建人工神经网络模型来识别垃圾邮件

神经网络是一种非常通用的灵活预测模型,可用于解决各种问题,包括分类,降维和回归。

现实世界中的一些业务应用示例包括图像处理,医疗诊断,金融服务和欺诈检测。此样本说明如何使用SAS®In-Memory Statistics中的NEURAL语句来构建人工神经网络模型来识别垃圾邮件。

该示例中使用的数据集是机器学习存储库中的经典Spambase数据集。请注意,SAS®内存中统计信息具有直接将数据直接从URL加载到内存中的功能,而无需保存到磁盘,如示例所示。该示例还演示了如何执行以下任务:

1.对从不同点开始的几个“浅”神经网络进行预训练,以避免创建由于初始权重差而无效的神经网络。
2.从预训练的神经网络中选择最佳的神经网络,然后继续分析以训练更深的神经网络作为最终模型。
3.使用最终的神经网络模型对验证数据集评分。
4.使用评分结果和ASSESS语句执行模型评估。
5.根据ASSESS语句的结果绘制升力和ROC曲线。


课程

R语言数据分析挖掘必知必会

从数据获取和清理开始,有目的的进行探索性分析与可视化。让数据从生涩的资料,摇身成为有温度的故事。

立即参加

libname mylasr sasiola host="grid001.example.com" port=10010 tag='hps';

%let base = http://archive.ics.uci.edu/ml/machine-learning-databases;
data mylasr.spambase;
    infile "&base/spambase/spambase.data" device=url dsd dlm=',';
    input Make Address All _3d Our Over Remove Internet Order Mail Receive
    Will People Report Addresses Free Business Email You Credit Your Font
    _000 Money Hp Hpl George _650 Lab Labs Telnet _857 Data _415 _85
    Technology _1999 Parts Pm Direct Cs Meeting Original Project Re Edu
    Table Conference Semicol Paren Bracket Bang Dollar Pound Cap_Avg
    Cap_Long Cap_Total Class;
run;

proc imstat;

1.从不同点到预训练几个“浅”神经网络,避免创建因初始值不佳而无效的神经网络。


         /*input */ input=(make--cap_total) std=std
         /*target*/ targetact=softmax targetcomb=linear error=entropy nominal=class
         /*hidden*/ hiddens=(10) act=(logistic) combine=(linear)
         /*prelim*/ numtries=5 maxiter=10 tech=congra 
         /*NLOP  */ maxfunc=1000000 linesearch=2 fconv=1e-4 lower=-20 upper=20;

2.从预训练的神经网络中选择最佳的神经网络,然后继续分析以训练更深层的神经网络作为最终模型。


         /*NLOP  */ maxfunc=1000000 linesearch=2 fconv=1e-4 lower=-20 upper=20;

3.使用经过训练的神经网络模型对分数进行验证。 ASSESS选项指定为所有级别的得分数据添加预测概率标称目标变量。 在此示例中,创建了两个级别,因为名为class的变量具有两个值0或1。计分的数据为存储在临时表中。


         input = (make--cap_total) nominal=class temptable assess vars = (class);

 4.使用评分结果执行模型评估。 所有级别的概率都在输出中,但是我们仅需要事件级别的概率。 WHERE子句仅用于选择具有事件级别的行。 剥离功能适用于删除字符变量_NN_Level_中的空格。


proc lasr term port=&myport;
run;

5.根据ASSESS语句的结果绘制升力和ROC曲线。


proc sgplot data=rocdata;
    series x = one_minus_Specificity y = Sensitivity / lineattrs=(color=blue);
    series x = one_minus_Specificity y = one_minus_Specificity / lineattrs=(color=black);
    yaxis grid;
run;
quit;

 该模型信息表

​​

分数信息表
​​

提升曲线
​​

ROC 曲线


可下载资源

关于作者

Kaizong Ye拓端研究室(TRL)的研究员。在此对他对本文所作的贡献表示诚挚感谢,他在上海财经大学完成了统计学专业的硕士学位,专注人工智能领域。擅长Python.Matlab仿真、视觉处理、神经网络、数据分析。

本文借鉴了作者最近为《R语言数据分析挖掘必知必会 》课堂做的准备。

​非常感谢您阅读本文,如需帮助请联系我们!

 
QQ在线咨询
售前咨询热线
15121130882
售后咨询热线
0571-63341498

关注有关新文章的微信公众号


永远不要错过任何见解。当新文章发表时,我们会通过微信公众号向您推送。

技术干货

最新洞察

This will close in 0 seconds