可下载资源

因此，标签分配成为开源软件存储库软件维护成功的关键。

因此，此任务上的软件挖掘的目的是利用数据挖掘的进步，为新上传的软件项目启用自动标记分配（重新推荐）。

数据挖掘过程

经过问题分析后就开始进行各项工作了， 那首先就是平台的选择， 经过比较后我最终采用了 R工具，因为此工具中功能比较健全，有助于我们分析。

算法选择

分类算法无穷无尽， 针对不同的数据集， 算法的效率也不一样， 因此选择合适的算法是很重要的工作。

决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。但由于本项目中样本属性较多，因此可能会出现较多的分支和较大的树，从而很难得到有效的判断。人工神经网络虽然分类的准确度高,并行分布处理能力强，不能观察之间的学习过程，输出结果难以解释。

Knn算法虽然原理简单有效，但是计算量较大，对于数据量较大的数据不太合适，对高维数据进行分类时会而且导致其准确率下降。

给定一组训练数据(x 1 , y 1), … ,(x l , y l), xi ∈ R n , yi ∈{ +1 , -1} , i =1 , 2 , …, l，我们要寻找一 个分类规则 I(x),使它能对未知类别的新样本(新 样本与训练样本独立同分布)作尽可能正确的划分 。支持向量机用于分类问题其实就是寻找一个最 优分类超平面, 把此平面作为分类决策面.同时它还 通过引进核函数巧妙地解决了在将低维空间向量映 射到高维空间向量时带来的“维数灾难”问题。

基于LDA的文本主题挖掘

对于文本处理过程首先要拥有分析的语料（text corpus），比如报告、出版物、网页文章等。

LDA是一种非监督机器学习技术，可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。它采用了词袋（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考虑词与词之间的顺序，这简化了问题的复杂性，同时也为模型的改进提供了契机。每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。由于 Dirichlet分布随机向量各分量间的弱相关性（之所以还有点“相关”，是因为各分量之和必须为1），使得我们假想的潜在主题之间也几乎是不相关的，这与很多实际问题并不相符，从而造成了LDA的又一个遗留问题。

将这个过程重复Nd次，就产生了文档d，这里的Nd是文档d的单词总数。这个生成过程可以用如下的图模型表示：

这个图模型表示法也称作“盘子表示法”（plate notation）。图中的阴影圆圈表示可观测变量（observed variable），非阴影圆圈表示潜在变量（latent variable），箭头表示两变量间的条件依赖性（conditional dependency），方框表示重复抽样，重复次数在方框的右下角。

该模型有两个参数需要推断（infer）：一个是“文档-主题”分布θ，另外是T个“主题-单词”分布ϕ。通过学习（learn）这两个参数，我们可以知道文档作者感兴趣的主题，以及每篇文档所涵盖的主题比例等。推断方法主要有LDA模型作者提出的变分-EM算法，还有现在常用的Gibbs抽样法。

LDA模型现在已经成为了主题建模中的一个标准。如前所述，LDA模型自从诞生之后有了蓬勃的扩展，特别是在社会网络和社会媒体研究领域最为常见。

算法实现

根据SVM和LDA文本挖掘的原理，通过r语言可以做出以下的代码实现：

for(j in 1:length(colindex))tagmatrix[j,colindex[[j]]]=1;

####建立语料库

reuters <- Corpus(VectorSource(traindata))

#下一步用tm_map命令对语料库文件进行预处理，将其转为纯文本并去除多余空格，转换小写，去除常用词汇、合并异形同意词汇

reuters <- tm_map(reuters, as.PlainTextDocument)

再之后就可以利用R语言中任何工具加以研究了，下面用层次聚类试试看: 先进行标准化处理，再生成距离矩阵，再用层次聚类.

d <- dist(data.scale, method = "euclidean")

绘制词汇图

wordcloud(names(d),d,random.order=FALSE,random.color=FALSE,colors=mycolors,family="my

建立分类器

tagmod=tagmatrix[,1]#每个样本的第一个分类标签

SVM分类

preds <- predict(model.svm, trainmod,type="class")

tab=table(preds,trainmod[,ncol(trainmod)])#分类混淆矩阵
k=10#设置为10折交叉验证

for(kk in 1:k){

  index=sample(1:dim(trainmod)[1],floor(dim(trainmod)[1]*(1/k)),replace=F)#筛选样本

  test=as.data.frame(trainmod[index,])#训练集
  
  

结果分析

经过算法的实现，我们已经通过训练集得到了分类模型，经过十折交叉验证发现其准确率能达到 99.8%,接下来就是将测试集导入并且运用刚刚生成的模型产生结果了， 同样的是运用 R工具。 其中需要注意的是测试集中缺失的类别值用?来代替。 将生成的结果保存下来发现？前面出现了数字，这就是我们所要寻找的类别值。

虽然前面训练集产生的模型的准确率能达到99.8%,但是实际测试集的准确率又是不确定的， 不一定比他高还是比他低， 但幅度肯定不会很大。 同时从算法本身来看就存在着一定的缺陷， 因为经典的SVM分类算法要求分类属性是二元变量，而对于多元变量来说，必须组合多个SVM模型，从而可能是算法的准确度下降，对本项目的数据来说，每一个样本可能属于多个类别，因此使用svm分类的时候，可能导致算法的准确度下降。

误差肯定还不止以上的方面， 但是总体来说这个分类器还是可以的， 经过十折交叉验证准确率还是有保证的。