抓取问财财经搜索网页股票数据

问财财经搜索是同花顺旗下的服务之一,主要针对上市公司的公告、研报、即时新闻等提供搜索及参考资料。

由Kaizong Ye，Coin Ge撰写

相对于其他股票软件来说，一个强大之处在于用自然语言就可以按你指定的条件进行筛选。而大部分现有的行情软件支持的都不是很好，写起来就费尽心思，还不一定能行。

可下载资源

完整程序、数据和文档（word）

然而问财有一个缺陷在于它只能获取一天的股票相关信息。如果，我们希望实现抓取一段时间的股票历史信息，就要通过网页批量抓取。

× 股票数据的量非常大，这里在爬取股票数据的时候，需要注意的就是反爬虫的工作。参考了很多代码，总结出比较好的思路有两个：一是设置很多header，每次随机抽取一个header进行数据访问。二是每抓一页随机休眠几秒，数值可根据实际情况改动。

事实上，我们可以通过制作一个爬虫软件来自己定义时间日期和搜索的关键词，并且批量下载一定日期范围的数据。

我们以抓取每天的收盘价大于均线上股票数目为例子，用r来实现抓取：

课程

R语言数据分析挖掘必知必会

从数据获取和清理开始，有目的的进行探索性分析与可视化。让数据从生涩的资料，摇身成为有温度的故事。

立即参加 ➜

例如需要获取10月12日的数据，在问财里输入下面的关键词即可

查看搜索结果链接，我们可以看到关键词在链接中的显示规则

因此，我们在r中可以通过制作一个时间段的伪链接来向服务器不断发送搜索请求，从而实现一段日期数据的批量抓取

url=paste("http://www.iwencai.com/stockpick/search?typed=1&preParams=&ts=1&f=1&qs=result_rewrite&selfsectsn=&querytype=&searchfilter=&tid=stockpick&w=",as.character(as.Date(i, origin = "1970-01-01")) ,input2)

然后，我们查看其中一天的网页源代码，可以找到对应股票数据的xml源码

因此，可以通过编写一个html_value 函数来获取这个xmlValue

xpath <- '//div[@class=\"natl_words long_words\"]/span[@class=\"natl_num\"]'

html_value <- function(url,xpath){

webpage <- getURL(url)

webpage <- readLines(tc <- textConnection(webpage)); close(tc)

pagetree <- htmlTreeParse(webpage, error=function(...){}, useInternalNodes = TRUE)

value <- getNodeSet(pagetree,xpath)
##i <- length(value)##统计满足条件的值个数，一般情况为1

# value1 <- xmlValue(value[[ 1]])

# value2 <- xmlValue(value[[ 2]])

# value3 <- xmlValue(value[[ 3]])

# value4 <- xmlValue(value[[ 4]])

value1=character(0)

for(i in 1:length(value))value1[i] <- xmlValue(value[[ i]])

return(value1)

}

最受欢迎的见解

1.用机器学习识别不断变化的股市状况—隐马尔科夫模型(HMM)的应用

2.R语言GARCH-DCC模型和DCC（MVT）建模估计

3.R语言实现 Copula 算法建模依赖性案例分析报告

4.R语言COPULAS和金融时间序列数据VaR分析

5.R语言多元COPULA GARCH 模型时间序列预测

6.用R语言实现神经网络预测股票实例

7.r语言预测波动率的实现：ARCH模型与HAR-RV模型

8.R语言如何做马尔科夫转换模型markov switching model

9.matlab使用Copula仿真优化市场风险

然后封装成一个函数，就可以任意下载一段时间内几个关键词所对应的股票数据了。