1、量化投资，数据是基础

量化投资的理念现在越来越被人熟知，不论是在学校还是在职场，对量化投资感兴趣，想要一试身手，甚至是将Quant定为职业目标的人也越来越多。不过许多朋友现在还只是临时搜罗有限的数据，做一些零星的研究、测试和计算。与其这样没有明确目标地小打小闹，不如着手建立一个比较完善的“量化投资研究系统”，下面我将和朋友们分享一下我在这方面尝试的心得。

中国有句古话叫做“兵马未动，粮草先行”，对于量化投资研究而言应该改为“模型未动，数据先行”，高质量的数据是出色研究的基础。需求决定功能，我们要做哪方面的量化投资研究，决定了我们需要哪些数据。

我所理解的量化投资研究大致包括3块内容：

学术化的研究工作，例如金融时间序列分析，这一块研究主要集中在各种金融产品的交易数据上，例如股票、期货、期权的价格，基金净值等等；

构建交易策略或投资组合，这一块研究需要交易数据、宏观经济指标和公司财务数据等等；

策略回测，这一块研究需要大量历史交易数据，用来测试评估交易策略和投资组合。

“天下没有免费的午餐”，为了获得数据，要么付出金钱成本，购买数据终端（例如Wind终端）；要么付出时间成本，自己动手搭建维护一个金融数据库。如果没有机会摆弄万得、彭博，还是毛主席那句话——“自己动手，丰衣足食”。

信息时代，最大的数据源就是互联网，而且在绝大部分情况下，互联网可以提供公开免费的数据。所以我们要搭建的数据库实际上是依赖“网络爬虫”获取互联网上的数据。不过在讨论如何获取数据之前，为了确保将来的工作简单高效，先要“约法三章”：

尽量以下载文件，而不是抓取网页内容的方式获得数据；

尽量减少抓取网页的次数，换言之，一张网页上的数据要尽可能的多；

尽量抓取静态网页内容，而不是动态网页。（有一个简单的规则区别静态和动态网页，如果网页内容变化之后，地址栏里的URL链接跟着变化，就是静态网页，反之则是动态的。）

2、寻找金融数据源

废话不多说，下面正式讨论如建立自己的金融数据库（目前只限于股票和基金数据）。

首先来到上交所和深交所的网站，目的是找到股票代码和指数代码列表。深交所以文件下载的方式提供股票和指数代码（业界良心），上交所则是以网页形式提供。天天基金网以网页的形式提供了基金代码列表接下来看股票和指数的交易数据，要想获得这些数据，一个最自然的想法就是到主流门户网站上去找。事实上网易、新浪、和讯和东方财富等门户网站都以网页的形式提供每日交易数据。不过网易这一次成为了业界良心，网易提供数据下载服务，可以下载csv文件获得股票和指数的历史交易数据，以及股票最近一周的高频交易数据。网易提供的数据甚至包括除权调整过的昨收数据

历史交易数据（平安银行）

成交明细（平安银行）

和交易相关的另一种重要数据是“复权因子”，可惜提供复权因子数据的网站并不多，新浪这一次成为了业界良心，新浪以静态网页的形式提供每日的复权因子。

复权因子（平安银行）

基金净值数据，和股票跟指数一样，门户网站大多以网页的形式提供历史净值数据，不过和讯这一次做了业界良心，和讯在基金的历史净值网页上展示了该基金所有的历史净值数据。

基金净值（华夏成长）

一些基本资料层面的数据，例如上市公司的基本资料，基金的基本资料等，对于这些数据，网站之间的大同小异区别不大。

最后看上市公司的财务数据，有些类型的量化投资特别需要研究公司财务数据，尤其是量化选股，需要大量财务数据构造因子，用来对股票估值和预测未来收益率。不过对比多家网站之后，不幸地发现不同网站提供的财务数据格式不尽相同，数据内容也是有出入。这一部分数据的搜集比想象的要复杂得多，将来会专门写一篇文章讨论这个问题，暂时搁置一下。

3、开始搭建金融数据库

通过上面的文章，数据源已经基本确定了，接下来就要“修渠引水，汇入水库”。水库的话，就选择最常用的数据库MySQL；水渠的话，这里用R语言。

前面讲过了，整个数据库依赖网络爬虫获得数据，所以修水渠之前要先掌握下面几个方面的基本知识：

R的语法，以及如何使用RCurl、XML、xml2等R包设计爬虫；

网页的基本结构，以及如何利用FireFox浏览器的FireBug插件或Chrome浏览器研究网页结构；

正则表达式；

XPath语法，以及使用XPath提取html文件中的特定节点。

看起来需要很多的知识准备，不过以我个人的经验，每个方面只要掌握最基本的知识就可以利用R做出一个靠谱的爬虫。如果想要集中时间系统化的学习上述知识，这里推荐两本书《Automated Data Collection with R》、《XML and Web Technologies for Data Sciences with R》和一篇网络教程《55分钟学会正则表达式》。

接下来用一个实例演示如何获得数据。

首先，到交易所网站手工收集整理A股的股票代码和指数代码列表，分别保存在文件SH.A.list.txt、SH.IDX.list.txt、SS.A.list.txt、SS.IDX.list.txt中。用R函数readLines读取称为相应的字符串向量，接着构造“市场代码向量”用来标识股票和指数对应的市场，沪市记为0深市记为1，将这些向量组合成数据框（data.frame，R中常用的数据结构，类似excel表格）A.list和IDX.list。

第二步，找到包含所需信息的网页，解析网页链接的模式。以平安银行为例，现在想要获得股票的首次上市日。网易平安银行的网页链接是http://quotes.money.163.com/1000001.html，1000001中开头的1是市场代码，000001是股票代码。在Chrome中打开网页，按F12打开网页分析工具，找到“首次上市”节点，右键复制XPath，即“/html/body/div[2]/div[22]/div[2]/p[9]”。

至此，金融数据库从无到有。未来数据库的维护工作可以安排在周末，利用一个下午的时间，运行R程序获取这一周新增的数据，并导入MySQL。在实际操作中，建库和维护会遇到很多琐碎的细节问题，比如说网页编码、股票退市、新发股票、网站出现故障、表的设计等等，这里不能展开来讲，只能在动手的过程中自己摸索，具体问题具体分析具体解决。