江苏龙网

  1. 首页 > 人文 > >

江湖车侠|| 万字长文，统计学家范剑青：把 AI 学习金融，变为现实( 四 )


， 它们应该是厚尾分布 。 我们自然而然会问：如何处理厚尾？我们从131个变量学习决定市场的因子之外 ， 我们还有8个宏观经济时间序列 ， 我们如何使用这8个信息更好地提取市场因子？
如果更详尽大家可以看看我们新著的《StatisticalFoundationsofDataScience》这本书 ， 有三章会讲这方面内容 。
什么是因子模型？假设我有1000只股票 ， 有5个影响这1000只股票涨幅的市场因子
， 不同的股票对不同因子的依赖程度不一样 ， 因此有一个载荷矩阵B 。
再加上每一只股票自己的特质因素（idiosyncraticcomponents）
， 很多时候我们把这两个部分称为
。 这种衡量1000只股票的相关性 ， 在股票市场上有很多应用 ， 同样对其它方面也有很多应用 。 比如根据1000个基因的表达共同性 ， 找出潜在的因子 。
我们主要的信息是什么？我们学习了因子后 ， 我们把因子共性的部分完全学习好 ， 把它减掉 ， 则整个信噪比增加 。
来预测债券风险溢价 。 这131个变量具有高相关性 ， 机器学习里常用的变量选择方法 ， 正则性会不满足 。
如果把131个变量分成不同因子：共性+个性 ， 然后把
代到
里 ， 我们变成两部分：共性
和个性
。 假设影响这些宏观变量的共同因子是5个 ， 共性的参数是5个 ， 个性的参数是131个 ， 最后得到136维空间的变量 。
这136维空间中变量的相关性很弱 ， 因为相关的部分已经取出来 。 如果把现在的
作为你新的变量 ， 我们平时采用的高维方法就能工作 。 这就是我们提出的因子调整的模型（FARMselect）方法 。 简而言之是先学习共同的因子 ， 然后用
和
作为预测变量 。
如果你把
学好了 ，
求出来之后解一解就可以了 。 整个思想是把原来131个变量变成136个变量 ， 空间变得大了 ， 变量变得弱相关 。 用共性+个性 ， 和原来的
是等价的 ， 这个过程其实是用因子增进预测能力 。
如果我们用原始Lasso来做变量选择 ， 只有在完全不相关时 ， Lasso工作得还好 。 只要相关系数增加一点点 ， Lasso就不能完全选出这10个变量 。
另一方面 ， 如果我把这250个个性 ， 加上每一个共同的因子拿出来作为第251个变量 ， 就可以达到100%的正确模型选择 。 如果说不知道是不是251个 ， 而用255个可以吗？可以 ， 也可以得到这样的效果 。
如果Σ设成像标普500只成分股那样的协方差 ， 最后的结果是一样的 ， 我们可以百分百把重要的变量选出来 ， 其他的方法做不到 。


推荐阅读


上一篇：老王技能厂|跌落神坛，市值蒸发338亿，房租也交不起，曾经的第一服装品牌

下一篇：Beta科技|远离不健康的app，小寻AI学习手表P6分享，专注安全和学习