小智 中华财经行情分析离别RNN迎来TCN股市猜测任务是时间拥抱新
股市预测 中华财经行情分析离别RNN迎来TCN股市猜测任务是时间拥抱新 2020-10-08 663 0 由于金融时间序列具有非平稳、非线性、高噪声的特点，中华财经行情因此传统的统计模型很难准确地预测它们。近年来，越来越多的研究开始尝试将深度学习应用于股市预测，虽然还远远不够完善。例如： Lin 等人在论文《An SVM-based approach for stock market trend prediction》中提出一种基于支持向量机的股票预测方法，建立两部分特征选择和预测模型，并证明该方法比传统方法具有更好的泛化能力。 (9500.163.com) 在论文《Stock closing price prediction based on sentiment analysis and LSTM》中，Jin 等人在模型分析中增加了投资者的情感倾向，并引入经验模态分解（EMD）与 LSTM 相结合，以获得更准确的股票预测。基于注意力机制的 LSTM 模型在语音和图像识别中很常见，但在金融领域却很少使用。 他们首先从财经新闻中提取结构化事件，并利用知识图谱获取事件嵌入。然后，将事件嵌入和股票价格结合起来预测股票走势。实验表明，该方法对股市趋势突变情况具有更快的反应能力，在股票数据集上的性能优于 SOTA 方法（本文将重点介绍这一方法）。 2020 年，Jiayu 等人和 Thomas 等人提出一类混合注意力网络，可基于近期新闻预测股票趋势。具有注意机制的 LSTM 优于常规 LSTM，因为其独特的存储单元结构避免了长期依赖性。 Hongyan 等人在论文《Temporal Convolutional Attention-based Network For Sequence Modeling》中提出一种探索性网络结构：基于时间卷积注意力的网络（TCAN）。该网络结合了时间卷积网络和注意力机制，包括两个部分：一个是时间注意力（TA），用来捕获序列中的相关特征；另一个是增强残差（ER），用来提取浅层的重要信息并迁移到深层。 需要注意的是：FTS 预测领域的学术出版物可能具有误导性。由于大量使用模拟器，许多 FTS 预测论文往往会夸大其性能。这些论文中声称的许多性能难以复现，因为它们无法泛化至所预测的特定 FTS 的未来变化。 金融时间序列数据（尤其是股票价格）会随着季节、噪声和自动校正而不断波动。传统的预测方法使用移动平均和差分来减少预测的噪声。然而，FTS 通常是不稳定的，并且有用信号和噪声之间存在重叠，这使得传统的去噪方法无效。 小波分析在图像和信号处理等领域取得了令人瞩目的成就。它能够弥补傅里叶分析的缺点，因此被逐渐引入经济和金融领域。小波变换在解决传统时间序列分析问题方面具有独特优势，因为它可以分解和重构来自不同时域和频域范围的金融时间序列数据。 小波变换本质上利用多尺度特征对数据集进行去噪，从而将有用信号与噪声高效地分离开来。Jiayu Qiu 等人将 coif3 小波函数用于三个分解层，并通过信噪比（SNR）和均方根误差（RMSE）来评估小波变换的效果。SNR 越高，RMSE 越小，小波变换的去噪效果越好：来源： 固定原点方法是最朴素也最常用的方法。给出特定的分割大小，将数据前面一部分分割为训练集，后面的部分分割为验证集。但这是一种较为初级的选择方法，对于像亚马逊这样的高增长股票而言尤其如此。之所以会出现这种情况，是因为亚马逊的股价一开始波动性较低，随着股价的增长，股价波动越来越大。亚马逊今年股票价格（图源：Google Finance） 因此，我们需要训练一个低波动率动态模型，并期望它能预测高波动率动态。对于上述类型的股票而言，这确实有一定困难，并且还要以性能作为代价。因此，如果仅考虑这一点，以验证损失和性能作为基准可能存在一定的误导性。但是，对于像英特尔这样波动性较为稳定的股票（COVID 危机前），这种方法是合理的。 最后，滚动窗口方法通常是最有用的方法之一，因为它尤其适用于长时间运行的 FTS 算法。实际上，该模型输出多个滚动数据窗口的平均验证误差。而这意味着最终获得的值更能代表最近的模型性能。数据 shuffle 技术可视化（图源：） Thomas Hollis 等人的研究表明，滚动窗口（RW）和滚动原点重校（ROR）的性能（58％和 60％）都比简单的固定原点方法好。这表明对于像亚马逊这样的高波动率股票，使用这些数据 shuffle 方法是不可避免的。数据 shuffle 方法性能比较 时间卷积网络（TCN），是用于序列建模任务的卷积神经网络的变体，结合了 RNN 和 CNN 架构。对 TCN 的初步评估表明，简单的卷积结构在多个任务和数据集上的性能优于典型循环网络（如 LSTM），同时表现出更长的有效记忆。 2。 该架构可以像 RNN 一样采用任意长度的序列，并将其映射到相同长度的输出序列。通过结合非常深的网络（使用残差层进行增强）和扩张卷积，TCN 具有非常长的有效历史长度（即网络能够看到很久远的过去，并帮助预测）。 为了完成第一点，TCN 使用 1D 全卷积网络（FCN），每个隐藏层的长度与输入层相同，并用零填充（长度为 kernel size ? 1）来保持后续层与之前层长度相同。为了实现第二点，TCN 使用因果卷积，即卷积中时间 t 处的输出仅与时间 t 或前一层中的元素进行卷积。 简单的因果卷积回看的历史长度只能与网络深度呈线性关系。这使得将因果卷积应用于序列任务具有一定难度，尤其是需要更长历史的任务。Bai 等人采用扩张卷积找到了一种解决方案，其感受野呈指数级增大。对于一维序列输入 x ∈ R^? 和滤波器 f！{0，…，k?1}→R，序列元素 s 的扩张卷积运算 F 可定义为：其中 d 是扩张因子，k 是滤波器大小，中华财经行情s-d・i 代表过去的方向。因此，扩张卷积等效于在每两个相邻的滤波器之间引入一个固定的步长。当 d = 1 时，扩张卷积即为常规卷积。而使用较大的扩张因子，可使顶层的输出表示更大范围的输入，从而有效地扩展了 ConvNet 的感受野。扩张因果卷积，扩张因子 d = 1、2、4，滤波器大小 k =3。感受野能够覆盖输入序列中的所有值。 并行性。与 RNN 中后继时间步长的预测必须等待之前时间步完成预测不同，卷积可以并行完成，因为每一层都使用相同的滤波器。因此，在训练和评估中，TCN 可以处理一整个较长的输入序列，而不是像 RNN 中那样顺序处理。 灵活的感受野大小。TCN 有多种方式更改其感受野大小。例如，堆叠更多扩张（因果）卷积层，使用更大的扩张因子，或增加滤波器大小都是可行的选择。因此，TCN 可以更好地控制模型的内存大小，它们也可以
