基于rnn神经网络的甘肃电力现货价格有关损失函数的优化分析-凯发娱乐官网

基于rnn神经网络的甘肃电力现货价格有关损失函数的优化分析
optimization analysis of loss function related to spot price of gansu power based on rnn

doi: , , , , 国家科技经费支持
作者: 马乐, 马寅, 吴锋, 刘丹丹, 崔剑, , , 韩凯莉：国网甘肃省电力公司，甘肃兰州
关键词: ；；；；；；；

摘要: 针对甘肃高比例新能源双边现货市场价格数据的非线性特征以及主流损失函数的缺陷，本文主要研究如何使用huber损失函数与神经网络精确模拟日前电力现货价格的时间序列，旨在系统解决甘肃日前电力现货价格预测时反向传播损失函数的选择。首先分析了甘肃电力现货市场的运行特点及问题，建立了其电力现货价格的神经网络模型；为了模型的优化建立了反向传播算法中损失函数应该满足的期望属性，并筛选出满足属性的huber损失函数用于甘肃电力市场现货价格预测，还对市场因素的相关性进行了分析；通过实证研究，在mse、mae和huber上训练了rnn神经网络，发现利用2024年1月1日至2024年6月30日期间甘肃电力现货价格数据在huber上训练的模型比在mse和mae上训练的模型提供了更准确的日前电价预测，huber函数是训练神经网络预测甘肃日前电力现货价格的最佳选择。而且huber函数的回溯结果和稳定性比mse和mae都好，即利用huber损失函数预测数据的精准性和稳定性更强。

abstract: in response to the nonlinear characteristics of the bilateral spot market price data for high-proportion new energy in gansu and the shortcomings of mainstream loss functions, this paper primarily investigates how to use the huber loss function with neural networks to accurately model the time series of day-ahead electricity spot prices, aiming to systematically address the selection of the backpropagation loss function for day-ahead electricity spot price forecasting in gansu. firstly, the operational characteristics and issues of the gansu electricity spot market are analyzed, and a neural network model for its electricity spot price is established; to optimize the model, the expected properties that the loss function should meet in the backpropagation algorithm are established, and the huber loss function, which meets the properties, is selected for forecasting the spot price of the gansu electricity market, and the correlation of market factors is analyzed; through empirical research, recurrent neural networks (rnn) are trained on mse, mae, and huber, and it is found that using the gansu electricity spot price data from january 1, 2024, to june 30, 2024, the model trained on huber provides more accurate day-ahead electricity price forecasts than the models trained on mse and mae. the huber function is the best choice for training neural networks to predict day-ahead electricity spot prices in gansu. moreover, the retrospective results and stability of the huber function are better than those of mse and mae; that is, the precision and stability of predicting data using the huber loss function are stronger.

文章引用：马乐, 马寅, 吴锋, 刘丹丹, 崔剑, 魏博, 冯文韬, 韩凯莉. 基于rnn神经网络的甘肃电力现货价格有关损失函数的优化分析[j]. 计算机科学与应用, 2024, 14(10): 110-126.

1. 引言

甘肃省作为国家首批现货市场试点省份之一，在电力现货市场建设方面取得了一定成果。但电力现货市场既可以创造巨大的机遇，也可以带来巨大的风险。由于电力产品的逐渐商品化、市场化，竞争激烈的电力市场不再受政府的传统控制。电力市场的这种转变与金融市场的早期发展相类似，正在推动巨额的交易市场不断增长，并创造了现货合约、衍生品和期货合约等新工具。然而，金融工具开发的定价模型由于其内在的独特性而不适合预测电力价格。事实上，电力是一种没有库存的储存商品，并且不同地理区域之间电力传输环境不同，使其往往以经济上并不直观的方式分散布局。此外，电力交易的特点是非典型变化，这也使其有别于石油和天然气等其他非电力商品，其供应水平受到高度波动的天气条件的显著影响，而其需求水平则受到不断变化的业务需求的驱动。因此，这些变化会导致意想不到的价格峰值、季节性变化，需要创新交易策略和提升系统运维监测水平来保持供需平衡。

准确的日前电力现货价格预测对所有电力投资组合和市场利益相关者都至关重要，日前电力现货价格预测决定了交易策略，以及电力的生产和消费计划。目前，国际上将电力预测策略分为以下几类：(1) 多智能体模型。即基于nash-cournot框架、供给函数均衡、战略生产成本或基于智能体的模拟模型。(2) 结构模型。侧重于捕捉与电力生产和交易相关的物理和经济过程影响的模型，如关注负荷和其它相关天气变量。(3) 专注于风险管理和衍生品定价的简化模型。通常使用跳跃扩散和马尔科夫过程描述。(4) 统计模型。旨在从数学上捕捉过去价格与一组相关的过去和当前变量值之间的潜在关系建立模型。其中最广泛使用的统计技术是相似日指数平滑、回归模型、ar/arx类型时间序列(autoregressive model, ar; auto-regressive with extra inputs, arx)、阈值自回归模型和garch类模型(generalized auto-regressive conditional heteroskedasticity, garch) 。(5) 人工智能模型。如神经网络和空间向量机等，它们从数据中学习，不需要关于问题空间的先验专业知识来参数化模型。

在短期电价预测中，目前最有前途和使用最多的是统计和人工智能模型。anbazhagan等人提出了一种基于elman网络的递归神经网络，用于预测西班牙大陆的日前电力现货价格，将性能结果与大量线性和非线性模型进行了比较，并在纽约电力市场上进行了进一步测试。amjady等人提出了一种依赖于级联神经网络的两阶段特征选择方法的预测策略。beigaite等人研究了nord pool的立陶宛价格区间，使用季节性指数平滑和神经网络对立陶宛的日前价格进行了建模分析。

为了从技术角度研究日前电力现货预测的准确性，许多研究重点关注时间序列预测技术(time series forecasting, tsf)。tsf模型依赖于分析相关的历史数据来捕获有助于预测未来行为的潜在模式和关系。传统上，tsf依赖于统计状态模型(statistical state model, ssm)，该模型根据有关数据集及其领域的专家假设进行参数化，如指数平滑、arima和自回归模型等。然而，这些模型有局限性。首先，它们需要关于目标变量和输入变量之间关系的先验知识，这仅适用于具有良好因果关系的简单时间序列。此外，他们隐含的假设要求数据是线性的。但实证研究表明，金融中的时间序列主要是非线性的。因此，这种传统的统计模型无法为真实世界的非线性电力现货价格时间序列提供最准确的预测估计。为了克服这些局限性，需要能够独立学习时间和函数关系的非线性模型。

基于高阶神经网络的数据驱动方法已成功应用于图像分析、模式识别等领域的各种非线性数据集的建模，其优点是可以从数据集本身中学习功能关系，无需预先嵌入任何先前的假设或任何领域专业知识。这种基于有限数据样本对复杂非线性关系进行建模的能力使神经网络成为近似函数的准通用工具。考虑到电力现货价格时间序列数据集包含高度波动的数据，并且在设计上普遍存在不能被视为不良噪声的异常值，本文拟基于修正的神经网络模型对甘肃电力现货市场行为进行研究，以捕获甘肃电力现货价格时间序列数据集的特征。

本文的主要研究内容为使用huber损失函数与神经网络精确模拟日前电力现货价格的时间序列。首先分析了甘肃电力现货市场及其交易机制，随后研究了关系到神经网络预测模型建立精度的几类损失函数，基于反向传播优化算法对损失函数选取的标准讨论了huber损失函数的适宜性。huber函数在平均意义下提供了更准确的预测，其损失值和回溯结果比mse和mae都小，具有两次可微分性和可变梯度。在此基础上设计、实施了一个神经网络rnn模型，并在甘肃电力现货价格数据集上运行了所建模型。结果表明，huber函数满足所需的损失函数性质，是训练日前电力现货价格时间序列数据集的最佳选择。

2. 日前甘肃现货市场及其交易机制

甘肃电力现货市场包括日前市场和实时市场，采用“集中式市场模式”和“全电量优化”以增加新能源优化空间。其交易机制的具体情况如下：

市场模式：以集中式市场模式进行全电量优化，省内用电负荷与跨省区外送形成的全电量空间通过市场优化出清。新能源、用户以“报量报价”方式参与现货市场。日前/实时现货市场采取集中竞价、分时边际出清的方式，形成次日日前/实时发电、用电计划曲线和分时边际电价。省内现货市场平衡后，富余发电能力继续参与跨省区交易和省间交易，以实现新能源最大化消纳。

价格机制：采用边际出清方式，所有机组报价完毕后，在满足电网安全要求的前提下，以发电成本最小/社会福利最大化为原则，按照发用两侧报价价差由高到低的顺序依次成交，直至累计的发电出力恰好等于负荷需求，满足发用平衡的最后成交机组的报价即为边际价格，所有中标机组都按边际价格结算。日前市场与实时市场均采用节点边际电价作为现货市场结算价格。一天分为96个时段(每15分钟)出清，形成分时电价，全网每个节点也会出清相应的节点电价。节点边际电价由系统电能价格与阻塞价格构成，其中系统电能价格反映全系统的电力供需平衡情况，阻塞价格反映不同节点的电网阻塞情况，节点电价反映电力商品在不同地点的价值。发电侧采用节点电价，用电侧则以每个交易时段所在分区节点加权平均电价作为相应结算价格。

结算机制：日前现货交易计划与中长期交易结算曲线之间的偏差，按照日前市场价格结算；实际用电曲线与日前出清计划曲线的偏差部分，按照实时市场价格结算。

甘肃电力现货市场包括日前市场和实时市场，市场初期采用发电测单边集中竞价模式，市场主体包括火电机组、水电机组和新能源场站。新能源通过与火电机组同台竞争，能够以比较低的边际成本优先获得市场出清，实现对火电机组的发电权替代。用户侧暂不参与现货交易，其用电价格按照签订的中长期合约价格结算。但单边市场模式下现货价格现阶段无法传导至用户侧，一定程度上制约了甘肃新能源消纳的市场潜力。为解决这一问题，甘肃进行了现货市场机制的改进。2021年5月，甘肃现货市场建设进入第二阶段，引入用户侧，吸引硅铁等负荷可调的高耗能企业参与购买新能源现货。发用双方同步进入现货交易，实现现货价格的有效传导，通过价格杠杆激发用户侧调节潜能，实现了荷随源动，促进电力供需平衡和新能源消纳。日前现货市场采用“发用双侧分段报价、集中优化出清”的方式，发电企业申报运行日的量价信息，售电公司和批发用户申报运行日每小时分段量价曲线等。

日前，甘肃进一步优化市场交易机制，率先开展长期“d 3”日滚动交易，提升了现货市场供需双方参与交易的灵活性，其电力现货市场具有如下特点：

1. 新能源装机容量大：截至2020年5月底，甘肃风电装机达1312.19万千瓦，光伏发电装机达925.11万千瓦，新能源装机占比达到42.3%，新能源装机超过火电成为省内电力系统第一大能源。但本地电力需求不足，且快速启停调节机组较少，同时电源与负荷空间分布不匹配，河西地区新能源富集而河东地区是负荷集中地，外送电阻塞较为严重，需要形成能反映电力供需分区域、分时段的平衡价格信号。

2. 全尺度、全形态、全品种的市场体系：已建设空间范围覆盖省间、省内，时间周期覆盖年、月、日时的市场体系，促进甘肃新能源在全国范围内优化配置和消纳。

3. 双边报价方式：采用两侧双边报价方式，通过“日前市场实时市场 1分钟调频”解决短期及超短期预测偏差问题。实现全网独立储能和新能源配建储能集中控制，最大化利用网内储能资源。引导客户、负荷聚合商和虚拟电厂等可调节资源主体通过“报量报价”方式竞价参与电力需求响应。

4. 市场活跃度提升：服务市场主题数量近三年内翻了三番，建成电力市场结算标准化体系和全流程、可溯源的结算管控体系，全面实现交易平台数智化、自动化运行。

但随着新能源装机规模的不断增加和市场的变化，甘肃电力现货市场仍面临一些挑战，需要持续完善和创新市场机制。

3. 电力现货市场的神经网络模型

3.1. 神经网络

人工神经网络是数据驱动的建模算法，其特点是从一组有限的数据示例中进行学习，通过组织大规模的简单处理单元并行组合来实现学习，这些处理单元通过学习过程从环境中获取知识并将知识存储。考虑到甘肃日前现货市场采用“发用双侧分段报价、集中优化出清”的交易模式，其动态性强、数据流密集、非线性特征明显的特点，故采用神经网络对其进行建模分析非常有利于对系统功能的监督学习，从而对现货交易实现功能性的模拟。神经网络模型如下：

设 $x$ 和 $y$ 是两个随机变量： $y \in y \subset ℝ$ ， $y = f (x)$ 和 $x \in x \subset ℝ^{d}$ 。对于函数 $f$ ，考虑示例 ${(x_{i} - y_{i})}_{i = 1, \dots, n}$ 从联合分布中提取 $x$ 和 $y$ ，监督学习映射 $\hat{f} : x \to y$ 并将误差降至最低，损失函数定义 $l : y \times y \to ℝ$ 。考虑到收敛性，本文将研究空间限制在一组 $f$ 并定义

$\hat{f} = \arg \min e [l (y, f (x))], f \in f$ (1)

神经网络通过一系列层传递输入 $x$ 来求解上述方程。从输入信号 $x$ 开始，每个后续层的计算方法如下：

$x_{j} = ρ w_{j} x_{j - 1}$ (2)

其中 $w_{j}^{}$ 表示线性算子， $ρ$ 是一个非线性算子，它通过使用激活函数(如整流线性单元relu等)使输入信号成为非线性的。神经网络计算的目标是通过权重和输入的组合来产生非线性决策边界。因此，每一层都可以写成前几层的总和，如下所示：

$x_{j} (u, k_{i}) = ρ (\sum (x_{j - 1} {(., k)}^{*} w_{j, k_{j}} (., k)) (u))$ (3)

在基本运算中，神经网络旨在估计回归函数，即：

$e (y | x = x) = δ \sum_{j = 1}^{h} w_{j} g (〈 γ^{(j)}, x 〉)$ (4)

其中 $γ$ 是常数， $h$ 是建立节点数的带宽数， $δ$ 表示偏移量或阈值， $w_{j}^{}$ 是节点 $j$ 的权重， $g$ 是非线性函数，函数的输入是向量 $γ^{(j)}$ 和 $x$ 之间的内积 $〈 γ^{(j)}, x 〉$ ， $γ^{(j)}$ 是节点 $j$ 处变量的权重。

3.2. 反向传播优化

神经网络中的优化问题通常具有非凸性，其权重 $ω_{j}$ 是使用反向传播算法学习的。反向传播算法，简称bp算法，是建立在梯度下降法基础上的适合于多层神经元网络的一种学习算法(如所示)。bp网络的输入输出关系实质上是一种映射关系：一个n输入m输出的bp神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。其信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。这是bp算法得以应用的基础。

此处反向传播是指计算机神经网络模型采用梯度和方向以减少损失的方法，损失由实际值和预测值之间的误差来定义。模型迭代尝试通过改变权重来找到损失函数的最小值，直到误差收敛到尽可能低的值。

figure 1. the structure of bp network

图1. bp网络结构

在上图所示的人工神经网络结构中，输入层、隐藏层和输出层所涉及的主要变量定义如下：

设 $ω_{j k}^{l}$ 表示第 $(l - 1)$ 层的第 $k$ 个神经元连接到第 $l$ 层的第 $j$ 个神经元的权重； $b_{j}^{l}$ 表示第 $l$ 层的第 $j$ 个神经元的偏置； $σ$ 为激活函数。 $z_{j}^{l}$ 表示第 $l$ 层的第 $j$ 个神经元的输入，则

$z_{j}^{l} = \sum_{}^{}_{k} ω_{j k}^{l} a_{k}^{l - 1} b_{j}^{l}$ (5)

令 $a_{j}^{l}$ 表示第 $l$ 层的第 $j$ 个神经元的输出，则

$a_{j}^{l} = σ (\sum_{k}^{} ω_{j k}^{l} a_{k}^{l - 1} b_{j}^{l})$ (6)

反向传播算法基于损失函数 $l$ 相对于各个权重 $w$ 和偏差 $b$ 的偏导数 $\partial l / \partial w$ 建立表达式，以此描述权重和偏差改变时的损失的变化率。因此，反向传播是一种简单而快速的学习方法，它提供了关于权重和偏差变化如何改变神经网络整体行为和性能的有效途径。其中权重更新利用如下的梯度下降算法进行：

$ω_{i j} = ω_{i j} - η \frac{\partial e}{\partial ω_{i j}}$ (7)

式中 $η$ 为学习效率，控制更新步长。

4. 损失函数的期望性质及选择

选取良好的损失函数有利于对甘肃双边电力现货市场下电力价格的准确预测，从而降低交易中存在的风险，让市场向有利的方向发展。训练神经网络最常用的损失函数是均方误差(mean square error, mse)和平均绝对误差(mean absolute error, mae)。即

均方误差： $mse = \frac{1}{m} \sum_{i = 1}^{m} {(y_{i} - f_{i})}^{2}$ ；平均绝对误差： $mae = \frac{1}{m} \sum_{i = 1}^{m} | y_{i} - f_{i} |$

其中 $y_{i}$ 指实际值， $f_{i}$ 指预测值。

当应用于时间序列预测时，首先针对序列中每个固定大小的时间间隔计算mae或mse，然后对所有平均值的总和执行优化。在固定的学习速率下，mse易于计算并能快速收敛，但其对异常值具有敏感性，从而在数据集具有异常值时能降低整体模型的准确性。相比之下，对异常值更稳健的mae具有恒定的梯度()，但这使得它在典型的梯度下降算法中可能会错过其最小值。尽管mse具有可变梯度()，

figure 2. mae loss vs. forecast graph

图2. mae损失与预测图

figure 3. mse loss vs. forecast graph

图3. mse损失与预测图

但其过分强调了异常值，从而无法排除其对整体模型性能的降低。另外由于这两种误差都不能真正捕获时间序列数据集的时间顺序依赖关系，因此他们并不是电力现货价格时间序列预测的最佳选择。

电力现货价格的波动性是其数据集的固有特征。为了采用神经网络实现对电力现货价格时间序列的准确预测，则在反向传播中梯度下降算法所使用的损失函数须具有二阶可微、梯度可变、计算开销不高，并能有效处理异常值和噪声的功能，即期望最优的损失函数须具备以下属性：

h₁：损失函数 $l$ 对权重 $w$ 可微，从而可计算偏导数 $\partial l / \partial w$ 存在和偏置 $b$ 。这是梯度下降算法的核心。

由于日前价格预测是短期的，因此必须有效地训练模型。接下来的两个属性解决了这个问题。

h₂： $l$ 二阶可微，从而使神经网络在梯度提升框架下有效而快捷地执行优化的分布式梯度提升机器学习算法xgboost。

h₃： $l$ 在极小值附近光滑且具有可变的梯度，从而提高通过梯度下降算法找到最小值的概率，并确保算法收敛的有效性。

h₄： $l$ 是鲁棒的，并在不同的神经网络架构中提供准确的预测。

有效地训练模型是实现电力现货日前价格短期预测的前提，这正是性质h₂、h₃的意义所在。因此实现甘肃电力市场现货价格的准确预测，就需要根据性质h₁~h₂寻找最优的损失函数。文献从预测精度的角度提出了theil uii预测精度系数，其定义如下：

$uii = \sqrt{\frac{\sum_{i = 1}^{n} {(y_{i} - f_{i})}^{2}}{\sum_{i = 1}^{n} y_{i}^{2}}}$ (8)

其中 $y_{i}$ 指实际值， $f_{i}$ 指预测值。

结合均方误差(mse)和平均绝对误差(mae)的优点，文献提出了一种具有更好的鲁棒性并用于回归问题的带参的损失函数-huber损失函数，其定义为：

$huber = {\begin{matrix} \frac{1}{2} {(y_{i} - f_{i})}^{2}, \begin{matrix} \begin{matrix} \begin{matrix} | y_{i} - f_{i} | \leq δ \end{matrix} \end{matrix} \end{matrix} \\ δ | y_{i} - f_{i} | - \frac{1}{2} δ^{2}, \begin{matrix} \begin{matrix} | y_{i} - f_{i} | > δ \end{matrix} \end{matrix} \end{matrix}$ (9)

本文试图从以上两个改进后的函数中为甘肃电力现货市场分析选择最优的损失函数提高预测的准确性和可靠性。

5. 损失函数分析

以下对theil uii损失函数huber损失函数分别进行数学分析。先对theil uii进行微分：

$\begin{matrix} \frac{\begin{matrix} \partial theil & uii \end{matrix}}{\partial w_{j}} = \frac{\partial}{\partial w_{j}} \sqrt{\frac{\sum_{i = 1}^{n} {(y_{i} - f_{i})}_{}^{2}}{\sum_{i = 1}^{n} y_{i}^{2}}} = \frac{1}{2 \sqrt{(\sum_{i = 1}^{n} {(y_{i} - f_{i})}_{}^{2}) / \sum_{i = 1}^{n} y_{i}^{2}}} \frac{\partial}{\partial w_{j}} \frac{1}{\sum_{i = 1}^{n} y_{i}^{2}} \times \sum_{i = 1}^{n} {(y_{i} - f_{i})}_{}^{2} \\ = \frac{1}{2 \sum_{i = 1}^{n} y_{i}^{2} \sqrt{(\sum_{i = 1}^{n} {(y_{i} - f_{i})}_{}^{2}) / \sum_{i = 1}^{n} y_{i}^{2}}} \frac{\partial}{\partial w_{j}} \sum_{i = 1}^{n} {(y_{i} - f_{i})}_{}^{2} \\ = \frac{1}{2 \sum_{i = 1}^{n} y_{i}^{2} \sqrt{(\sum_{i = 1}^{n} {(y_{i} - f_{i})}_{}^{2}) / \sum_{i = 1}^{n} y_{i}^{2}}} \sum_{i = 1}^{n} 2 (y_{i} - f) \frac{\partial}{\partial w_{j}} (y_{i} - f_{i}) \\ = \frac{1}{2 \sum_{i = 1}^{n} y_{i}^{2} \sqrt{(\sum_{i = 1}^{n} {(y_{i} - f_{i})}_{}^{2}) / \sum_{i = 1}^{n} y_{i}^{2}}} 2 \sum_{i = 1}^{n} (y_{i} - f_{i}) (\frac{\partial}{\partial w_{j}} y_{i} - \frac{\partial}{\partial w_{j}} f_{i}) \\ = \frac{- 1}{\sum_{i = 1}^{n} y_{i}^{2} \sqrt{(\sum_{i = 1}^{n} {(y_{i} - f_{i})}_{}^{2}) / \sum_{i = 1}^{n} y_{i}^{2}}} \sum_{i = 1}^{n} (y_{i} - f_{i}) \frac{\partial}{\partial w_{j}} f_{i} \end{matrix}$

$\begin{matrix} \frac{\partial^{2} \begin{matrix} theil & uii \end{matrix}}{\partial w_{j} \partial w_{k}} = \frac{\partial}{\partial w_{k}} \frac{- 1}{\sum_{i = 1}^{n} y_{i}^{2} \sqrt{(\sum_{i = 1}^{n} {(y_{i} - f_{i})}_{}^{2}) / \sum_{i = 1}^{n} y_{i}^{2}}} \times \sum_{i = 1}^{n} (y_{i} - f_{i}) \frac{\partial}{\partial w_{j}} f_{i} \\ = \frac{1}{\sum_{i = 1}^{n} y_{i}^{2} \sqrt[3]{(\sum_{i = 1}^{n} {(y_{i} - f_{i})}_{}^{2}) / \sum_{i = 1}^{n} y_{i}^{2}}} \times \frac{\sum_{i = 1}^{n} (y_{i} - f_{i})}{\sum_{i = 1}^{n} y_{i}^{2}} \frac{\partial}{\partial w_{k}} f_{i} \\ - \frac{1}{\sum_{i = 1}^{n} y_{i}^{2} \sqrt{(\sum_{i = 1}^{n} {(y_{i} - f_{i})}_{}^{2}) / \sum_{i = 1}^{n} y_{i}^{2}}} \times \sum_{i = 1}^{n} ((y_{i} - f_{i}) \frac{\partial^{2}}{\partial w_{j} \partial w_{k}} f_{i} - \frac{\partial f_{i}}{\partial w_{j}} \frac{\partial f_{i}}{\partial w_{k}}) \end{matrix}$

可见，theil uii损失函数对权重 $w$ 是二阶可微的。但theil uii损失函数和mae一样在底端不平稳，在极小值附近不平滑，虽然theil uii相较于单纯的均方误差损失函数有所改进，但在处理极端异常值时，仍可能受到较大影响。而且theil uii-s缺乏直观的解释性，与一些常见的简单损失函数(如均方误差或平均绝对误差)相比，其形式较为复杂，不太容易直观地理解其对模型训练的影响和优化方向。在实际应用中，还需要根据数据特点进行调整和优化，找到最优的参数设置仍具有挑战性，因此，该模型并不适宜用于甘肃电力现货市场。

再对huber损失函数进行微分：

$\frac{\partial huber}{\partial w_{j}} = {\begin{matrix} (y_{i} - f_{i}) \frac{\partial y_{i}}{\partial w_{j}}, \begin{matrix} | y_{i} - f_{i} | \leq δ \end{matrix} \\ \pm δ \frac{\partial f_{i}}{\partial w_{j}}, \begin{matrix} \begin{matrix} \end{matrix} & \begin{matrix} \end{matrix} & | y_{i} - f_{i} | > δ \end{matrix} \end{matrix}$ (10)

$\frac{\partial^{2} huber}{\partial w_{j} \partial w_{k}} = {\begin{matrix} \frac{\partial f_{i}}{\partial w_{j}} \frac{\partial f_{i}}{\partial w_{k}} (f_{i} - y_{i}) \frac{\partial^{2} f_{i}}{\partial w_{j} \partial w_{k}}, \begin{matrix} \begin{matrix} \end{matrix} & | y_{i} - f_{i} | \leq δ \end{matrix} \\ \pm δ \frac{\partial^{2} f_{i}}{\partial w_{j} \partial w_{k}}, \begin{matrix} \begin{matrix} \begin{matrix} \end{matrix} \end{matrix} & \begin{matrix} | y_{i} - f_{i} | > δ \end{matrix} \end{matrix} \end{matrix}$ (11)

可见，huber损失函数对权重 $w$ 也是二阶可微的。其在极小值附近是平滑的，也具有可变的梯度，满足性质h1、h2、h3。huber损失函数保持了mae和mse的优点，又弥补了它们的缺点。为了证明huber是鲁棒的，本文进行了相应的实证分析，如所示。图中huber损失函数的取0.1和1两个值。

figure 4. huber loss function loss vs. prediction graph

图4. huber损失函数损失与预测图

上述损失函数的分析表明，huber函数是四个损失函数中性质最佳的损失函数，可用于甘肃电力现货市场分析。

6. 数据分析

本文首先依据2024年1月1日至2024年6月30日期间甘肃电力现货价格实测数据(每日96个时段)，采用spss软件获得甘肃电力现货价格瞬时趋势图(如所示)和甘肃电力现货价格日平均趋势图(如所示)。由图可见，电力现货价格尖峰并不常见，价格波动具有一定的周期性。但由于极端天气条件发电中断或输电故障导致供应波动，或由于“假日效应”可能会发生峰值。在价格波动趋势的基础上即可分析甘肃实时电力现货价格预测问题。

figure 5. instantaneous trend chart of gansu electricity spot price

图5. 甘肃电力现货价格瞬时趋势图

figure 6. daily average trend chart of electricity spot prices in gansu

图6. 甘肃电力现货价格日平均趋势图

6.1. 日前电力现货价格预测的动态

本节剖析影响甘肃日前现货价格的潜在机制，以此来确定模型输入变量的抉择。对甘肃电力日前市场，电网必须始终维持平衡，其需求必然始终等同于供应。然而，仅仅对实际的供需水平进行建模是远远不够的。这是由于甘肃的电力现货价格主要由市场对于供需的预期所驱动，而非由实际数量所主导。因此，我们的价格预测模型需要精确捕捉预测的供需水平。

在需求方面，甘肃的功耗呈现出一定的增长趋势。但在过去的一段时间里，甘肃市场电力消费增长率与电力供应增长率存在一定的差异。并且电力需求水平和其他市场的商业活动强度紧密相连。因此基于电网发布的远期电力合同价值对未来经济活动水平的预测，即可呈现电力需求的反映。

在供应方面，甘肃电力市场的预期产量与供应能力直接相关，因而也和现货价格直接挂钩。例如，由于开发新的电厂预计每千瓦时的成本变化，依此即可合理地预期未来的电价范围。而且每当出现新的需求水平时，甘肃扩大产量也具备现实的可行性。甘肃的实时中长期电力参考价对现货价格有着重要影响。甘肃单边市场出清电量和双边市场出清电量的变化也会对电力供应和价格产生作用。另外，煤炭是电力日前现货市场的关键驱动因素之一。当煤炭价格上涨致使燃烧成本过高而无利可图时，电厂可能会停止生产，从而导致电力供应减少，现货价格上升。最后，可再生能源在甘肃的电力生产中愈发重要，特别是水力发电，由于其成本的降低和环保优势，水力发电量的变化对电力供应和价格有着显著影响，需要成为任何有力的日前电力现货价格预测模型的一部分。依据甘肃省2024年1月~2024年6月电力现货价格数据：即电力现货价格(spot price, spe)、实时电量(real-time electricity quantity, rteq)、实时中长期参考价(real-time medium to long-term reference prices, rt m-lt ref prices)、单边市场出清电量(unilateral market clearing electricity quantity, umceq)、双边市场出清电量(bilateral market clearing electricity quantity, bmceq)、甘肃省用电量(electricity consumption in gansu province, ecigp)、可靠性出清电量(reliability clearing electricity quantity, rceq)、水力发电量(hydroelectric capacity, hc)等8种实测数据类型，本文计算了甘肃电力市场的6个常规统计指标，其结果见。

通过对八种变量的统计描述，本文对预测模型输入变量的数据集进行了初步探索。比如一些输入变量包含缺失值，发现其主要是由于市场在周末和公共假期休市所致；描述性统计表明输入变量的取值具有不同的尺度。虽然神经网络以其处理原始数据的能力而闻名，但建模中对数据进行归一化处理将可以增强大多数任务的收敛性和泛化性。

table 1. descriptive statistics for eight data types

表1. 八种数据类型的描述性统计

输入变量	电力现货价格	实时电量	实施中长期参考价	单边市场出清电量	双边市场出清电量	甘肃省用电量	可靠性出清电量	水力发电量
样本总量	17,472	1000	1000	1000	1000	17,472	1000	17,472
平均值	227.5241	15070.05	389.8119	23421.63	22140.63	19263.46	23432.02	3649.127
中位数	80.19321	14247.99	450.0001	23348.01	21402	19246.41	23069.5	3279.519
标准差	202.2995	2276.468	200.1792	1474.359	2695.13	1246.193	2067.164	1744.133
最小值	40	10957.22	39.99994	20683	18127.35	16340.13	19843.01	883.6884
最大值	650	20497.93	650.0005	26725	29250.16	22802.09	28665	7452.984

6.2. 相关性研究

为了巩固我们对数据集输入变量的选择，通过计算pearson、spearman和kendall相关矩阵来探索其不同特征之间的相关性。其中这三个相关性矩阵的公式如下：

pearson相关系数：

$r_{x y} = \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sqrt{\sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2} \sum_{i = 1}^{n} {(y_{i} - \bar{y})}^{2}}}$ (12)

其中 $x_{i}$ 和 $y_{i}$ 分别是变量 $x$ 和 $y$ 的第 $i$ 个观测值； $\bar{x}$ 和 $\bar{y}$ 分别是变量 $x$ 和 $y$ 的均值； $n$ 是观测值的数量。

spearman相关系数：

$ρ = 1 - \frac{6 \sum_{i = 1}^{n} d_{i}^{2}}{n (n^{2} - 1)}$ (13)

其中 $d_{i} = r (x_{i}) - r (y_{i})$ ， $r (x)$ 和 $r (y)$ 是样本容量为 $n$ 的两个变量 $x$ 和 $y$ 的秩。

kendall相关系数：

$τ = \frac{n_{c} - n_{d}}{n (n - 1) / 2}$ (14)

其中 $n_{c}$ 是一致对的数量(两个变量的值在各自排序中保持相同顺序关系)， $n_{d}$ 是不一致对的数量(两个变量的值在各自排序中顺序关系相反)。

采用上述相关系数定义，本文计算得到了如~所示的甘肃电力市场的相关性矩阵。

figure 7. pearson correlation matrix

图7. pearson相关矩阵

figure 8. spearman correlation matrix

图8. spearman相关矩阵

figure 9. kendall correlation matrix

图9. kendall相关矩阵

相关矩阵表明，实时电量、单边市场出清电量、双边市场出清电量、甘肃省用电量、可靠性出清电量、水利发电量与电力现货价格呈负相关。实际中长期参考价和电力现货价格在pearson、spearman和kendall相关矩阵中的系数分别是0.97、0.97和0.89，说明实际中长期参考价和电力现货价格具有非常强的相关性。

7. 模型开发

首先数据集包括了从2024年1月1日到2024年6月30日连续记录的实时电力现货价格。本文在预处理阶段之后，将数据集划分为训练集、验证集和测试集，它们之间的比例为7:2:1，由此开发了一个递归神经网络(rnn)模型来测试相应的损失函数，并在三个损失函数(mse、mae和huber)上训练了所有神经网络模型，总共有3个模型，测量了每个模型的性能。为了掌握所提出的损失函数对预测准确性的实际影响，学习率、激活函数、优化器、批量大小和回溯间隔等所有模型的超参数都是相同的。

此外，鉴于损失函数与模型的回溯和性能之间的密切关系，允许每个模型在1到12的回溯值范围内运行，以此对运行结果进行公平的比较。因为每个神经网络和损失函数在不同的回溯中表现最佳，因此，本文将测试集的结果呈现如下：

平均预测分析：首先对每个模型，本文利用所有模型的平均预测误差值进行了描述性统计，如所示。表中显示的结果清楚地表明，在50个的误差值中，huber作为损失函数优于mse和mae，其票据误差值均远低于使用mse和mae进行评估时的平均误差值。此外，~显示mae的两种损失值

table 2. descriptive statistics of loss values for the three models

表2. 三种模型的损失值的描述性统计

基础指标
名称	样本量	最小值	最大值	平均值	标准差	中位数
mae损失值	50	0.060	0.111	0.069	0.009	0.066
mae损失值	50	0.022	0.031	0.024	0.002	0.023
huber损失值	50	0.011	0.020	0.012	0.002	0.011

figure 10. mae loss convergence diagram

图10. mae损失收敛图

figure 11. mse loss convergence diagram

图11. mse损失收敛图

figure 12. huber loss convergence diagram

图12. huber损失收敛图

figure 13. traceback results for 12 backtrace values across 3 models

图13. 3个模型中12个回溯值的回溯结果

范围是0.06~0.11，mse两种损失值的范围是0.022~0.034，而huber的两种损失值范围是0.011~0.018。表明huber损失函数不管在有波动性的验证损失值曲线还是趋于平稳的训练损失值曲线，收敛性都要更强，鲁棒性更好。

最优预测分析：对于每个模型和每个损失函数，本文只保留回溯值1到12对应的回溯结果(见)。可以看出，huber的回溯结果和稳定性比mse和mae都好，说明利用huber损失函数预测数据精准性和稳定性更强。

8. 结束语

本文主要研究如何使用huber损失函数与神经网络精确模拟日前电力现货价格的时间序列，旨在系统地解决甘肃日前电力现货价格预测时反向传播损失函数的选择。首先，我们分析了甘肃电力现货市场的运行特点及问题，建立了其电力现货价格预测的神经网络模型；为了模型的优化建立了反向传播算法中损失函数应该满足的期望属性，并筛选出满足属性的huber损失函数可用于甘肃电力市场现货价格预测模型中，并对市场因素的相关性进行了分析；通过实证研究，在mse、mae和huber上训练了rnn神经网络，发现利用2024年1月1日至2024年6月30日期间甘肃的电力现货价格数据在huber上训练的模型比在mse和mae上训练的模型提供了更准确的日前电价预测，huber函数确实是训练神经网络预测甘肃双边现货市场日前电力现货价格的最佳选择。huber函数的回溯结果和稳定性比mse和mae都好，即利用huber损失函数预测数据精准性和稳定性更强。

基金项目

本文由国网甘肃省电力公司科技项目“适应高比例新能源的省级双边现货市场监测关键技术研究及应用”(522722230062)资助。

参考文献

[1]	xu, b. and li, y. (2024) prescribed-time fully distributed nash equilibrium seeking of nonlinear multi-agent systems over unbalanced digraphs. automatica, 169, article id: 111847.
[2]	kapoor, g. and wichitaksorn, n. (2023) electricity price forecasting in new zealand: a comparative analysis of statistical and machine learning models with feature selection. applied energy, 347, article id: 121446.
[3]	aggarwal, s.k., saini, l.m. and kumar, a. (2009) electricity price forecasting in deregulated markets: a review and evaluation. international journal of electrical power & energy systems, 31, 13-22.
[4]	cinar, y.g., mirisaee, h., goswami, p., gaussier, e., aït-bachir, a. and strijov, v. (2017) position-based content attention for time series forecasting with sequence-to-sequence rnns. 24th international conference, iconip 2017, guangzhou, 14-18 november 2017, 533-544.
[5]	anbazhagan, s. and kumarappan, n. (2014) day-ahead deregulated electricity market price forecasting using neural network input featured by dct. energy conversion and management, 78, 711-719.
[6]	beigaite, r., krilavicius, t. and man, k.l. (2018) electricity price forecasting for nord pool data. 2018 international conference on platform technology and service (platcon), jeju, 29-31 january 2018, 1-6.
[7]	guen, v. and thome, n. (2019) shape and time distortion loss for training deep time series forecasting models.
[8]	fan, c., zhang, y., pan, y., li, x., zhang, c., yuan, r., et al. (2019) multi-horizon time series forecasting with temporal attention learning. proceedings of the 25th acm sigkdd international conference on knowledge discovery & data mining, anchorage, 4-8 august 2019, 2527-2535.
[9]	lim, b. and zohren, s. (2021) time-series forecasting with deep learning: a survey. philosophical transactions of the royal society a: mathematical, physical and engineering sciences, 379, article id: 20200209.
[10]	de livera, a.m., hyndman, r.j. and snyder, r.d. (2011) forecasting time series with complex seasonal patterns using exponential smoothing. journal of the american statistical association, 106, 1513-1527.
[11]	sánchez-sánchez, p.a., garcía-gonzalez, j.r. and coronell, l.h.p. (2019) encountered problems of time series with neural networks: models and architectures. proceedings of the international conference on recent trends in artificial neural networks-training and prediction.
[12]	qi, m. and zhang, g.p. (2001) an investigation of model selection criteria for neural network time series forecasting. european journal of operational research, 132, 666-680.
[13]	franses, p.h. and van dijk, d. (2000). nonlinear time series models in empirical finance. cambridge university press.
[14]	egmont-petersen, m., de ridder, d. and handels, h. (2002) image processing with neural networks—a review. pattern recognition, 35, 2279-2301.
[15]	goldberg, y. (2017) neural network methods for natural language processing. synthesis lectures on human language technologies, 10, 1-309.
[16]	陈振寰, 杨春祥, 张柏林, 韩杰, 杨迎, 张天宇, 陈雨果. 甘肃电力现货市场双边交易机制设计[j]. 全球能源互联网, 2020, 3(5): 441-450.
[17]	王春玮. 甘肃省新能源现货市场应对策略研究[j]. 节能与环保, 2019(4): 84-85.
[18]	杨春祥, 张天宇, 张晓斌, 等. 适应高比例新能源电网的甘肃双边现货市场机制设计与运行分析[j]. 电网技术, 2022, 46(1): 63-69.
[19]	pan, j., zhang, z., chu, s., zhang, s. and wu, j.m. (2024) a parallel compact marine predators algorithm applied in time series prediction of backpropagation neural network (bnn) and engineering optimization. mathematics and computers in simulation, 220, 65-88.
[20]	bliemel, f. (1973) theil’s forecast accuracy coefficient: a clarification. journal of marketing research, 10, 444-446.
[21]	wang, q., ma, y., zhao, k. and tian, y. (2020) a comprehensive survey of loss functions in machine learning. annals of data science, 9, 187-212.

为你推荐

凯发娱乐官网的友情链接