破口处的临界流量决定了冷却剂丧失速度和一回路泄压速度,二氧化碳(CO2)在拟临界附近会发生物性畸变,而超临界二氧化碳(SCO2)反应堆的喷放过程涉及跨临界降压、不同相态喷放流量计算,现有研究缺乏宽参数范围高精度临界流模型。数据驱动方法可基于成长型的训练数据库提升精度,为了快速且精准地预测SCO2临界流,文章基于深度学习方法建立了SCO2临界流模型。通过敏感性分析确定了深度学习模型的特征输入;以循环神经网络(RNN)为框架,使用K折交叉验证、L2正则化得到了预测精度更高、泛化能力更强的临界流模型SCO2-RNN;基于遗传算法选取最优超参数,得到模型对预测结果平均相对误差为4.88%,最大相对误差为14.24%;对初见数据泛化的平均误差为5.73%,最大误差为20.45%;在使用迁移学习后,平均相对误差降低为1.75%,最大相对相对误差为4.15%。基于训练好的模型对新数据的泛化结果表明:深度学习模型在速度和精度方面均满足工程要求,可建立宽适用范围的高精度高效率临界流模型。 The critical flow at the break determines the speed of coolant loss and the depressurization rate of the primary circuit. Carbon dioxide (CO2) reactor undergoes physical property anomalies near the pseudo-critical point, and the supercritical carbon dioxide (SCO2) discharge process involves cross-critical pressure reduction and calculation of discharge flow rates in different phases. Existing research lacks a high-precision critical flow model with a wide range of parameters. Data-driven methods can improve accuracy based on a growing training database. In order to quickly and accurately predict the critical flow of supercritical carbon dioxide, this paper establishes an SCO2critical flow model based on deep learning methods. Through sensitivity analysis, the feature input of the deep learning model was determined; using the Recurrent Neural Network (RNN) as the framework, with K-fold cross-validation and L2 regularization, a critical flow model SCO2-RNN with higher prediction accuracy and stronger generalization ability was obtained. Then we selected the best hyperparameters were selected by the genetic algorithm. The average error of the predicted result of this model is 4.88%, and the maximum error is 14.24%; the average error of generalizing to unseen data is 5.73%, and the maximum error is 20.45%. After using transfer learning, the average error decreased to 1.75%, and the maximum error is 4.15%. This indicates that with the upgrade of database, there will be higher accuracy and better adaptability. The generalization results of new data based on the trained model show that: the deep learning model meets engineering requirements in terms of speed and accuracy, and can establish a high-precision and high-efficiency critical flow model with a wide range of applicability.
破口处的临界流量决定了冷却剂丧失速度和一回路泄压速度,二氧化碳(CO2)在拟临界附近会发生物性畸变,而超临界二氧化碳(SCO2)反应堆的喷放过程涉及跨临界降压、不同相态喷放流量计算,现有研究缺乏宽参数范围高精度临界流模型。数据驱动方法可基于成长型的训练数据库提升精度,为了快速且精准地预测SCO2临界流,文章基于深度学习方法建立了SCO2临界流模型。通过敏感性分析确定了深度学习模型的特征输入;以循环神经网络(RNN)为框架,使用K折交叉验证、L2正则化得到了预测精度更高、泛化能力更强的临界流模型SCO2-RNN;基于遗传算法选取最优超参数,得到模型对预测结果平均相对误差为4.88%,最大相对误差为14.24%;对初见数据泛化的平均误差为5.73%,最大误差为20.45%;在使用迁移学习后,平均相对误差降低为1.75%,最大相对相对误差为4.15%。基于训练好的模型对新数据的泛化结果表明:深度学习模型在速度和精度方面均满足工程要求,可建立宽适用范围的高精度高效率临界流模型。
深度学习,超临界二氧化碳,临界流量,循环神经网络
Tiansheng Chen, Haoyang Feng, Yuan Yuan*, Yuan Zhou, Junhao Wang, Yuting Zha, Houzhong Zhai, Yukai Meng
College of Physics, Sichuan University, Chengdu Sichuan
Received: Oct. 26th, 2023; accepted: Nov. 9th, 2023; published: Jan. 8th, 2024
The critical flow at the break determines the speed of coolant loss and the depressurization rate of the primary circuit. Carbon dioxide (CO2) reactor undergoes physical property anomalies near the pseudo-critical point, and the supercritical carbon dioxide (SCO2) discharge process involves cross-critical pressure reduction and calculation of discharge flow rates in different phases. Existing research lacks a high-precision critical flow model with a wide range of parameters. Data-driven methods can improve accuracy based on a growing training database. In order to quickly and accurately predict the critical flow of supercritical carbon dioxide, this paper establishes an SCO2critical flow model based on deep learning methods. Through sensitivity analysis, the feature input of the deep learning model was determined; using the Recurrent Neural Network (RNN) as the framework, with K-fold cross-validation and L2 regularization, a critical flow model SCO2-RNN with higher prediction accuracy and stronger generalization ability was obtained. Then we selected the best hyperparameters were selected by the genetic algorithm. The average error of the predicted result of this model is 4.88%, and the maximum error is 14.24%; the average error of generalizing to unseen data is 5.73%, and the maximum error is 20.45%. After using transfer learning, the average error decreased to 1.75%, and the maximum error is 4.15%. This indicates that with the upgrade of database, there will be higher accuracy and better adaptability. The generalization results of new data based on the trained model show that: the deep learning model meets engineering requirements in terms of speed and accuracy, and can establish a high-precision and high-efficiency critical flow model with a wide range of applicability.
Keywords:Deep Learning, Supercritical Carbon Dioxide, Critical Flow, Recurrent Neural Network (RNN)
Copyright © 2024 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
SCO2反应堆主回路系统运行参数高、换热能力较水差,破口引起的冷却剂丧失事故(LOCA),是SCO2反应堆安全分析的设计基准事故,其中的关键是临界流量的预测。目前已经有很多研究进行了临界流量相关实验,但数值计算较少。
陈江平 [
SCO2的临界流模型大多基于水的临界流模型建立。John P. Edlebeck [
苏光辉 [
本文基于RNN方法引入遗传算法对模型进行优化,并且使用K折交叉验证的方法增强泛化的效果,以此降低由于训练集数据较少产生的影响,同时为了避免模型过拟合问题引入L2正则化降低网络的复杂度,并进一步通过迁移学习探究了数据库增大对计算精度的影响。本研究建立的预测方法可为宽参数范围的临界流模型建立提供参考。
为明确深度学习临界流模型的特征变量,对临界流模型的关键参数进行了敏感性分析(图1)。图1(a)中的参数来源于JP Chen等人 [
图1(b)中的实验数据取自Guillaume等人 [
最终,深度学习模型的训练集有282组数据,其中189组数据来源于汪杨乐等人的SCO2临界流实验研究 [
RNN是一类以序列数据为输入,在序列的演进方向进行递归,对序列的非线性特征进行学习时具有一定优势的网格模型,因此研究选取RNN作为网格模型。由于获得的数据量少,使用传统RNN模型训练中发现训练集的平均相对误差为10.70%,而在泛化数据上的平均相对误差为37.23%,最大相对误差则达到了63.12%,易出现过拟合,为此,研究引入K折交叉验证方法。在引入K折交叉验证后,令K为3,不更改网格结构,训练平均相对误差为3.07%,泛化的平均相对误差降低到了18.54%,最大相对误差
图1. 热工关键参数对临界流量的敏感性分析
也成功降低到39.27%。尽管引入了K折交叉验证,泛化的误差依然较大,未达到理想的效果,过拟合现象依然存在,为此模型引入了L2正则化。L2正则化是在损失函数中添加一个对参数的L2范数惩罚项作为约束,通过减少参数平方的总和来减小误差,最终达到防止过拟合的目的。而通过夏凡的研究,L2也确实能够在一定程度上提升泛化性能 [
为得到更好网格结构,对RNN模型的隐藏层层数和节点数进行了敏感性分析,如表1所示。计算结果表明在一定范围内平均相对误差随隐藏层的增加而降低,当层数大于5后会随之增加,而最大相对误差尽管在隐藏层取5时可以得到最小值,但同2层隐藏层比较,二者的泛化平均相对误差和训练最大相对误差均相差不大,而后者的泛化最大误差小于前者,并是几组中最小的,再加之隐藏层数过多将导致过拟合化,综合考虑隐藏层数选取为2,对应的隐藏层节点数设置为22。
表1. RNN隐藏层与隐藏节点数敏感性分析
最终网格结构选取为批量大小为32;迭代次数为880;学习率为0.0008;K折数4;L2正则化权重衰减系数为4.0 × 10−6作为我们初期结构的超参数。
用于泛化训练的90组数据来源于Guillaume等人的SCO2临界流动实验研究 [
图2. 对角误差分布图(未使用遗传算法)
遗传算法(Genetic Algorithm,以下简称GA)是用于解决最优化问题的一种搜索算法,可以为模型寻找最优的超参数,优化模型,提升泛化效果。在多个数据远离训练集的情况下,A、B组的泛化结果存在较大差异,B组泛化效果较差,为达到理想的泛化效果,模型优化引入了遗传算法来调整超参数。
在进行GA的学习时,将种群数设置为40,并根据之前调节超参数的经验将学习率以及隐藏节点数的范围分别调节为0.0001~0.01和1~40,隐藏层数保持为2不变,交叉概率设置为0.4,突变概率设置为0.2,迭代为50代。计算结果表明当迭代次数达到30次后,适应函数就不再有明显的降低,因此为了防止过拟合且同时提高训练效率而采用早停法,并将迭代次数更改为30。
经过遗传算法优化过的网络结构,使用K折交叉验证得到的训练集平均误差由4.80%上升到4.88%,最大误差由14.63%下降到14.24%,在训练集的表现几乎没有太大的变化。但是在泛化集上,平均误差由10.27%下降到5.73%,最大误差由21.32%下降到20.45%,虽然泛化集最大误差没有明显变化,但是平均误差明显降低。通过与之前的超参数敏感性分析结果比较,发现遗传算法的优化效果是显著的。
使用遗传算法后,图2中泛化的A组数据的平均相对误差也从8.63%降低为5.87% (图3),B组数据平均相对误差由14.16%降低为5.27%,发现B组的平均相对误差大幅度下降,A、B组的平均相对误差基本一致。误差大于20%的数据共两个,分别位于A、B组。引入遗传算法能够大幅提升泛化效果。
图3. 对角误差分布图(使用遗传算法)
即使数据距离训练集较远,得到的相对误差仍然保持在一个较低的范围内,在获得更加全面的数据进行训练以后,得到的结果将会更加完善。为此,我们进一步研究了迁移学习。
迁移学习是一种机器学习策略,它允许我们使用在原任务上训练的模型,然后将其应用到另一个不同但相关的任务。这种方法可以利用原任务已经训练好的模型基础,减少目标任务所需的训练数据量,提高学习效率,并在许多情况下提高模型的性能。
通过冻结不同的隐藏层层数对未使用遗传算法以及使用遗传算法进行优化得到的两个模型进行对比,得不同的训练结果,误差情况见表2,图4为对角误差分布图,只有在冻结层数为两层时,使用遗传算法的结果中有9组数据的误差大于5%,未使用遗传算法的结果中有4组数据的误差大于5%。将结果最好的冻结0层隐藏层得到的模型和迁移学习前的泛化结果进行比较,使用遗传算法模型的平均误差由5.73%下降到1.75%,最大相对误差从20.45%下降到4.15%,未使用遗传算法模型的平均误差由10.27%下降到1.68%,最大相对误差由21.32%下降到4.85%,均得到了显著的降低。并且总体上使用遗传算法模型的误差低于未使用遗传算法模型,这也符合之前结论趋势。数据迁移导致的数据库升级,带来了更高的精度以及更好的适应性。
表2. 迁移学习冻结不同层数的误差
通过冻结不同层数,研究发现总体上冻结的隐藏层层数越少,迁移学习得到的结果越好。这可能是由于原本泛化集输入量与原训练集输入量之间有较大的数值差异,导致原本学习到的特征并不能很好的运用于新的训练集中,所以我们需要训练更多的层来学习新的特征表示。
图4. 迁移学习后的对角误差分布图
本研究提出了一种基于CO2的RNN临界流模型,以实现对SCO2临界流高精度预测,模型的整体构建流程如图5所示。
图5. RNN模型构建流程示意图
模型计算结果表明:
1) 基于K折交叉验证和L2正则化的SCO2临界流RNN模型能够很好地预测新数据中临界流量,且平均误差为10.27%;
2) 使用遗传算法优化的网络模型对新数据的预测更优秀,平均误差仅为5.73%;
3) 利用迁移学习,平均误差降仅为1.75%,模型拥有更高的精度以及更好的适应性。
与传统经验关系式模型相比,深度学习临界流模型通过大量的数据进行训练,可以适应复杂的输入和输出关系,能更好地捕捉临界流问题中各个变化量之间的非线性关系,且不需要事先假设和限制模型的形式,具有更低的误差,更宽参数适用范围。后续研究将进一步探讨基于物理机制的可解释型临界流模型的优越性。
国家自然科学基金项目(12105192);广东省基础与应用基础研究区域联合基金–青年基金项目(2020A1515110512)。
陈天生,冯浩阳,袁 园,周 源,王俊豪,查雨霆,翟厚忠,孟玉凯. 基于深度学习的超临界二氧化碳临界流模型研究Research on Supercritical Carbon Dioxide Critical Flow Model Based on Deep Learning[J]. 核科学与技术, 2024, 12(01): 19-26. https://doi.org/10.12677/NST.2024.121003
https://doi.org/10.1016/j.supflu.2014.01.008
https://doi.org/10.1299/jpes.6.264
https://doi.org/10.17265/1934-8975/2016.07.002
https://doi.org/10.1080/18811248.2002.9715235
https://doi.org/10.1016/j.net.2021.08.038
https://doi.org/10.1016/j.expthermflusci.2003.08.004
https://doi.org/10.12677/NST.2018.63008