On solving stiff differential equations in system biology with neural networks

ZHANG Yanling; WANG Mengshou; HONG Liu

doi:10.13471/j.cnki.acta.snus.ZR20240116

您当前的位置：

首页 >

文章列表页 >

On solving stiff differential equations in system biology with neural networks

Column of Biomathematics（Contributing editor: ZHOU Tianshou） | 更新时间：2024-11-25

- On solving stiff differential equations in system biology with neural networks
- Acta Scientiarum Naturalium Universitatis Sunyatseni Vol. 63, Issue 6, Pages: 265-274(2024)
- 作者机构：
  
  中山大学数学学院，广东广州 510275
- 作者简介：
- 基金信息：
- DOI：10.13471/j.cnki.acta.snus.ZR20240116
  CLC： O241.81
- Published：25 November 2024，
  
  Published Online：27 August 2024，
  
  Received：12 April 2024，
  
  Accepted：29 May 2024
- 稿件说明：
移动端阅览
张艳玲,王梦收,洪柳.神经网络求解系统生物学中刚性问题的研究[J].中山大学学报(自然科学版)(中英文),2024,63(06):265-274.

ZHANG Yanling,WANG Mengshou,HONG Liu.On solving stiff differential equations in system biology with neural networks[J].Acta Scientiarum Naturalium Universitatis Sunyatseni,2024,63(06):265-274.
张艳玲,王梦收,洪柳.神经网络求解系统生物学中刚性问题的研究[J].中山大学学报(自然科学版)(中英文),2024,63(06):265-274. DOI： 10.13471/j.cnki.acta.snus.ZR20240116.

ZHANG Yanling,WANG Mengshou,HONG Liu.On solving stiff differential equations in system biology with neural networks[J].Acta Scientiarum Naturalium Universitatis Sunyatseni,2024,63(06):265-274. DOI： 10.13471/j.cnki.acta.snus.ZR20240116.

摘要

在系统生物学的研究中，由于所研究问题的复杂性和多尺度性，经常会遇到刚性方程的求解. 而近年来，神经网络和深度学习的发展为上述问题提供了新的解决思路和方法. 本研究以经典的Belousov-Zhabotinsky （B-Z）反应和Van der Pol（VdP）方程为例，对四类非时序神经网络，包括全连接网络、残差网络、改进的残差网络和深度混合卷积网络，以及三类时序神经网络，包括循环神经网络（RNN）、长短时记忆网络（LSTM）、注意力机制进行了系统比较. 实验结果表明：时序神经网络应用于刚性问题的求解精度和计算时间都大幅优于非时序神经网络，而四类非时序神经网络之间的表现并无显著差异. 此外还将常微分神经网络（ODE-Net）应用于上述刚性问题，并观察到在极短的计算时间内，该方法能够达到极高的精度. 本研究为应用神经网络解决系统生物学中各类刚性问题提供了参考和指导.

Abstract

Stiff differential equations are very common in system biology， due to the intrinsic complexity and multi-scaling nature of the systems under study. In recent years， a variety of neural-network-based methods suitable for solving stiff differential equations have been proposed. In this study， the performance of four non-temporal neural networks， including fully connected networks， residual networks， improved residual networks， and deep mixed convolutional networks， as well as other three temporal neural networks， including recurrent neural networks（RNN）， long short-term memory networks（LSTM）， and attention mechanisms， are compared systematically with respect to the stiff Belousov-Zhabotinsky（B-Z） reaction and Van der Pol（VdP） equations. Extensive numerical results indicate that for solving stiff problems the accuracy of temporal neural networks is much higher than that of the non-temporal neural networks， the running time of the former is also shorter. Meanwhile， among the four types of non-temporal neural networks， no significant difference is observed. Finally， it is found that the neural ordinary differential equations（ODE-Net） can achieve extremely high accuracy within very little computational time when applying to stiff ordinary differential equations. This study provides insightful guidance for using neural networks to solve stiff differential equations in system biology.

关键词

系统生物学刚性微分方程神经网络常微分神经网络

Keywords

system biologystiff differential equationsneural networksODE-Net

references

曹学年， 2001. 刚性微分方程的并行Rosenbrock方法［D］. 绵阳：中国工程物理研究院.

冯伯培， 1982. 解一般或刚性常微分方程初值问题的Gear方法［J］. 数值计算与计算机应用， 3（1）： 12-23.

刘晓岑，刘冬兵， 2012. 用加权平均方法构造新的隐式线性多步法公式［J］. 计算数学， 34（3）： 309-316.

邱锡鹏， 2020. 神经网络与深度学习［M］. 北京：机械工业出版社.

石滔， 2008. 求解刚性常微分方程的一类多步方法［D］. 武汉：华中科技大学.

吴新元， 1999. 病态线性代数方程组的一种刚性问题数值解法［J］. 计算数学， 21（2）： 157-162.

肖爱国，李寿佛，符鸿源，等. 非线性刚性微分方程算法理论的发展［J］. 自然科学进展：国家重点实验室通讯， 1999， 9（12）： 1065-1072.

袁兆鼎，费景高，刘德贵， 1987. 刚性常微分方程初值问题的数值解法［M］. 北京：科学出版社.

邹积麟，钱稼茹， 2001. 病态方程的复合结构解法［J］. 清华大学学报：自然科学版， 41（S1）： 231-234.

AHMADI DARYAKENARI N， De FLORIO M， SHUKLA K， et al， 2024. AI-Aristotle： A physics-informed framework for systems biology gray-box identification［J］. PLoS Comput Biol， 20（3）： e1011916.

ASGARI-TARGHI A， KLERMAN E B， 2019. Mathematical modeling of circadian rhythms［J］. Wiley Interdiscip Rev Syst Biol Med， 11（2）： e1439.

CHEN R T Q， RUBANOVA Y， BETTENCOURT J， et al， 2018. Neural ordinary differential equations［C］//Proceedings of the 32nd International Conference on Neural Information Processing Systems： 6572-6583.

De FLORIO M， SCHIASSI E， FURFARO R， 2022. Physics-informed neural networks and functional interpolation for stiff chemical kinetics［J］. Chaos， 32（6）： 063107.

FABIANI G， GALARIS E， RUSSO L， et al， 2023. Parsimonious physics-informed random projection neural networks for initial value problems of ODEs and index-1 DAEs［J］. Chaos， 33（4）： 043128.

FIELD R J， NOYES R M， 1974. Oscillations in chemical systems. V. Quantitative explanation of band migration in the Belousov-Zhabotinskii reaction［J］. J Amer Chem Soc， 96： 2001-2006.

FONSECA L L， SÁNCHEZ C， SANTOS H， et al， 2011. Complex coordination of multi-scale cellular responses to environmental stress［J］. Mol Biosyst， 7（3）： 731-741.

GAO S H， CHENG M M， ZHAO K， et al， 2021. Res2Net： A new multi-scale backbone architecture［J］. IEEE Trans Pattern Anal Mach Intell， 43（2）： 652-662.

GARDNER T S， CANTOR C R， COLLINS J J， 2000. Construction of a genetic toggle switch in Escherichia coli［J］. Nature， 403（6767）： 339-342.

GOODFELLOW I， BENGIO Y， COURVILLE A， 2016. Deep learning［M］. Vol 1， Cambridge： MIT Press.

GYÖRGYI L， FIELD R J， 1992. A three-variable model of deterministic chaos in the Belousov-Zhabotinsky reaction［J］. Nature， 355： 808-810.

HAIRER E， WANNER G， 1996. Solving ordinary differential equations II： Stiff and differential-algebraic problems ［M］. Berlin： Springer.

HE K， ZHANG X， REN S， et al， 2016. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）： 770-778.

HU P， YANG W， ZHU Y， et al， 2022. Revealing hidden dynamics from time-series data by ODENet［J］. J Comput Phys， 461： 111203.

JI W， QIU W， SHI Z， et al， 2021. Stiff-PINN： Physics-informed neural network for stiff chemical kinetics［J］. J Phys Chem A， 125（36）： 8098-8106.

KIM S， JI W， DENG S， et al， 2021. Stiff neural ordinary differential equations［J］. Chaos， 31（9）： 093122.

LIU Z， CAI W， XU Z Q J， 2020. Multi-scale deep neural network （MscaleDNN） for solving Poisson-Boltzmann equation in complex domains［J］. Commun Comput Phys， 28（5）： 1970-2001.

RAISSI M， PERDIKARIS P， KARNIADAKIS G E， 2018. Multistep neural networks for data-driven discovery of nonlinear dynamical systems［EB/OL］. arXiv： 1801.01236. http：//arxiv.org/abs/1801.01236http://arxiv.org/abs/1801.01236.

SCHMIDHUBER J， 2015. Deep learning in neural networks： An overview［J］. Neural Netw， 61： 85-117.

SNEYD J， HAN J M， WANG L， et al， 2017. On the dynamical structure of calcium oscillations［J］. Proc Natl Acad Sci， 114（7）： 1456-1461.

TAN M， LE Q V， 2019. MixConv： Mixed depthwise convolutional kernels［EB/OL］. arXiv： 1907.09595. http：//arxiv.org/abs/1907.09595http://arxiv.org/abs/1907.09595.

THOMAS P， STRAUBE A V， GRIMA R， 2012. The slow-scale linear noise approximation： An accurate， reduced stochastic description of biochemical networks under timescale separation conditions［J］. BMC Syst Biol， 6： 39.

TROY W C， FIELD R J， 1977. The amplification before decay of perturbations around stable states in a model of the Zhabotinskii reaction［J］. SIAM J Appl Math， 32（2）： 306-322.

TYSON J J， FIFE P C， 1980. Target patterns in a realistic model of the Belousov-Zhabotinskii reaction［J］. J Chem Phys， 73（5）： 2224-2237.

Van der POL B， 1926. On relaxation-oscillations［J］. Lond Edinb Dublin Philos Mag J Sci， 2（11）： 978-992.

YANG W， PENG L， ZHU Y， et al， 2020. When machine learning meets multiscale modeling in chemical reactions［J］. J Chem Phys， 153（9）： 094117.

YAZDANI A， LU L， RAISSI M， et al， 2020. Systems biology informed deep learning for inferring parameters and hidden dynamics［J］. PLoS Comput Biol， 16（11）： e1007575.

ZHANG A， LIPTON Z C， LI M， et al， 2021. Dive into deep learning［EB/OL］. arXiv： 2106.11342. http：//arxiv.org/abs/2106.11342http://arxiv.org/abs/2106.11342.

Views

130

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Prediction Model based on Particle Swarm-projection Pursuit and Genetic-neural Networks

WASD neural network activated by bipolar sigmoid functions together with subsequent iterations

Related Author

ZHANG Yanling

HONG Liu

LIU Hexiang

JIAN Maoqiu

ZHANG Yunong

XIAO Zhengli

DING Sitong

MAO Mingzhi

Related Institution

School of Mathematical Sciences, Guangxi Teachers Education University

Department of Atmospheric Sciences, School of Enviromental Science and Engineering, Sun Yat-sen Uvinersity

School of Data and Computer Science, Sun Yat-sen University

Key Laboratory of Autonomous Systems and Networked Control, Ministry of Education, South China University of Technology

SYSU-CMU Shunde International Joint Research Institute

Postal code：510275
Tel：020-84112585，84113223 Email：xuebaozr@mail.sysu.edu.cn
Technical support is provided by Beijing Founder electronics co., LTD 京ICP备09064830号-19 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰