Calcium Cascade of PF-PC Synapses in Optokinetic Response: Prediction of Material State
The change of PF-PC synaptic weight involved in cerebellar motor learning and memory is called calcium cascade. This mechanism uses the dynamic regulation of chemical receptor phosphorylation and dephosphorylation to simulate the change of synaptic weight. Since the calcium cascade involves a complex dynamic system composed of a variety of chemicals, it takes a lot of time to calculate the optokinetic response when the stimulus signal is random input. In this paper, the short-term and long-term memory network with similar properties to ordinary differential equations is innovatively used to predict the short-term continuous state sequence, so as to ensure the accuracy and effectively reduce the computational cost. It not only has theoretical significance for the formation of cerebellar motor learning and memory, but also provides engineering application value for cerebellar controller.
Motor Memory
在小脑皮质中,平行纤维与浦肯野细胞间的突触连接强度变化,如长时程抑制和增强,对小脑学习至关重要。小脑长时程抑制(Long-Term Depression, LTD)发生在平行纤维和攀缘纤维同时刺激浦肯野细胞时,导致突触后钙离子浓度升高,突触效能减弱
在海马体等结构中,平行纤维介导的LTP通过特定的生化机制实现。蛋白质磷酸酶对AMPA受体的去磷酸化作用增强突触传递效率,形成记忆痕迹。有研究指出诱发LTP的是钙调素依赖性蛋白激酶II (CaMKII)与N-甲基-D-天冬氨酸受体(N-methyl-D-aspartic acid receptor, NMDAR)亚单位2B (GluN2B)的结构性结合
当平行纤维(Parallel Fiber, PF)激活先于攀缘纤维(Climbing fiber, CF)激活50~200 ms时,在平行纤维–浦肯野细胞(Parallel fibers-Purkinje cells, PF-PC)突触处诱导小脑长时程抑制所必需的大Ca2+信号,这与小脑学习理论一致。然而,大的Ca2+信号和/或LTD也可以通过单独的大规模PF刺激或通过笼状Ca2++或IP3的光解来诱导
尽管βCaMKII在小脑内表达丰富,其在学习过程中的精确功能和机制尚待深入挖掘。利用基因敲除技术,科学家成功培育了βCaMKII缺陷的小鼠,为探索该蛋白在PC突触可塑性中的作用提供了宝贵工具。研究表明,βCaMKII对PF-PC突触的可塑性变化具有关键作用。正常情况下,PF-PC突触可响应特定刺激产生LTD,优化运动学习。然而,在βCaMKII缺失的小鼠中,原本应诱发LTD的刺激却导致了LTP,突显了βCaMKII在维持正常LTD中的重要性
Woerden等人
钙级联通路结构如
对于长时程抑制,PF刺激的去向分成mGluR通路和AMPAR通路。在代谢型谷氨酸受体(mGluR)通路中,PF末端释放谷氨酸(Glu)刺激mGluR,诱导质膜内肌醇磷脂(磷酸肌醇)水解产生IP3,IP3扩散到细胞质基质中;而在AMAPR通路中,平行纤维的刺激触发AMPAR激活,导致去极化并开启电压门控Ca通道(VGCC)通道,Ca2+流入胞质溶胶。PF刺激后紧接着CF刺激产生去极化,打开VGCC通道Ca2+内流进入浦肯野细胞树突棘。在IP3的帮助下Ca2+的量已经达到打开IP3受体钙门控通道的阈值,大量的Ca2+被释放出来,与CaM结合成Ca4CaM后,促进CaMKII转为激活状态导致AMPAR磷酸化。CaMKII有四种状态,依次是抑制、绑定、磷酸化和自激活。尽管这四种状态均有可能与肌动蛋白相互作用,但只有绑定、磷酸化和自激活三种状态可以促进AMPAR的磷酸化反应,如虚线框所示
对于长时程增强,PF刺激的去向相同,但由于缺乏后续的CF刺激,进入浦肯野细胞树突棘的Ca2+没有达到IP3R通道的打开阈值,这些少量的钙参与Ca4CaM介导的PP2B的激活,促进AMAPR去磷酸化。
参考Pinto
(1)
其中Wtot代表CaMKII的总浓度。CaMKIIb和CaMKIIbAc分别磷酸化成CaMKIIp和CaMKIIpAc的浓度变化率计算如下:
(2)
其中cb、cp和ca是与每个活动状态的激酶活性成比例的加权因子。Ka是经验立方函数,用来模拟相邻的自磷酸化,Ka的计算如下:
(3)
其中CaMKII自磷酸化的现象速率为 , a, b和c为调整参数,Ta为活跃CaMKII的总比例:
(4)
Wb、Wp和Wa的浓度变化率计算如下:
(5)
(6)
(7)
其中[WbAMPAR]、[WpAMPAR]和[WaAMPAR]分别是与AMPAR结合的Wb、Wp和Wa的浓度。此外CaMKII亚基可以通过相邻的活性Ac绑定亚基磷酸化生成WbAc、WpAc和WaAc。
与Ac结合的CaMKII亚基的自磷酸化率Vac是如下:
(8)
(9)
(10)
WiAc、WbAc、WpAc和WaAc的计算如下:
(11)
(12)
(13)
(14)
Ca4CaM除了能够活化CaMKII之外,还具有与PP2B的非活性形式(PP2Bi)相结合的能力。一旦结合,原本不活跃的磷酸酶随即被激活并转化为其活性形式PP2Bac。PP2Bac对于AMPA受体的去磷酸化起介导作用。PP2Bi和PP2Bac浓度的时间演化为
(15)
(16)
其中[AMPARP]表示与磷酸化AMPA受体(AMPARP)结合的PP2Bac的浓度。AMPA受体(AMPAR)的计算如下:
(17)
其中WbAMPARP、WbAMPARP、WbAMPARP和PP2BacAMPARP的浓度变化率计算如下:
(18)
(19)
(20)
(21)
AMPARP的演化计算如下:
(22)
长时程抑制和长时程增强诱导的协议涉及钙信号刺激,钙的浓度变化如下:
(23)
描述了钙动力学模型的动态,其中 表示每个最小时间(ms)的钙浓度输入,其值来自输入表, 反映钙扩散、泵送、交换的转移率的术语,[Camin]是基底钙浓度。CaM的时间演化为:
(24)
四个钙离子与CaM的结合生成Ca4CaM,它的作用是激活PP2B、Wb、Wp、WbAc和WpAc。表示Ca4CaM浓度演化的方程为
(25)
训练后每个PF-PC突触权重的计算如下:
(26)
其中wn(Per)表示第Per个周期下第n个突触的权重,[AMAPRn]表示第n个周期结束时AMPAR的浓度。
符号 |
意义 |
值 |
Wtot |
非转基因小鼠的CaMKII总浓度 |
26uM |
Ac |
F-肌动蛋白总浓度 |
10 uM |
Camin |
Ca基础浓度 |
0.045 uM |
CaM |
CaM初始浓度 |
36 uM |
续表
AMPAR |
非磷酸化AMPAR初始浓度 |
0.5 uM |
AMPARP |
磷酸化AMPAR初始浓度 |
0.5 uM |
PP2Bi |
无活性PP2B初始浓度 |
26 uM |
|
CaMKII自磷酸化速率 |
0.29/s |
cb |
b亚基型CaMKII激活系数 |
75% |
cp |
p亚基型CaMKII激活系数 |
100% |
ca |
a亚基型CaMKII激活系数 |
80% |
a |
拟合参数a |
0.5 |
b |
拟合参数b |
1.956 |
c |
拟合参数c |
−1.8 |
κ |
Ca移除速率 |
4000/s |
kbi |
Ca4CaM与Wb的分离速率 |
0.2/s |
kib |
Ca4CaM与Wi的结合速率 |
10/(uM*s) |
kap |
Ca4CaM与Wa的结合速率 |
10/(uM*s) |
kpa |
Ca4CaM与Wp的分离速率 |
0.004/s |
kiacbac |
Ca4CaM与WiAC的结合速率 |
10/(uM*s) |
kbaciac |
Ca4CaM与WbAC的分离速率 |
1/s |
kaacpac |
Ca4CaM与WaAC的结合速率 |
10/(uM*s) |
kpacaac |
Ca4CaM与WpAC的分离速率 |
0.02/s |
kdephos |
CaMKII衰退速率 |
0.0005/s |
kiiac |
F-肌动蛋白与Wi的结合速率 |
10/(uM*s) |
kbbac |
F-肌动蛋白与Wb的结合速率 |
10/(uM*s) |
kkppac |
F-肌动蛋白与Wp的结合速率 |
10/(uM*s) |
kaaac |
F-肌动蛋白与Wa的结合速率 |
10/(uM*s) |
kiaci |
F-肌动蛋白与WiAC的分离速率 |
30.1/s |
kbacb |
F-肌动蛋白与WbAC的分离速率 |
150.5/s |
kpacp |
F-肌动蛋白与WpAC的分离速率 |
1505/s |
kaaca |
F-肌动蛋白与WaAC的分离速率 |
301/s |
kppia |
Ca4CaM与PP2Bi的结合速率 |
0.15/(uM*s) |
kppai |
Ca4CaM与PP2Bac的分离速率 |
0.00042/s |
kon |
Ca与CaM的结合速率 |
2000/(uM4*s) |
续表
koff |
Ca与CaM的分离速率 |
2.3 * 106/s |
|
CaMKII磷酸化AMPAR的速率 |
0.5/(uM*s) |
|
72.283/s |
|
|
6/s |
|
|
PP2B去磷酸化AMPAR的速率 |
0.5/(uM*s) |
|
72.283/s |
|
|
6/s |
钙级联动力学系统的求解涉及到常微分方程组(Ordinary Differential Equation, ODE)的计算,对于无法求出解析解的情况,通常人们使用欧拉法或龙格–库塔法求出数值解。ODE的结构如下:
(27)
欧拉法的算式如下:
(28)
(29)
式(28)中的h是离散变量,式(4)~(29)中的t是连续变量。在式(4)~(28)中以h为时间单位,记 ,n是整数,那么式(4)~(28)变成:
(30)
此时(30)满足(29)的递归关系。实际上前向传播就是解ODE(RNN的预测过程),反向传播是推断ODE的参数(RNN的训练过程)。
以视动反应 (optokinetic eye movement response, OKR)实验作为例子,用该模型进行仿真,观察视动反应的运动学习记忆形成过程。刺激信号如
为了方便观察AMPAR随训练次数和钙尖峰的变化,此处以延迟眨眼反射范式为例说明,周期仍为2000 ms,输入和误差信号采用固定频率。输入信号从200 ms开始,1200 ms结束,误差信号从450 ms开始,持续30 ms。用范围在0到30 uM内的多个钙尖峰分别计算200周期后AMPAR的含量,通过插值得出不同训练次数和不同钙尖峰AMPAR的变化。
如
下部分图中钙尖峰在2 uM和6.3 uM时,AMPAR浓度随着训练次数上升。而从8.3 uM开始,浓度有下降趋势,到了10 uM,浓度在训练110次后低于初始值。之后随着钙尖峰上升,可塑性方向转换所需的训练次数越来越少。
对于视动反应,本文使用优化了RNN结构的seq2seq进行预测。首先通过TorchDiff库的odeint求解器使用龙格–库塔法求解在第11次到第18次训练内16个平行纤维上的突触权重对应的钙级联动力学系统18种物质的量的变化,因此数据集时间长度是16,000 ms,有16个样本和18种特征。通过小脑神经元模型生成随机的时空活动序列和误差信号,计算出钙尖峰序列。之后取对应样本在第1次到第9次的状态变化作为seq2seq的训练集,在预处理阶段,由于所有特征均大于等于0,且部分特征的数值数量级差异大,这部分特征先做对数化处理再进行归一化。外部输入通过钙尖峰序列查表得出每毫秒对应的钙信号。共训练1000次,loss在0.00376处收敛。
设定AMPARP和AMPAR起始值都是50%,随着训练次数AMPARP含量上升,AMPAR下降,PP2Bi呈上升趋势。红色样本的物质变化率较大,原因是这些样本来自不同的颗粒细胞簇,活跃细胞簇对应的动力学系统对外来的钙尖峰更为敏感。
AMPARP和AMPAR在钙级联中互相转化,因此当误差信号紧接着输入信号时,会导致内质网的IP3受体门控通道的打开阈值暂时降低,在这个短暂的时间窗口由误差信号驱动释放在浦肯野细胞树突棘上的Ca2+,能够与CaM相结合,形成Ca4CaM。接下来Ca4CaM参与CaMKII自磷酸化从而导致AMPAR的磷酸化,形成LTD。这时Ca4CaM几乎没有参与由PP2Bi转化成PP2Bac介导的AMPAR去磷酸化,LTP受到抑制,PP2Bi含量上升。
使用TorchDiff库或Scipy库的微分方程求解器时,由于钙级联动力学系统状态方程的复杂性、高耦合度,随着要计算的PF数增加,计算时长呈指数上升。求解器每算出1 ms的后状态量,需要更改作为外部输入的钙信号值才能计算下一毫秒的状态,另外方程组对精度的要求非常高,自适应步长求解器在每次计算下一毫秒的状态时的步长多达80,000,除了迭代容易出现异常值外,还使得计算10,000条PF在一毫秒的耗时异常漫长。在8G显存的NVIDIA显卡使用Torch框架进行运算,计算一毫秒后状态耗时6分钟,若以训练200个周期为参考,耗时约167天。对于同样运算条件下的seq2seq网络,每个细胞状态代表1 ms的时长,通过GPU和多Stream的使用提速训练200个连续周期,耗时缩短到18小时,在预测少量连续周期时保持较高的精准度。
本文介绍了PF-PF钙级联通路以及相关动力学的通信机制。长时程增强和长时程抑制的背后是AMPAR的磷酸化和去磷酸化,其受到浦肯野细胞树突棘中钙离子含量影响。IP3R门控通道接收误差信号和输入信号分别诱导的钙刺激和IP3是打开内质网钙库的关键。
在动力学方程组的计算上对比ODE和RNN的相似性。RNN的前向传播与解ODE的过程相同,RNN的反向传播是推断ODE的参数然后。用seq2seq对动力学系统做短时预测,分析部分状态量的变化,系统的高耦合度是状态量此消彼长的原因。
最后讨论两种计算方式的优缺点,龙格–库塔法相对精准但耗时长,seq2seq网络的耗时短但只能预测短连续周期的时间序列。