核密度估计是一种用于估计随机变量概率密度函数的非参数方法，能够通过数据样本来推断数据的概率密度分布，从而更好地理解数据分布的特征，为后续的数据分析和建模提供基础，因此被广泛应用于各个领域。其定义如下所示：

假设 $x_n$是属于R的独立分布随机变量，分布密度函数为 $f\left(x\right)$，则

${\hat{f}}_h\left(x\right)=\frac{1}{nh}{\displaystyle \underset{i=1}{\overset{n}{\sum }}K}\left(\frac{x_i-x}{h}\right),x\in R,$(1)

其中 ${\hat{f}}_h\left(x\right)$是 $f\left(x\right)$的核密度估计，h为窗宽， $K(\cdot )$为核函数。

令 $K_h\left(u\right)=\frac{1}{h}K\left(\frac{u}{h}\right)$，则(1)式可写成

${\hat{f}}_h\left(x\right)=\frac{1}{nh}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{K}_h}\left(x_i-x\right),x\in R.$(2)

根据以上式子我们可以发现核密度估计不仅与数据集本身有关，还和核函数与窗宽的选取有关。

通过熊开玲等 [16] 使用核密度估计对K-means聚类的优化，我们可以解决多维数据的核密度估计问题。假设 $x_1,x_2,\cdots ,x_n\in R^d$， $x_i=\left[v_1,v_2,\cdots ,v_d\right]$，其中 $x_i$是一个d维向量。令 $f_j\left(v\right),j=1,2,\cdots ,d$是第j维概率密度函数。则 $f_d\left(x\right)={\displaystyle \underset{j=1}{\overset{d}{\prod }}{f}_j}\left(v\right)$。d维的高斯核函数为

$K_{d,\delta }\left(x\right)={\left(\sqrt{2\pi }\delta \right)}^{-d}{\displaystyle \underset{j=1}{\overset{d}{\prod }}{\text{e}}^{\frac{v_i-x_i}{2{\delta }^2}}}.$(3)

高斯核密度估计图如下 图1 所示。

由 图1 所示，我们可以通过密度分布设定密度阈值和半径阈值，从而确定k-means聚类的初始聚类中心和聚类簇数k。具体做法是将小于半径阈值的数据点归为一类，并且将大于密度阈值的极大值点作为初始聚类中心。

在传统形式下均值-CVaR模型可以表示为

$\underset{\omega \in W,\eta \in R}{\min }-u^T\omega +\lambda CVa{R}_r\left(X\right),$(4)

其中u代表的是期望收益， $\omega$代表的是投资权重比， $\lambda$表示厌恶系数，r表示置信水平。通过Rockafellar & Uryasev [17] [18] 对条件风险价值的定义 $CVa{R}_r\left(X\right)$可以表示为：

$CVa{R}_r\left(X\right)=\underset{\alpha \in R}{\min }\left\{\alpha +\frac{1}{1-r}{E}_p\left[{\left[X-\alpha \right]}_{+}\right]\right\}.$(5)

假设损失 $X=-{\xi }^T\omega$，我们把(5)式代入(4)式可以得到均值-CVaR模型可以变形为

$\underset{\omega \in W,\alpha \in R}{\min }-u^T\omega +\lambda \left\{\alpha +\frac{1}{1-r}{E}_p\left[{\left[-{\xi }^T\omega -\alpha \right]}_{+}\right]\right\}.$(6)

分布鲁棒优化模型是考虑在最坏分布的情况下投资者达到最佳收益，传统的优化模型为

$\underset{x\in X}{\min }\underset{P\in \varphi }{\sup }{E}_p\left[h\left(x,\xi \right)\right].$(7)

通过构建概率空间，(6)式可以变化为

$\underset{\omega \in W,\alpha \in R}{\min }\left\{F_{\beta }^{{\kappa }_1}\left(\omega ,\alpha \right):=\lambda \alpha +E_P\left[-{\xi }^T\omega \right]+\frac{\lambda }{1-r}{E}_P\left[{\left(-{\xi }^T\omega -\alpha \right)}_{+}\right]\right\},$(8)

其中 ${\kappa }_1=\left\{r,\lambda \right\}$，r和 $\lambda$分别表示置信水平和厌恶系数， ${\left[x\right]}_{+}:=\max \left\{x,0\right\}$。P是资产收益 $\xi$的概率分布函数。如果 $\xi$独立同步来自函数P，则(8)式近似于

$\underset{\omega \in W,\alpha \in R}{\min }\left\{F_{\beta }^{{\kappa }_2}\left(\omega ,\alpha \right):=\lambda \alpha +\frac{1}{T}{\displaystyle \underset{i=1}{\overset{T}{\sum }}\left(-r_i^T\omega +\frac{\lambda }{1-r}{\left(-r_i^T\omega -\alpha \right)}_{+}\right)}\right\}.$(9)

其中 ${\kappa }_2=\left\{r,\lambda ,T\right\}$，由于收益金融数据容易出现维数灾难，所以我们通过核密度估计方法，将它转化为有限维优化问题，假设随机变量v，它的概率密度函数 $\rho \left(v\right)$的核密度估计可以表示为：

$\underset{\delta }{\overset{\wedge }{\rho }}\left(v\right)=\frac{1}{h}{\displaystyle \underset{i=1}{\overset{T}{\sum }}{\delta }_i}K\left(\frac{v-v_i}{h}\right).$(10)

其中核函数 $K(\cdot )>0$并且满足 ${\displaystyle {\int }_{-\infty }^{\infty }K\left(v\right)\text{d}v}=1$， $K\left(-v\right)=K\left(v\right)$， ${\displaystyle {\int }_{-\infty }^{\infty }{v}^{2}K\left(v\right)\text{d}v}<\infty$， $h=h\left(T\right)$，为带宽， $v_i,i=1,2,\cdots ,T$为数据集， $\delta$表示权向量。

由(10)式可得(8)式中 $E_P\left[{\left(-{\xi }^T\omega -\alpha \right)}_{+}\right]$的估计形式为：

$\begin{array}{l}{E}_{{\hat{p}}_{\delta }}\left[{\left(-{\xi }^T\omega -\alpha \right)}_{+}\right]\\ ={\displaystyle {\int }_{-\infty }^{+\infty }{\left[x-a\right]}_{+}}{\hat{p}}_{\delta }\left(x\right)\text{d}x\\ ={\displaystyle {\int }_{-\infty }^{+\infty }{\left[x-a\right]}_{+}}\frac{1}{h}{\displaystyle \underset{i=1}{\overset{T}{\sum }}{\delta }_i}K\left(\frac{x+r_i^T\omega }{h}\right)\text{d}x\\ ={\displaystyle \underset{i=1}{\overset{T}{\sum }}\frac{{\delta }_i}{h}}{\displaystyle {\int }_{-\infty }^{+\infty }\left(x-a\right)K}\left(\frac{x+r_i^T\omega }{h}\right)\text{d}x\\ ={\displaystyle \underset{i=1}{\overset{T}{\sum }}{\delta }_i}h{\displaystyle {\int }_{\left(r_i^T\omega +\alpha \right)/h}^{+\infty }\left(\frac{-r_i^T\omega -\alpha }{h}+t\right)K\left(t\right)\text{d}x}\\ ={\displaystyle \underset{i=1}{\overset{T}{\sum }}{\delta }_i}h\left(\frac{-r_i^T\omega -\alpha }{h}{G}_k\left(\frac{-r_i^T\omega -\alpha }{h}\right)-{\tilde{G}}_k\right)\left(\frac{-r_i^T\omega -\alpha }{h}\right),\end{array}$(11)

对于上面公式的表达式我们可以做出如下假设 $G_k\left(u\right)={\displaystyle {\int }_{-\infty }^{u}K\left(x\right)\text{d}x}$， ${\tilde{G}}_k\left(u\right)={\displaystyle {\int }_{-\infty }^{u}xK\left(x\right)\text{d}x}$。如果 ${\varsigma }_k\left(u\right):=u{G}_k\left(u\right)-{\tilde{G}}_k\left(u\right)$，则 ${\tau }_k\left(u,h\right):=h{\varsigma }_k\left(h^{-1}u\right)$，并且它们满足以下条件

1) $\nabla {\tau }_k\left(u,h\right)\ge 0$，

2) ${\tau }_k\left(u,h\right)$是联合凸函数，

3) ${\left[u\right]}_{+}$是 ${\varsigma }_k\left(u\right)$的衰退函数 $\left({\varsigma }_k{0}_{+}\right)\left(u\right)$，同时 ${\tau }_k\left(u,h\right)={\left[u\right]}_{+}+o\left(h\right)$。

如果知道参数 ${\kappa }_3=\left\{r,\lambda ,T,K(\cdot ),h\right\}$，并且给出权向量 $\delta$，我们可以知道核密度估计均值-CVaR模型，如下形式

$\underset{\omega \in W,\alpha \in R}{\min }\left\{F_{\beta }^{{\kappa }_3}\left(\omega ,\alpha ,\delta \right):=\lambda \alpha +{\displaystyle \underset{i=1}{\overset{T}{\sum }}{\delta }_i}\left(-r_i^T\omega +\frac{\lambda }{1-r}{\tau }_k\left(-r_i^T\omega -\alpha ,h\right)\right)\right\}.$(12)

由于权向量 $\delta$不能够准确预估，所以我们需要分布鲁棒优化，即在给定的最坏分布下，我们希望达到的投资损失最小，模型公式如下所示：

$\underset{\omega \in W,\alpha \in R}{\min }\underset{p\in \text{I}}{\max }\left\{F_{\beta }^{{\kappa }_1}\left(\omega ,\alpha ,p\right):=E_p\left[-{\xi }^T\omega \right]+\lambda \alpha +\frac{1}{1-r}{E}_p\left[{\left(-{\xi }^T\omega -\alpha \right)}_{+}\right]\right\}.$(13)

由于(13)式涉及到维数问题，因此我们采用核密度估计的方法，并结合 $\varphi$散度，将问题转化为凸优化问题。我们假设样本 $X_i,i=1,2,\cdots ,T$独立同分布于 $p(\cdot )$，则不确定集为

$I_{KDE-\varphi }^c=\left\{p_{\delta }\left(x\right)={\delta }_i{h}^{-1}K\left(\frac{x-X_i}{h}\right),\delta \in {\Gamma }_{\varphi }^c\subseteq R^T\right\},$(14)

其中权向量定义为 ${\Gamma }_{\varphi }^c=\left\{\delta :\delta \in \Gamma ,{\theta }^{\varphi }\left(\delta ,{\delta }^0\right)\le c\right\}$， ${\theta }^{\varphi }\left(\delta ,{\delta }^0\right):={\displaystyle \underset{i=1}{\overset{T}{\sum }}{\delta }_i^0}\varphi \left({\delta }_i,{\delta }_i^0\right)$。

如果我们知道参数 ${\kappa }_4\left\{r,\lambda ,R,K(\cdot ),h,\varphi (\cdot ),c\right\}$，并且把(13)式的不确定集I换成(14)式，则可以得到核密度估计的分布鲁棒均值-CVaR模型

$\underset{\omega \in W,\alpha \in R}{\min }\underset{p\in I_{KDE-\varphi }^c}{\max }{F}_{\beta }^{{\kappa }_3}\left(\omega ,\alpha ,p\right).$(15)

由(12)式可得，(15)式可以变化为如下形式

$\underset{\omega \in W,\alpha \in R}{\min }\underset{\delta \in I_{KDE-\varphi }^c}{\max }\left\{F_{\beta }^{{\kappa }_4}\left(\omega ,\alpha ,\delta \right):=\lambda \alpha +{\displaystyle \underset{i=1}{\overset{T}{\sum }}{\delta }_i}\left(-r_i^T\omega +\frac{\lambda }{1-r}{\tau }_k\left(-r_i^T\omega -\alpha ,h\right)\right)\right\}.$(16)

下面我们将把(16)式转化为凸优化问题。其中(16)式的最大化问题的拉格朗日方程为

$L\left(\delta ,u,\partial \right)=\lambda \alpha +{\displaystyle \underset{i=1}{\overset{T}{\sum }}{\delta }_i}\left(-r_i^T\omega +\frac{\lambda }{1-r}{\tau }_k\left(-r_i^T\omega -\alpha ,h\right)\right)+u\left(c-\frac{1}{T}{\displaystyle \underset{i=1}{\overset{T}{\sum }}\varphi }\left({\delta }_{i}T\right)\right)+\partial \left(1-1^T\delta \right).$(17)

假设 $g\left(\omega ,\alpha ;u,\partial \right)=\underset{\delta \ge 0}{\max }L\left(\delta ,u,\partial \right)$，由于 ${\delta }^0=T^{-1}1\in {\Gamma }_{\varphi }^c$，所以 ${\Gamma }_{\varphi }^c$表示的意义是 $1^T{\delta }^0=1$并且 $I_{\varphi }\left({\delta }^0,{\delta }^0\right)=0<c$。根据 ${\Gamma }_{\varphi }^c$的规律性，具有强对偶性成立，即 $\underset{\delta \in {\Gamma }_{\varphi }^c}{\max }{F}_{\beta }^{{\kappa }_4}\left(\omega ,\alpha ,\delta \right)=\underset{u\ge 0,\partial }{\min }g\left(\omega ,\alpha ;u,\partial \right)$。则对偶目标函数满足

$\begin{array}{c}g\left(\omega ,\alpha ;u,\partial \right)=\lambda \alpha +\partial +cu+\underset{\delta \ge 0}{\max }{\displaystyle \underset{i=1}{\overset{T}{\sum }}\left\{{\delta }_i\left(-r_i^T\omega +\frac{\lambda }{1-r}{\tau }_k\left(-r_i^T\omega -\alpha ,h\right)-\partial \right)-\frac{u}{T\varphi \left({\delta }_{i}T\right)}\right\}}\\ =\lambda \alpha +\partial +cu+{\displaystyle \underset{i=1}{\overset{T}{\sum }}\underset{{\delta }_i\ge 0}{\max }}\left\{{\delta }_i\left(-r_i^T\omega +\frac{\lambda }{1-r}{\tau }_k\left(-r_i^T\omega -\alpha ,h\right)-\partial \right)-\frac{u}{T\varphi \left({\delta }_{i}T\right)}\right\}\\ =\lambda \alpha +\partial +cu+\frac{u}{T}{\displaystyle \underset{i=1}{\overset{T}{\sum }}\underset{t\ge 0}{\max }}\left\{\frac{t}{u}\left(-r_i^T\omega +\frac{\lambda }{1-r}{\tau }_k\left(-r_i^T\omega -\alpha ,h\right)-\partial \right)-\varphi \left(t\right)\right\}\\ =\lambda \alpha +\partial +cu+\frac{u}{T}{\displaystyle \underset{i=1}{\overset{T}{\sum }}{\varphi }^{*}}\left(\frac{-r_i^T\omega +\frac{\lambda }{1-r}{\tau }_k\left(-r_i^T\omega -\alpha ,h\right)-\partial }{u}\right).\end{array}$(18)

其中函数 $\varphi$的共轭函数 ${\varphi }^{*}(\cdot )$满足这些形式： $R\to R$， ${\varphi }^{*}\left(s\right):=\underset{t\ge 0}{\sup }\left\{st-\varphi \left(t\right)\right\}$。

由公式(18)模型(16)最后可以转化为

$\underset{\omega \in W,\alpha ,\partial ,u\ge 0}{\min }\lambda \alpha +\partial +cu+\frac{u}{T}{\displaystyle \underset{i=1}{\overset{T}{\sum }}{\varphi }^{*}}\left(\frac{-r_i^T\omega +\frac{\lambda }{1-r}{\tau }_k\left(-r_i^T\omega -\alpha ,h\right)-\partial }{u}\right).$(19)

在这个实验中，采用了滚动窗口的方法，选取了恒生指数100的股票收益率数据作为研究对象，共有 $D=2250$个数据集。其中，我们设置了窗口宽度 $T=2000$天，从 $t=T+1$天起，用前 $T=2000$天的数据计算最佳投资权重，然后利用得到的投资权重计算第 $t=T+1$天的收益率。每次滚动时，我们增加一个新的数据并去除一个旧的数据，总共进行了 $D-T$次滚动。其中实验参数为： $r=0.95$； ${\delta }^0=\frac{1}{T}1$； $\lambda =10$； $c=1$。

对经过核密度估计优化的聚类结果进行了细致评估，并将聚类后的数据集代入到投资组合模型中。通过采用滚动窗口实验的方法，比较了计算得出的收益率曲线、夏普比率、平均换手率以及模型运行时间等数值结果，以此来深入探索聚类对投资组合模型的影响。

根据我们改进的聚类方法，可以确定选定数据集的聚类中心，如 图2 所示。

从图中我们可以看出聚类中心为5个点，所以我们可以确定聚类簇数k为5。

我们将经过聚类处理的数据集输入到投资组合模型中，并绘制了具有和没有聚类的投资组合模型的收益率曲线，如 图3 所示和实验的数值结果，如 表1 所示。

根据 图3 和 表1 的结果，我们可以观察到经过聚类后的模型具有更高的收益率，并且夏普比率也更高，这意味着可以实现更高的投资回报。与此同时，聚类后的模型平均换手率较低，这表明投资者可以减少高额的交易费用，并且显著缩短模型的运行时间。因此，我们可以得出结论，具有聚类的模型在投资效果上更为出色。