小样本高维度的n-p问题一直是统计学家的研究热点，不同于传统的变量选择的参数估计方法，在本篇论文中，我们应用迁移学习的相关知识，借用与需要预测数据相关但分布不同的数据，有效的帮助我们解决目标域数据参数的预测问题。我们提出了一种新颖的基于Dantzig selector的两步迁移学习算法，在数值模拟中，我们验证了提出的迁移学习算法在广义线性模型以及不同的协方差数据设计中的稳健性和有效性，这表明提出的算法具有一定的实际应用价值。

广义线性模型，Dantzig Selector，迁移学习，两步迁移学习算法

—Applied to Generalized Linear Models

Fei Sun, Shuna Liang^*

Qingdao University, Qingdao Shandong

Received: Aug. 23^rd, 2022; accepted: Sep. 18^th, 2022; published: Sep. 27^th, 2022

The problem of small samples and high dimensionality has always been a research hotspot for statisticians. Different from the traditional parameter estimation method of variable selection, in this paper, we apply the relevant knowledge of transfer learning, and borrow data with different distributions from those that need to be predicted. It effectively helps us solve the prediction problem of target domain data. We propose a novel two-step transfer learning algorithm based on Dantzig selector. In numerical simulations, we verify the robustness and effectiveness of the proposed transfer learning algorithm in generalized linear models as well as in different covariance data designs, which shows that the proposed algorithm has certain practical application value.

Keywords:Generalized Linear Model, Dantzig Selector, Transfer Learning, Two-Step Transfer Learning Algorithm

Copyright © 2022 by author(s) and beplay安卓登录

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

大数据时代的背景下，随着数据的规模和维度的增加，统计学习、机器学习算法能够得以成功的应用。但是使得这些算法被成功应用有一基本的假设，即：训练数据和预测数据要求同一分布，这一基本假设在实际生活中是难以满足的。此外，在健康医疗及电商平台中，常会出现用来训练数据标签不足的情形。迁移学习为一个新的机器学习框架，它是一种学习的思想和模式。具体而言，在机器学习范畴，迁移学习通过利用数据、任务或模型之间的相似性，将在旧领域学习过的模型和知识应用于新的领域。它可以很好的解决传统机器学习、统计模型不能适用的场合，利用和预测数据相关的数据，且相关数据的样本量是充足的。在迁移学习中，源域数据就是有知识、有大量数据标注的领域，是我们要迁移的对象；目标数据就是我们最终要赋予标注的对象。知识从源域传递到目标域，就完成了迁移 [ 1 ]。迁移学习已经成功的应用在各个领域内：推荐系统 [ 2 ]、生物医疗 [ 3 ]、计算机视觉 [ 4 ] 等方面。在统计学习方面，文献 [ 5 ] 用二分类源域数据去预测没有标签的目标域数据。另一个应用于回归问题的经典例子，文献 [ 6 ] 中数据集是一个商业飞行数据集，完整的数据集是1987年~2008年，将1987到2007年的数据作为源域，将2008年的数据作为目标，源域和目标域的数据分布是不同的。这使得我们考虑将迁移学习进一步应用到更广泛的统计模型中。

在统计学习中，高维度小样本的n-p问题一直是统计学家的研究热点。文献 [ 7 ] 提出了Lasso回归用来选择变量，这一高维数据的变量选择方法一经提出，使得研究人员对于高维数据的参数估计问题有了全新的认识。在此基础上，文献 [ 8 ] 提出dantzig selector，在一般的参数估计问题中，通常会有一个基本的假设，即模型的残差和设计阵是不相关的。但是dantzig selector不仅考虑了残差的影响，还考虑了设计阵与残差的相关性。除此之外，还有许多其他的变量选择的方法。包括group lasso [ 9 ]、adaptive lasso [ 10 ]、MC+ [ 11 ]、Frechet回归 [ 12 ] 等，这些经典的变量选择方法能够很好的处理训练数据、预测数据服从相同的分布。但是在处理分布不同的数据时，我们可以很好的应用迁移学习的相关思想，即可以借用分布不同但相似的数据来解决目标域数据的预测。在迁移学习中，度量源域数据和目标域数据的相似性是一个十分重要的问题， [ 13 ] [ 14 ] [ 15 ] 通过A-distance和Principle Angle度量相似性。本文中，我们通过 l 1 距离度量相似性。文献 [ 16 ] 利用 l q ( 0 ≤ q ≤ 1 ) 距离度量相似性，研究了基于线性模型的迁移学习，文献 [ 17 ] 同样研究了线性模型的迁移学习。但其仅考虑了源域数据和目标域数据的 l 1 相似性。在非参数模型的假定下，文献 [ 18 ] 研究了基于KNN算法的迁移学习分类迁移学习模型。

基于基本统计模型的迁移学习，2021年 [ 17 ] 研究了基于线性模型的迁移学习，提出了两步联合估计器，并说明了两步联合估计的误差下界较于传统估计方法是较优的，但是其方法局限于单源数据的迁移学习。2022年 [ 16 ] 在线性模型的假定下，提出了多源数据的两步迁移学习和数据驱动的迁移学习算法，并在理论方面，证明了迁移学习估计器使用源域数据的收敛速率优于不使用源域数据的传统估计器的参数估计，此外，还证明了迁移学习估计器的极小极大收敛速率。

2022年，在模型参数稀疏的假定条件下，文献 [ 19 ] 研究了指数分布族的迁移学习，并提出了两步迁移学习算法，即第一步基于Lasso算法，利用所有的源域和目标域数据，得到一个较为粗糙的参数估计。第二步再利用lasso回归，将第一步的参数估计的偏差进行修正。我们同样基于两步迁移学习算法的思想，研究了广义线性模型的迁移学习，第一步利用Dantzig selector得到一个粗糙的参数估计，在假定第一步得到较为粗糙的参数估计和真实参数之间的 l 0 距离较小时。再利用Lasso回归去修正第一步的参数估计。通过数值模拟容易发现，我们所提出的两步迁移学习算法是优于经典的Lasoo回归、Dantzig selector。

在本篇论文中，我们提出了一个新颖的两步迁移学习算法(Oracle Trans-DS)。在源域数据和目标域数据均不稀疏的情形下，如果直接使用上述经典的变量选择方法，则得到的参数估计的偏差是较大的。我们遵循文献 [ 18 ] 提出的两步迁移学习算法的思想，在第一步参数估计中(迁移步骤)，利用Dantzig selector在源域数据和目标域数据得到一个较为粗糙的参数估计 β i n i t (迁移步骤)，

β i n i t = arg min β ‖ β ‖ 1         s .t .   ‖ ∑ k X ( k ) T ( y ( k ) − f ( X ( k ) β ( k ) ) ) ‖ ∞ ≤ λ ,   k = 0 , 1 , 2 , ⋯ , K (9)

然后利用Lasso在目标域数据上对 β i n i t 进行偏差修正(纠偏步骤)。

δ ^ = ‖ Y ( 0 ) − f ( X 0 ( β + δ ) ) ‖ 2 + λ ‖ δ ‖ 1 (10)

详细的算法流程可以见图1。通过这样的迁移学习算法，可以有效的借助相关但分布不同的数据。从而较好的降低参数估计的误差。在第三节的数值模拟中，我们通过与经典的高维数据变量选择对比，可以很好的看出Oracle Trans-DS方法的优越性。

图1.算法1

在这节中，为了不失一般性，我们分别在线性模型，逻辑回归和泊松回归三种场合下，比较Oracle Trans-DS与Lasso、Dantzig selector估计高维广义线性模型参数的性能。其中，Naïve-Lasso、naïve- dantzig-selector表示仅使用目标域数据，分别利用Lasso、Dantzig selector估计高维数据的参数，Oracle Trans-DS表示用算法1估计得到的参数。

所有的模拟实验均使用R语言实现，其中Lasso通过glmnet包实现，Dantzig selector通过hdme包

实现，其中Lasso的调谐参数是通过10折交叉验证选择的，Dantzig selector的调谐参数设置为 C log p n 。

我们设置源域和目标域的样本维度均为p = 1000，可迁移的源域数K = 6，且样本量为 n 1 , n 2 , ⋯ , n K = 150 ，

目标域 n 0 = 100 。设置目标域的参数 β = ( 0.51 s , 0 p − s ) T ，设置 β ( k ) = β + h p R p ( k ) ,   h = 5 ,   k = 1 , 2 , ⋯ , K ，其中 R p ( k ) 表示以等概率取−1或1的p维随机向量，s的设置为25。我们以 l 2 估计误差( ‖ β ^ − β ‖ 2 )为评价指标，所有

的模拟实验都被重复100次，然后取其平均值。具体实验结果见下图2。

图2. 不同模型及稀疏度的 l 2 误差

通过图2可以发现，当数据之间存在较弱的相关性时，我们提出的Oracle Trans-DS方法是远远优于传统的变量选择方法naïve-Lasso、naïve-dantzig selector。当数据之间存在较强的相关性时，普遍来说，我们提出的算法的也是较优的，这说明我们提出的算法在解决高维数据的参数估计问题时具有稳健性和有效性。

在本篇论文中，我们提出了一种基于Dantzig selector的两步迁移学习算法，由数值模拟的分析可知，我们提出的方法的效率是较优的，并且将其运用到了广义线性模型的场合，大大提高了实际的应用价值。容易看出，我们提出迁移学习算法也是利用传统的统计学习方法。因此，将新的学习框架与经典的统计学习模型相结合，可以很好的解决统计学习中的n-p问题，这一思路同样启示我们，对于统计学习方法的应用应该与时俱进，从而使得统计模型能够适应新的时代要求。

如上所述，利用两步迁移学习算法能够解决不同分布、训练数据较少的问题，但是在这篇论文中，我们局限于源域数据和目标域数据服从均分布参数不同但类型相同的分布，其原因是，若源域数据和目标域数据服从的分布和参数均不同，在此种情况下，使用 l 1 距离度量相似性不再合适，故进一步的研究中，我们可以考虑利用其他的相似性度量准则，从而结合来自不同分布的源域数据，比如，在广义线性模型的框架的下，可以考虑源域部分源域数据来自线性模型，部分源域数据来自逻辑回归。这篇论文我们是在稀疏假定条件下，进行模型的迁移，但是现在生活中，稀疏假定这一情形往往是难以满足的。如何构建将新的统计学习模型与非稀疏数据的预测相结合，也是一个非常值得研究的问题。

迁移学习的效果依赖于相似性的度量准则，在这篇论文中，我们是用参数之间的 l 1 距离度量相似性，这种相似性的度量方式在理论上分析较为简单，且实际的运用中也较为容易实现，但是针对与某些场合，需要采用不同的相似性度量准则。文献 [ 21 ] 考虑了学习模型对于分布的稳健优化，可以将这一思想与迁移学习相结合，从而构建出对相似性度量不太敏感的迁移学习模型，这亦是一个研究重点。

本篇论文由国家社会科学基金项目(No. 21BTJ045)资助。

孙 飞,梁淑娜. 基于Dantzig Selector的迁移学习——应用于广义线性模型Transfer Learning Based on Dantzig Selector—Applied to Generalized Linear Models[J]. 应用数学进展, 2022, 11(09): 6779-6786. https://doi.org/10.12677/AAM.2022.119718