课题组鼻咽癌患者数据采样于广东省某肿瘤医院，但由于原始数据存在缺失、不规范等原因，需要对数据进行预处理。针对此次课题，本小组对原始数据进行了以下处理：

1) 鼻咽癌患者通常可以接受两种方案进行治疗：手术以及放化疗，但鉴于数据库中患者主要经过放化疗诊断，此次实验本小组剔除接受手术治疗的样本，以防影响预测结果。

2) 由于在实际情况中，医院方主要通过实际患者数据确定赔付金额，不存在数据缺失的情况，故在本次实验中去掉含有未知信息的数据。

3) 删除首诊ICD编码中与鼻咽癌无关的病例首诊保留ICD C11(Malignant neoplasm of nasopharynx)、C30(Malignant neoplasm of nasal cavity and middle ear)、C31(Malignant neoplasm of accessory sinuses)。

4) 保留末诊ICD编码中以Z08(Follow-up examination after treatment for malignant neoplasms)、Z51(Other medical care)开头的病例。

5) 去掉大于三倍标准差的数据(见表1)。

表1. 去掉大于三倍标准差的数据

6) TNM分期标准化

TNM分期标准化是对TNM分期数据进行大批量预处理，将鼻咽癌诊断信息按照TNM分期标准(2017年)进行标准化，该项工作属于自然语言处理(NLP)范畴。解决该问题的思路是字符串的相似替换，主要是使用了莱文斯坦编辑距离算法来计算不等长字符串的相似度，现已利用Python语言实现。

使用Python的第三方库xlrd、xlwt、Levenshtein，将TNM原始数据共有1318 (未知数据406个)，其中852个替换结果理想，有52个数据结果不佳，即错误率不超过6% (除去未知数据，错误率5.702%；对于全部数据，错误率3.945%)，总体效果理想 [ 9 ]。

7) 费用明细整合

利用正则表达式、余弦相似性、莱文斯顿编辑距离对2000余条医疗费用名称进行分类整合. 首先用正则表达式匹配给定字段，删除费用名称中毫无意义的内容。再通过余弦相似性实现拼写纠错，最后使用莱文斯坦编辑距离将整合后的费用列表与费用项目字典对比，得到患者全周期面板数据表。

病人住院总费用的概率密度曲线和Q-Q图(图2)如下所示：

图2. 总费用的概率密度曲线和Q-Q图

做正态性W检验(Shapiro-Wilk正态性检验)，得到W = 0.77822, p-value < 2.2e−16，即 P ( x ≤ W ) ≪ 0.05 ，明显拒绝原假设，即认为病人住院费用不服从正态分布，

做E-P正态性检验(Epps-Pulley正态性检验)，得到T_EP= 66.44982，1.241784 > 0.590，在显著性水平α = 0.01时显然落入拒绝域即认为诸总费用分布是非正态的。

概率密度曲线和Q-Q图(图3)如下所示：

图3. 对数总费用的概率密度曲线和Q-Q图

做得到W = 0.97672，p-value < 2.2e−16，仍然明显拒绝原假设。

做E-P正态性检验(Epps-Pulley正态性检验)，得到T_EP= 10.99791，1.241784 > 0.590，在显著性水平α = 0.01时也落入拒绝域即认为诸总费用分布是非正态的。

对总费用做Box-Cox变换，使其满足正态性假定。

y ( λ ) = { y λ − 1 λ − 1 ,         λ ≠ 0 , ln y ,                         λ = 0.

经计算得到 λ 的最大似然估计 λ = 0.23 。

L max ( λ ) = ( 2 π e σ ^ λ 2 ) − n 2 | J |

式中

σ ^ λ 2 = 1 n S S E ( λ , y ( λ ) ) ，

| J | = ∏ i = 1 n | d y i ( λ ) d y i | = ∏ i = 1 n y i λ − 1

变换后的总费用的概率密度曲线和Q-Q图(图4)如下所示。

图4. 变换后对数总费用的概率密度曲线和Q-Q图

做正态性W检验，W = 0.99518, p-value = 3.166e−06，仍然不能接受原假设即因变量的分布是正态的。

做E-P正态性检验(Epps-Pulley正态性检验)，得到T_EP= 1.241784，1.241784 > 0.590，在显著性水平α = 0.01时仍然落入拒绝域即认为诸总费用分布是非正态的，但是可见已经非常接近正态分布了。

综上，由概率密度曲线图、W统计量和T_EP统计量的变化可知，因变量的分布情况逐步趋于正态 [ 10 ]。

CART算法中的分类决策树最常使用的异质性指标是Gini系数 [ 11 ] [ 12 ] ，设样本点属于第k类(例如共6类)的概率为p_k，则概率分布的Gini系数定义为

G i n i ( p ) = ∑ k = 1 6 p k ( 1 − p k ) = 1 − ∑ k = 1 6 p k 2

如果样本集合D根据特征A是否取某一可能的值a被分割为 D 1 和 D 2 两部分，即

D 1 = { ( x , y ) ∈ D | A ( x ) = a , D 2 = D − D 1 }

那么在特征A的条件下，样本集合D的Gini系数定义为

G i n i ( D , A ) = | D 1 | | D | G i n i ( D 1 ) + | D 2 | | D | G i n i (D2)

以此类推，根据Gini系数选择最优特征、最优二值切分点，并最终得到二叉分类树。

CART回归树的生成算法基于最小二乘法。在训练数据集所在的输入空间中，递归地将每个区域划分成两个子区域并决定每个子区域上的输出值，构建二叉决策树。例如给定数据集D，输出回归树f(x)：

1) 第一步、选择数据集D中最优切分变量x_j与切分点s：求解

min j , s = [ min c 1 ∑ x i ∈ R 1 ( j , s ) ( y i − c 1 ) 2 + min c 2 ∑ x i ∈ R 2 ( j , s ) ( y i − c 2 ) 2 ]

遍历变量x_j，对固定的切分变量x_j扫描切分点s，选择使上式达到最小值的二元有序数对(j, s)。

2) 第二步、用选定的有序数对(j, s)划分区域并决定相应的输出值：

R 1 ( j , s ) = { x | x ( j ) ≤ s } ,     R 2 ( j , s ) = { x | x ( j ) > s }

其中 R m 是一个用二元有序数对(切分变量及其取值)表示的定义域。由此进一步可以解得枝结点和叶节点的因变量的预测值(回归拟合值)为其结点内样本均值：

c ^ m = 1 N m ∑ x i ∈ R m ( j , s ) y i ,     x ∈ R m ,     m = 1 , 2

3) 第三步、对两个子区域(枝结点)重复前两步，直到满足停止条件(最大树深度、结点内最小样本量、复杂度参数阈值等)。

4) 第四步、输出回归决策树f(x)，

f ( x ) = ∑ m = 1 M c ^ m I ( x ∈ R m )

f(x)将输入空间划分为m个区域 R i ( i = 1 , 2 , ⋯ , m ) ，即m个叶节点(m类) [ 3 ] [ 11 ] [ 13 ] [ 14 ]。

采用分类与回归树(CART)算法，以总费用本身为因变量对总费用进行分组，取复杂度参数(CP = 0.01)共分5组 [ 15 ]。分组路径如图5所示，分组结果见表3。

采用分类与回归树(CART)算法，以Box-Cox变换后的总费用为因变量对总费用进行分组，取复杂度参数(CP = 0.01)共分8组。分组路径如图6所示，分组结果见表4。

图5. 基于CART以总费用为因变量的总费用分组

表3. 基于CART分组的描述性统计

图6. 基于CART和Box-Cox变换的总费用分组

表4. 基于CART和Box-Cox变换分组的描述性统计

由于正态性假定检验未通过，若采用基于CART以Box-Cox变换后的总费用为因变量分组，可用非参数检验的方法比较多组之间是否就某项指标存在显著区别 [ 18 ]。非参数检验的方法多种多样，如符号秩和检验(Wilcoxon检验)、Friedman检验、Kruskal-Wallis检验。由于假定病人之间是独立的，故Kruskal-Wallis检验将会是一种实用的方法 [ 1 ] [ 10 ]。对分组得到的8个总体的全部样本进行K-W检验得到以下结果：

Kruskal-Wallis rank sum test

data: rearrange$pay by rearrange$prePay_bc

Kruskal-Wallis chi-squared = 1000, df = 7, p-value <2e−16

表7. 基于Kruskal-Wallis检验改进后的表

显著性p值< 2e-16 << 0.001，故在显著性水平0.001下可以认为：这八个总体(rearrange$prePay_bc)就费用这个指标(rearrange$pay)来说是显著不同的。

再对8个总体两两考察，可以得到28个结果(W值与P值)，由结果可知，除第4组与第5组不能认为是显著不同的外，其他27个组合之间都是显著不同的。

故根据K-W检验的建议，可以将第4与第5组合并，最终得到的分组情况如表7。