聚类分析是一种寻求数据的自然聚集结构的重要方法，增强了人们对客观现象的认识。聚类应用的意义，主要表现在处理大量的、繁杂的、属性众多且没有类标志的数据。这些没有类标志的数据经过聚类处理后，将根据其内在特征的相似性，自动聚集为若干类簇，类内对象相似度较大，而类间对象相似度较小。

聚类分析的基本方法是，同类样本的离差平方和应当较小，而类之间的离差平方和应当较大。假定已经将n个样本分成了k个类 C 1 , C 2 , ⋯ , C k ，用x_it表示C_t中的第i个样本的特征值向量，n_t表示类C_t中的样本个数， x ¯ t 表示C_t的重心，则C_t中样本的离差平方和为：

S t = ∑ i = 1 n t ( x i t − x ¯ t ) ′ ( x i t − x ¯ t )

全部类内离差平方和为：

S = ∑ t = 1 k S t = ∑ t = 1 k ∑ i = 1 n ( x i t − x ¯ t ) ′ ( x i t − x ¯ t )

当n很大时，要给出全部样本所有可能的聚类，并从中选择出使S达到极小的聚类方案是极其困难的。于是，Ward提出了这种聚类方法，采用离差平方和法，样本之间的距离采用欧氏距离法 [ 12 ] 。聚类分析实现的算法现在已经有很多，本文采用了模糊聚类和人工神经网络聚类等两种方法 [ 13 ] [ 14 ] 。

聚类结果是使数据挖掘具备识别群功能。

关联规则是描述数据库中数据项之间存在潜在关系的规则。设 I = { i 1 , i 2 , ⋯ , i n } 为全体数据项集合，则关联规则可以形式化定义为： X ⇒ Y ，其中 X ⊆ I ,   Y ⊆ I ，且 X ∩ Y = ∅ 。项集之间的关联表示：如果X出现在一条交易中，则Y在这条交易中同时出现的可能性比较高。

“可能性比较高”的界定方法，则采用支持度和置信度来表述：

规则 X ⇒ Y 的支持度定义为X和Y同时出现的可能性，表示为 Pr ( X ∪ Y ) ；规则 X ⇒ Y 的置信度定义为全体事务集D中包含X的同时也包含Y的可能性，表示为 Pr ( X ∪ Y ) / Pr ( X ) 。当支持度和置信度的值都大于给定的相应阈值时的规则称为关联规则 [ 1 ] [ 8 ] 。

下面给出关联规则的基本算法Apriori的伪代码 [ 15 ] ：

L[ 1 ]={large 1-itemsets};

for (k=2; L[k-1]≠Φ; k=k+1) do

C[k]=apriori_gen(L[k-1]); //构造候选项集

for all transactions t∈D do

C[t]=subset(C[k], t);

//搜索事务t中包含的候选项集

for all C∈C[t] do C.sup=C.sup+1; end for

//计算支持数

end for

L[k]={ C∈C[k] | C.sup>=minsup};

//得到K阶大项集

end for

L=U[k] L[k];

其中候选项集的生成是Apriori算法的核心，通过Apriori_gen函数运算实现。描述如下：

insert into C[k]

select P[ 1 ], P[ 2 ], ∙∙∙, P[k − 1], Q[k − 1]

from L[k − 1] P, L[k − 1] Q

where P[ 1 ]= Q[ 1 ], ∙∙∙, P[k − 2] = Q[k − 2], P[k − 1] < Q[k − 1]

对构造的候选项集进行削减：如果k阶候选项集C的某个k-1阶子集不中L[k − 1]中，那么C就不可能是大项集，需要将其从候选项集C[k]中删除。

for all itemsets C Î C[k] do

for all (k − 1) itemsets S of C do

if (SÏL[k − 1]) then delete C from C[k]

关联规则可以发现聚类之间的关系，挖掘出样本和聚类之间的关联规则和潜在知识。

一般地，聚类分析中，样本的属性值是连续型的；而关联规则挖掘中样本的属性值是离散型的。二者对样本数据的处理方法和分析结果的输出形式有很大差异性和互补性。表1对本文所采用的两种聚类方法和一种关联规则方法进行了比较。

从表中容易发现，将聚类分析与关联规则结合起来，可以取得更好的挖掘效果，后面的实验完全证明了这一点。

二者联合运用的具体方法是，先对样本集进行聚类分析，通过聚类把整个样本集分成不同子集，使样本实体获得各自的类别信息；再对这些带有分类属性的样本进行关联规则挖掘，使得挖掘运算有效降维且具有更好的挖掘目标。

用于编程实验的数据来自河南大学本科生的某次考试(http://218.196.195.205/admin/ks/ vbks.asp)。试卷包括4个大题(题号分别以A、B、C、D标识)，每题满分25分，卷面分值100分。全体考生平均成绩77.9分，符合正态分布。不失一般性，本文实验中随机抽出得分比较接近均值的100名考生的考试数据进行挖掘分析。样本数据参见表2。

表1. 聚类与关联规则功能对比

表2. 样本数据

先将样本数据整理成便于聚类的形式，例如，将原始数据中比较复杂的学号和题号替换为容易运算的符号，然后进行标准化变换。本文使用了离差变换和标准差变换 [ 9 ] 。

对变换后的样本数据分别进行模糊聚类和自组织神经网络聚类，然后运用F检验，自动取得最佳聚类方案 [ 13 ] 。实验中，两种聚类方法获得的最佳聚类结果完全一致，均为5类。聚类结果参见图1。

经过3.3所述的聚类分析之后，再对已具备类别(图1中最右列)的样本数据进行关联规则挖掘分析，将使挖掘运算更为方便，且规则指向性更明确、更容易理解。

本文采用改进的Apriori算法进行关联规则分析，输出相应的关联规则，参见图2。