提出了一种非线性的监督式谱空间分类器(supervised spectral space classifier,简称S3C).S3C首先将输入数据映射到融合了训练数据判别信息的低维监督式谱空间中,然后在该监督式谱空间中构造最大化间隔的最优分割超平面,并把测试数据以无监督的方式也映射到与训练数据相同的新特征空间中,最后,直接应用之前构建的分类超平面对映射后的测试数据进行分类.由于S3C使研究者可以直观地观察到变化后的特征空间和映射后的数据,因此有利于对算法的评价和参数的选择.在S3C的基础上,进一步提出了一种监督式谱空间分类器的改进算法(supervised spectral space transformation,简称S3T).S3T通过采用线性子空间变换和强迫一致的方法,将映射到监督式谱空间内的数据再变换到指定的类别指示空间中去,从而获得关于测试数据的类别指示矩阵,并在此基础上对其进行分类.S3T不仅保留了S3C算法的各项优点,而且还可以用于直接处理多分类问题,抗噪声能力更强,性能更加鲁棒.在人工数据集和真实数据集上的大量实验结果显示,S3C和S3T与其他多种著名分类器相比,具有更加优越的分类性能.
提出一种潜在属性空间树分类器(latent attribute space tree classifier,简称LAST)框架,通过将原属性空间变换到更容易分离数据或更符合决策树分类特点的潜在属性空间,突破传统决策树算法的决策面局限,改善树分类器的泛化性能.在LAST框架下,提出了两种奇异值分解斜决策树(SVD(singular value decomposition)oblique decision tree,简称SODT)算法,通过对全局或局部数据进行奇异值分解,构建正交的潜在属性空间,然后在潜在属性空间内构建传统的单变量决策树或树节点,从而间接获得原空间内近似最优的斜决策树.SODT算法既能够处理整体数据与局部数据分布相同或不同的数据集,又可以充分利用有标签和无标签数据的结构信息,分类结果不受样本随机重排的影响,而且时间复杂度还与单变量决策树算法相同.在复杂数据集上的实验结果表明,与传统的单变量决策树算法和其他斜决策树算法相比,SODT算法的分类准确率更高,构建的决策树大小更稳定,整体分类性能更鲁棒,决策树构建时间与C4.5算法相近,而远小于其他斜决策树算法.
