论文研究 基于类间判别的矩阵学习机.pdf

针对面向矩阵模式分类器设计（matrix-pattern-oriented classifier design，MatCD）没有考虑到先验类间判别信息的不足，提出了一种新的面向矩阵型分类器设计的学习框架。首先通过把每一类分别使用K-means进行聚簇；然后使不同类的簇的中心之间的距离最大化，从而设计出正则化项RBC；最后把RBC嵌入到MatCD中。实验结果表明，提出的新的面向矩阵型分类器设计的框架提高了MatCD的分类性能，同时表明RBC的有效性。第12期张国威,等:基于类间判别的矩阵学习机3683bnxn(ier+1)=bwxi(ier)+p(e(ier)+le(ier)‖)(15)1,10.100},循环终止条件=10-4,迭代步长p=0.99其屮:b≥0(=1,2,3,…,n);>0是迭代步长;ter是迭代步bx(1)=101、x,u(1)=[0.5x1。本文使用的数据数。 CBCMatMHKS算法的步骤如算法1所示,而 CBCMatMh-集如表1和2所示。表1展示了来自UCI和KEEL5的向KS的决策函数如式(16)所小。量数据集,表2展示了来自 USTC-NVIE6数据集的图片数据(A,)=7An+4/≥0:=1集。此外USrC-NvIE数据集是由安徽省计算和通信软件重点16实验室(CCSL)采集。其中是模式A∈R“2的类别号。本文提出的新算法是针表1向量数据集对二类数据集的情况,但是对丁多类的数据集则需妟把其转换数据集(缩与)样本数类别数/维度训练集规模验讧集规模为若干个二类情况,因为本文采用的是一对一和投票法来处理 Balance- scale(a)625313二类数据集和多类数据集。例如对于个数据集,其类别数为345Bupa( bupM,则需要将其转换为M(M-1)两类情况来进行处理。148算法1 CBCMaIMHKs算法Iris( Iri)150输入两类训练集:Ir={(A1,91),(A2,2),(43,o3),…,(A3/410门7输出权重向量:、a)确定c>0,p>0,λ>0,初始化b(1)、u(1)和聚簇数目k,设置迭Monk-2( Mon)2/6216代开始迭代次数ier=1且ierε,则跳转刭步骤c),否IWG\ IWOG则跳转到步骤g);6841684g)记录最优的a和;VW1368vwG、WOG38/625h)使用验证集来验证最优的u和n并记录结果。E1368VEA\VEE38/625228\11403实验与分析本文先把USTC-NVF数据集转换为灰度图像,然后冉将本章首先给出∫实验设置,然后给出∫ CBCMat mILKs在其中每一张人脸图片压缩为规模为25×25图片,最后将其转向量数据集、图片数据集上的分类正确率及收敛性分析换成规模为1×625的向量。 USTC-NVIE的属性有光型infa-3.1实验设置rcd、 visible;遮挡物: with-glasscs、 without-glasscs;角度: front、lef本文使用的对比算法有 MatmHKS、MHKs, MEKZ 9 ght;表情: anger, disgust、ear、 happiness, sadness, surprisec图2MPEKLDy、 MNKDA和SVM。其中.算法MEKL是基展示了随机从可见光和红外光下分别抽取的六个人脸图像,第列为可见光下采集的人脸图像,第二列为对应的红外光下采于MHKS算法的是多经验核学习算法 MPEKLDY是在多经验集的人脸图像。本文选取五个子图片数据集且命名为IWGF核学习算法MEKL的基础上引入多部分经验核快射(m山wGw、vw和ⅤE。这个五图片数据集的训练集和验让集partial empirical kernel mappin, MPEKM)和动态学习方法(ry分别为红外戴眼镜生气(IWGA)和红外戴眼镜其他表情(IWnamic learning method,Dy),M'KM是为了降低多经验核算GAE)、红外戴眼镜前方( IWGPF)和红外戴眼镜其他方同法的计算复杂度,DyL是为了给多经验核算法引入判别信息;( IWGPE)红外戴眼镜(IWG)和红外不戴眼镜(IWOG)、可见算法 MNKDA是在算法MKDA3的基础上引入奈斯特龙方来光戴眼镜(VWG)和可见光不戴眼镜(VWOC)、可见光生气约简核,进而降低运算复杂度。对于MEKL、 MPEKLD和(VEA)和可见光其他表情(ⅤEE)MNKDA三种多核算法,所有的参数设置与对应的论文中设置的参数相同,若训练模式数小于 MPEKLDy所设置的核数,则把核数设置为模式数。SVM核的择为 Lineau、RRF和Poy核,SVM分别基丁这三个核进行实验,取出最好的一个结果作为SⅤⅥ的最终分类结果,其中在 Linear核上的参数选择为正则化参数c∈{0.01,0.1,1,10,100;在RBF核上的参数选择为正则化参数c∈10.01,0.1,1,10,100},核参数δ∈{2图2可见光和红外光下采集的人腧图像ly核上的参数选择为正则化参数e∈{0.01,0.1,1,10,100向量数据集上实验采用五轮的蒙特卡洛交叉验证核参数d=2。 CBCMatMTISK的正则化参数A∈{0.01,0.1,1,(MCCV),且每个数据集的训练集和验证集分别占整个数据集10,100,聚簇数月左=11,3,6,9,25,50,10}。设置算法CBC数目的比例为0.5。MCV是将数据集随机分为不含有重复MatMHKs、 MatmhKs与MHKS的正则化参数c∈0.01,O.1,样本的训练集和验证集,它可以有效地训练大规模数据集,而3684计算机应用研究第34卷且可以在一定程度上减小模型的过拟合二部分给出了 CBCMatMhKs的收敛性分析。3.2图片数据集的分类比较表3图片数据集分类结果图片数据集分类结果如表3所示。在表3中加粗的正确数据集 CBCMatMHKS MatMHKS MHKS MEKL MPEKLDy MNKDA SVM率是 CBCMatmhKs好于 MatMHKs的正确率。从表4可以看IWGE89.1283.5183.16100.0078.25100.0094.2198.6899.12100.0098.64100.0099出,虽然在这五个图片数据集屮 CBCMatmhKs没有获得最好49100.0052.78100.0097.2的分类正确率,但是可以发现 CBCMatMHKS的正确率不同程w98.2598.10100.0094.01100.009度地高于Ⅵ at MHKS。例如在IWCE数据集,虽然MEKL和VE93.6093.42100.0088.8693.4293.3MNKDA都获得了10%的分类正确率,但是在这六种算法中3.3.1向量数据集分类正确率及分祈(BCⅥ at MILKs仍然获得第三好的分类正确率,且比 MatMIIKs向量数据集分类结果如表4所示。在表4中,加粗的是最的正确率高出561%。此外 MPEKLDY在这五个图片数据集上好的正确率,斜体的正确率是 CBCMatMHKS好于 MatMHKS的分类正确率不太高的原因在于其把训练集拆分为几个规模较但不是最好的。由表5可知, CBCMatMHKS的分类性能好于小的训练集,这会使其产生一定程度的过拟合。可知,在一定程 MatMhKs。在数据集Cle、li和Se上,算法 CBCMatMHSK的度上本文提出的算法 CBCMatmhKs的分类性能要优于MMH1分类正确率不仅好于 MatmHKs,而且还优于其他的对比算法。,从而也说明木文提出的正则化项R的有效性可行性。虽然在数据集Bal、Bup、Led和Mon上 CBCMaImhKs的分类正3.3向量数据集分类性能确率在所有算法中不是最好的,但是 CBCMatMlIKs的分类正本节包含两个部分,第一部分给岀了本文提岀的算法(B-确率在一定程度上好十 Matmhks,可以得出所提的算法是有CMatⅦHKS和对比算汏在向量数据上的分类正确率及分析,第效可行的表4向量数据集分类结果/%数据集CBCMalmhKsMaIMHKsMHKSMEKLMPEKLDMNKDAsⅤM89.17±U.988.14±1.1691.09±7.4726±0.97.3l±1.68.95±3.5967.67±2.5965.58±2.272.75±0.9173.91±069.65±1.658.91±4.0158.78±3.5258.23±456.G7±0.0357.09±0.1155.65±0.0156.05±2.6698.67±1.3398.40±U.1297.87±1.1998.00±0.0798.00±0.057.60±0.097.33±0.74.55+0.8473.66+0.9373.74+0.6272.75+0.075.14±0.476.50+0.041.87+2.1477.13⊥3.3276.57±1.627.43±0.286.57±0.0097.87⊥3.94.10±3.1295.62±1.5994.29±0.0792.38±0.0494.67±1.093.3.2收敛性分析MHKS的分类能力。此外还分析了 CBGMatMHKs的收敛性。因为分析算法CBCⅥ atMHKS的收敛性是比较困难的,所实验结果表明 CBCMatMHKs可以在一定程度上提高 Math以本文使用一个经验的方法来观察 CBCMatmhK的收KS的分类性能,同时也表明提出的新的正则化项Rm是有效敛性。这个经验的方法是观察 CBCMaLMHKs的目标函数值的可行的。对数随迭代步奏的变化情况。如佟3所示,本文示了CHC参考文献:Matmiiks在50个迭代步奏下的目标亟数的对数值。可以发[1 Chen Songcar, Wang zhe, Tian Yongjun. Matrix-pattern-oriented Ho现在图3中的两条线可以很快达到稳定并保持不变,可知CBKashyap classifier with regularization leaning.J. Pattern Recogni-CMatmhKs可以在有限步奏内获得收敛。ton,2005,40(5):1533-15437.5[2 Wang Zhe, Chen Songcan. New least squares support vector machinesMonbased on matrix patterns [J. Neural Processing Letters, 2007, 2641-56ang Zhe, Niu Zengxin. One infrarematrixized model[ C]//Recent Advances in Computer Science and In-formation engineering 2012: 717-7[4 Vapnik V N, Chervonenkis A Y On the uniform convergence of relative frequencies of events to their probabilities[ J]. Theory of Probability& Its Applications, 2015, 17(2): 264-280迭代步数1 5 Duda BR O, Ilart P E, Stork D G. Patlern classification.IS图3 CBCMatMhKs的目标函数对数值1.]:Wley,2010.在Bup和Mon数据集上的变化[6〗张晓琳,崔宁宁,砀涛,等.一种分层自适应快速K- means算法[冂].计算礽应用研究,2016,33(2):421-423,427.4结束语[7 Hartigan J A, Wong M A. Algorithm AS 136: a K-means clustering al-gorithm[ J]. Applied Statistics, 1979, 28( 1): 100-108为了克服MaCD没有考虑到类间判别信息的不足,木文[81 Leski J. Kernel Ho- Kashyap classifier with generalization control[J设计了一个新的正则化项Rc来考虑类间的判别信息、。把其Pattern Recognition Letters, 2003, 24(14): 2281-2290引入到MatC,并产生了一个新的面向矩阵模式的学习框架。[ Wang Zhe. Chen Songcar, Sun 'Mingkai.Mu- MHKS: a novel mul为了验证RBc的有效性和可行性,本文将共应用到 MatMhKspIe kernel learning algorithm [J]. IEEE Trans on Pattern Analysismachine Intelligence, 2007, 30(2): 348-353上,并产生一个新的分类器 CBCMatMHKs。在实验上,4文验110 I Fan Q, Wang Zhe, Gao daqi,a. MPEKDyL: efficient multi-partial证了 CBCMatmhKs在图片数据集和向量数据集上的分类性empirical kernel dynamic learning L J. Knowledge-Based Sys能。实验结果表明 CBCMaLMHKs可以在一定程度上提高Mat-tems.2015.77:40-55(下转第3688页)3688·计算机应用研究第34卷这说明随着训练集占整个数据集总数的κ的减少,数据的稀即数据稀疏程度越大时,本文提出的推荐算法对推荐质量的提疏度提高,推荐质量下降;b)随着训练集比例的降低,数据稀髙程度越大。疏度的提高,木文提出的条件型游走二部图协同过滤算法在参考文献MAE都要小于其他两种传统的协同过滤算法,从而提高了算[1]PeiT, Moat S R, Stanley hE, et al. Quantifying the advantage of法的推荐精度;c)当训练值的比例很低吋,即数据稀疏程度越looking forward[ J. Scientific Reports, 2012, 2: 350-356大时,本文提出的推荐算法对推荐质量的提高程度越大,这是[2]冷业军,陆青,张俊岭.结合类别偏好信息的iem-bsed协冋过滤因为当用户项日评分矩阵稀疏且分散时,采用了条件型游走方算法冂].计算机应用研究,2016,33(3):669-672法计算目标用户与其他用户之间的相似性,可以很好地筛选出[3 De meo p, Ferrara E, Fiumara G. Improving recommendation quality于目标用户相似的邻居集,提高了推荐质量,缓解了用户一项by merging collaborative filtering and social relationships[C日矩阵数据稀疏性的问题。of the 1 1 th International Conference on Intelligent Systems Design and0[4 Li Xin, Chen H C Recommendation as link prediction in bipartite0881亠-本文算法文算法graphs: a graph kernel-based machine learning approach[J. Deci-0.90sion Support Systems, 2013, 54(2): 880-890口0.84[5 Yu W A, Mamoulis N, Su Hao. Reverse top-k search using random0.80080alk with restart[ J]. Proceedings of the VLDB Endowment▲-▲2014,7(5):401-412邻居数邻居数[6 Lyu Linyuan, Liu Weiping. Information filtering via preferential diffu-图4叛据稀疏度为96.21%的图5数据稀疏度为97.47%的sion[I. Physical Review E, 2011, 83(6): 66119.推枵精度推荐精度[7. Zhou Tao, Kusesik Z, Liu Jianguo, et al. Solving the apparent diversityaccuracy dilemma of recommender systems[J]. Proceedings of thea PearsonNational Academy of Sciences, 2010, 107(10): 4511-45150.951小文算[8 Ma Hao, Zhou Dengyong, Liu Chao, et al. Recommender systems with0.90social regularization C]//Proc of the 4th ACM International Confe-nce on Web Search and Data Mining. New York: ACM Press, 2011287-296[9]聂大成.在线社会网络中的信息推荐技术研究[D].成都:电子科30405060图6数据稀疏度为98.74%的推荐精度技大学,2014[10 Liu Jianguo, Zhou Tao, Guo Qiang. Information filtering via biased3结束语heat conduction[ J]. Physical Review E, 2011, 84(2): 03710[I]葛志鹏,严广乐,张国亮.基于以群聚类的二部图网络推荐算法本文通过实验方案设计,考察了本文提出的基于条件型游[J].信息技术,2016(3):5761走二部图协同过滤算法的推荐性能。首先介绍∫复杂网络理12 Zhang Zike, Zhou Tao, Zhang Y icheng. Personalized recommendationvia integrated diffusion on user-item-tag tripartite graphs. J. Physica论穊念以及经典二部图推荐算法;然后据复杂网络理论的A Statistical Mechanics and its Applications, 2010, 389(1): 179部图网终,将用户项目数据转换为用户—项目二部图,采用选186择性随机游走计算目标用户与其他用户之间的相似性,放弃传[13]张新猛,蒋盛益,基于加权二部图的个性化推荐箕法[J.计算机统协凋过滤用户相似性的计算方法和二部图推荐算法中的资应用,2012,32(3):65-71源分配方法。研究结果表明,木文提出的条件型游走二部图协[14]Zhou"ao,SuRi, Liu Runan,eta. Accurate and diverse recommen-同过滤算法在MAE和准确率都要优于其他两种传统的协同过dations via eliminating redundant correlations[ J. New Journal of滤算法,从而提高了算法的推荐精度;当训练值的比例很低吋,Physics,2009,11(2):123008(上接第3684页ware tool data set repository, integration of algorithms and experimen[11 Wang Zhe, Jie Wenbo, Gao Daqi. A novel multiple Nystrom-approxital analysis framework[ J]. Journal of Multiple-Valued Logic andnating kernel diseriminant analysis [J. Neurocomputing, 2013Soft Computing, 2011, 17: 255-287119:385-398[IG Wang Shangfei, L ill Zhilei, L,yul Siliang, el al. A natural visible and in-12] Vapnik V N Statistical learning theory[J]. Encyclopedia of thefrared facial expression database for expression recognition and emotionSciences of Learning, 2012, 41(4): 3185nference J. IEEE Trans on Multimedia, 2010, 12(7): 682-691[13 Ye Jieping, Ji Shuiwang, Chen Jianhui Discriminant kernel learning [17 Xu Qingsong, Liang Yizeng. Monte Carlo cross validation[J].Che-via convex programming [J_. Journal of Machine Learning Renometrics Intelligent Laboratory Systems, 2001, 56(1): 1-11search,2008,9(4):719758[18 Wany Zhe, Meng Yu, Zhu Yijin, et al. M MaIMHKS: H direcl multi[14 Asuncion A, Newman D UCI machine learning repository [D]. Caliclass matrixized learning machine [J]. Knowledge-Based Sysformia University of California Irvine of Information and Computertems,2015,88:184-1942007:148-156,[19]孟芸,王喆矩阵型多类代价敏感分类器模型[冂].华东理工大学15 Aleala-Fdez J, Fernandez A, Luengo J, et al. KEEL data-mining soft-学投:自然科学版,2016,42(1):119-124