论文部分内容阅读
Abstract： Game cognitive state， due to its rigorous logic and mathematical framework， is an emerging field of braincomputer interface. In recent years， it has drawn much attention from mathematicians， psychologists and computer scholars， and has achieved some research results. At first， this paper designs a cognitive state research experiment “stonescissorscloth”， which is a typical game. Secondly， the paper divides the game into different stages. Then， the paper collects 17 subjects of EEG data， and with these EEG data， respectively performs the following steps： （1） electrical preview； （2） artifact correction； （3）filter； （4）reference； （5）Double-ICA artifact correction； （6）epoch； （7）baseline correct offline preprocessing operations. On this basis， the paper extracts the features of EEG from stone， scissor and cloth in terms of statistics， time domain and frequency domain； next， selects features by using feature selection method based on correlation. Finally， the research uses the SVM classifier for classification recognition， with linear kernel function as the SVM kernel function， and the recognition rate reaches 83.3%.
引言
“石頭-剪刀-布”游戏是一种典型的博弈活动，探究在博弈时被试大脑的活动过程与规律，同时在此基础上能够通过采集到的脑电数据分析预测其博弈决策判断即已成为目前脑认知科学研究的难点与热点问题。Toyomaki等人[1]设计基于“石头-剪刀-布”的博弈任务：让被试者跟计算机进行博弈， 并有金钱奖赏。实验结果发现反馈相关负波（Feedback Related Negativity，FRN），得出FRN是对外部事件从预期方面的简单快速的评价。强化学习理论认为FRN的波幅与预期事物的大小相称。Flexer等人[2]使用EEG /ERP（Electroencephalogram/ Event-Related Potential）手段， 让被试猜硬币正反面，发现P300的波形幅度也与博弈结果相关，被试输的情况下比赢的情况下激发的P300波幅更大。Gallagher等人[3]在研究中让被试分别在3种情况下参与“石头-剪刀-布”游戏。第一种与真实的人进行互动；第二种是事先设计好计算机的出拳策略。计算机的出拳策略有如下3种设定：
（1）与被试上次出拳相同。
（2）计算机本次出拳胜过被试上次出拳。
（3）计算机本次出拳输给被试上次出拳。
第三种与随机选择的计算机进行互动。实验发现，与真实的人进行游戏时，前旁扣带回的活跃度明显增大。
综上可得，针对博弈活动的研究仍存在诸多问题有待改进与完善。现给出时下面临的重点项目研究内容，可分别概述阐释如下。
（1）博弈的研究大多是基于博弈输赢结果的分析，博弈过程是怎样的呢？
（2）博弈活动是一个长时的过程，在已有的研究中多是基于ERP短时的分析。那么，在EEG上博弈活动又存在什么样的现象呢？
（3）能否根据被试在博弈过程中脑活动的变化来预测出被试的决定？
基于如上问题，本文将展开系统研究与论述。
1博弈实验设计及数据库建立
1.1“石头-剪刀-布”博弈实验的设计
实验共分为5阶段，相应为：静息、博弈、出拳、反馈、休息。各阶段流程内容如下。
第一阶段：静息。屏幕正中间呈现“ ”，呈现时间为5 s，主要为采集静息状态的脑电数据，为后续阶段作对比而提供准备。
第二阶段：博弈。为诱发被试积极思考，屏幕呈现以下2种信息：
（1）被试上次与电脑博弈结果（输、平、赢）。
（2）统计目前电脑出石头、剪刀、布的概率，并随机显示其中一种。
被试根据提供的上述信息，判别思考下次的可能出拳。呈现时间为5 s。
第三阶段：出拳。被试根据所得思考结果，按键1（石头）、2（剪刀）、3（布）选择要出的拳。
第四阶段：反馈。屏幕呈现被试与电脑本次博弈结果，失败减10分，平局记0分，获胜加10分。反馈结果呈现时间为5 s。
第五阶段：休息。休息时间为5 s。
至此，表示一个实验试次结束，下一试次即将开始。每位选手共参与30试次。大约持续时间17 min。刺激实验程序使用Presentation软件编写。实验具体流程如图1所示。 根据如上实验设计可得，实验中包括静息、思考、出拳、反馈、休息5种任务状态。任务描述可见表1。
1.2数据库分析
实验由17名身体健康的被试参加，17名被试均来自于哈尔滨工业大学，年龄在22～26岁之间，9位男性，8位女性。所有的实验对象在实验前都被明确告知此次实验的目的和意义，同时表示自愿参与并且承诺会积极配合完成实验。受试者均为右利手，视力或矫正视力正常，且在此之前不曾服用任何会影响脑电信号记录的药物，没有精神疾病史。实验数据通过NeuroScan脑电记录仪记录脑电信号，采集通道为64导连。电极排列位置根据国际10-20系统标准放置，电极阻抗均调至5 kW以下。
2基于Double-ICA的数据预处理研究
ICA的基本思想描述如下：设X（t）=[x1（t）， x2（t），…，xN（t）]T是N维的观测信号，S（t）=[s1（t）， s2（t），…，sm（t）]T是产生观测信号的N个相互统计独立的源信号，且观测信号X（t）是源信号S（t）经过一个未知的矩阵A线性混合而产生的，即X（t）=AS（t）。在混合矩阵A和源信号S未知的情况下，仅利用观测信号X和源信号统计的假设，寻找一个线性变换分离矩阵W，希望输出信号U（t）=WX（t）=WAs（t）尽可能逼近真实的源信号S（t）。目前所采用的ICA算法大部分是静态ICA模型和批处理优化算法的组合，即假设ICA混合模型具有非时变性，且独立源在数量和统计特征等方面保持稳定性，如Infomax算法。基于信息极大ICA算法简称Informax算法，设计原理是在线性神经网络的输入端引进非线性环节，即将线性网络的信息极大传输问题转变为非线性网络的信息极大传输问题，并采用统计梯度算法对神经网络连接权值进行调整。在低噪声的情况下，可较好地实现多路线性混合信号的盲源分离。根据信息最大传输准则，要求输出矢量y最大可能地保留输入矢量x的信息，即互信息I（x，y）最大。由信息论可知：I（x，y）=H（x） H（y）-H（x，y）（1）其中，联合熵H（x，y）=H（x）-H（n）， n为噪声干扰。因此式（1）又可以表示为：I（x，y）=H（y）-H（n）=H（Wx）-H（n）（2）由式（2）可知，互信息极大等价于输出熵H（y）最大。由信息熵理论可得：
在本文的数据处理中，进行2次ICA伪迹去除。原因是，有学者认为，运行一次ICA可以去除不好的时间段，去除坏的电极（因为通过ICA成分可以很容易将其检测出来）。如此运行2次ICA才能去除噪声，才能够获得更好、更干净的数据。处理效果图像即如图2～4所示。
3博弈活动特征向量的提取
3.1EEG信号频段划分
根据上述脑电信号的预处理，已经去除了50 Hz及以上的频率成分，把1～49 Hz按照delta、theta、alpha、beta、gamma波段分為5段。频段划分可见表2。
3.2EEG信号统计特征提取
在实现了频段划分的有效基础上，可对博弈活动进行统计学上的特征提取。提取方法如下。
（1）滤波，alpha频段、beta频段、theta频段、delta频段、gamma频段。
（2）计算每一个频段的频段能量，以及5个频段的平均能量。
（3）在每个电极上计算每个频段能量的平均值、方差、标准差、最大值、最小值。提取的特征维数总计为320，详情可见表3。
3.3EEG信号时、频特征分析
3.3.1基于AR模型系数的时域特征提取
AR模型[4]又称为自回归模型，可用如下差分方程来表示：x（n）=-∑pi=1ap（i）x（n-i） ε（n）（5）其中，ε（n）是均值为零、方差为σ2的白噪声序列， ap（i），i=1，2，…，p为p阶AR模型的阶数。在构建AR参数模型时，首先涉及到一个问题就是模型阶数的选择。阶数太高，谱估计会出现谱分裂的现象；阶数太低，又会导致分辨率较差。本文对于AR模型阶数的选择使用赤池信息准则，赤池信息准则是以最小化Kullback-Leibler信息量为基础的，研究可得KullbackLeibler信息的数学计算公式为：AIC（p）=Nlog（EP） 2p（6）使式（6）最小的p就是AR模型的阶数。下面，将利用图形来呈现不同AR阶数下AIC的取值，具体结果如图5所示。由图5可以看出，阶次6以后的AIC值变化不大，因此本文选择6阶AR模型。该模型对应的时域特征可见表4，因此一共提取了384维作为AR模型系数特征。
3.3.2基于功率谱的频域特征提取
功率谱估计[4]（PSD）是利用给定的一组样本数据估计一个平稳随机信号的功率谱密度，由其即可表征被分析对象的能量随频率分布的情况。如果已知一个随机信号x（n）的自相关函数r（k），功率谱密度函数的定义为：P（w）=∑ ∞-∞r（k）e-jwk（7）其中，r（k）=E[x（n）*x（n k）]（8）其中，E表示数学期望，*表示复共轭。每个电极上间隔200 ms求得一个功率谱均值，5 000 ms时间内共取得1 600维的功率谱特征。
综上所述，本文分别从统计、时域、频域3方面对博弈活动中的脑电信号进行了特征提取。下面将对提取到的特征开展特征融合方面的研究。
4基于CFS统计-时域-频域特征融合
4.1基于关联性的特征选择
基于关联性的特征选择[5～7]（Correlationbased Feature Selection，CFS）是以属性与类别之间的相关性以及属性与属性之间冗余度为衡量依据的，该算法具有较好的降维能力。算法通过启发式地评价单一特征对应于每个类别的作用，从而得到最终的特征子集。在此，给出评估方法如下： Ms=kcfk k（k-1）ff （9）式中， Ms为对一个包含有k个特征项的特征子集S的一次评价； cf为属性和类别之间的平均相关度； ff为属性和属性之间的平均相关度。 由式（4）可知，CFS是一种基于相关性的特征子集评价方法。由该方法计算得到的各个子集中每个属性与类别属性的关联度越大或属性之间的冗余度越小，则评价值越高。在CFS中，是利用信息增益计算属性之间的相关性大小。基于此，下面将进一步给出信息增益的计算方法。
假设属性Y，y为Y的每一个可能的取值，则Y的熵的计算方法为：H（Y）=-∑y∈YP（y）log2（p（y））（10）已知属性X，计算Y的熵的方法为：H（Y|X）=-∑x∈Xp（x）∑y∈Yp（y|x）log2（p（y|x））（11）差值的计算公式为：H（Y）-H（Y|X） （即特征Y的熵的减少量） （12）由式（12）分析可得，其结果可以反映特征X提供给Y的附加信息，由此则可称为信息增益。信息增益全面展现了属性X提供给属性Y的信息的多少，因此信息增益越大， X与Y的相关度就越高。为保证各个属性可相互比较，使不同的属性选择产生相同的效果，需要对信息增益进行归一化。
4.2结果分析
本文采用SVM分类器进行分类识别，SVM特别选用了线性核函数，如式（13）所示：k（x，y）=xTy c （13）需要指出，本文研究设计的SVM分类器对数据集进行分类识别的过程最后，是使用了留一法交叉验证。留一法交叉验证方法的实现原理可描述如下：首先，从N个观测数据集中选择一个数据作为测试数据；而后使用剩下N-1个数据训练一个模型，再用最先排除的那個观测值来验证该模型的精度，如此重复N次，求取N次识别结果的平均值。识别结果可详见表5。
5结束语
本文依据研究内容设计了基于“石头-剪刀-布”的博弈实验，并建立博弈研究的数据库。对采集到的数据经过脑电数据预览、数字滤波、转参考、脑电分段、基线校正等离线预处理操作后，使用基于DoubleICA的伪迹去除方法，去除脑电数据中的眨眼、水平眼电、垂直眼电以及不连续间断点。然后，分别提取了博弈活动中被试出石头、剪刀、布时的统计特征、AR系数时域特征以及基于功率谱的统计特征。使用CFS特征选择方法进行特征选择。最后，使用SVM进行分类识别，识别结果为83.3%。
参考文献
[1] TOYOMAKI A， MUROHASHI H. Discrepancy between feedback negativity and subjective evaluation in gambling[J]. Neuroreport， 2005， 16（16）： 1865-1868.
[2] FLEXER A， MAKEIG S. Independent component analysis of EEG recorded during twoperson game playing[J]. Applied Artificial Intelligence， 2007， 21（9）： 883-894.
[3] GALLAGHER H L， JACK A I， ROEPSTORFF A， et al. Imaging the intentional stance in a competitive game[J]. Neuroimage， 2002， 16（3）： 814-821.
[4] 李颖洁. 脑电信号分析方法及其应用[M]. 北京：科学出版社，2009.
[5] HALL M A. Correlationbased feature selection for machine learning[D]. Hamilton： The University of Waikato， 1999.
[6] HALL M A， SMITH L A. Feature selection for machine learning： Comparing a correlationbased filter approach to the wrapper[C]// Twelfth International Florida Artificial Intelligence Research Society Conference. Orlando， Florida， USA：ACM， 2010：235-239.
[7] 孙宁青. 基于神经网络和 CFS 特征选择的网络入侵检测系统[J]. 计算机工程与科学， 2010， 32（6）： 37-39， 117.
引言
“石頭-剪刀-布”游戏是一种典型的博弈活动，探究在博弈时被试大脑的活动过程与规律，同时在此基础上能够通过采集到的脑电数据分析预测其博弈决策判断即已成为目前脑认知科学研究的难点与热点问题。Toyomaki等人[1]设计基于“石头-剪刀-布”的博弈任务：让被试者跟计算机进行博弈， 并有金钱奖赏。实验结果发现反馈相关负波（Feedback Related Negativity，FRN），得出FRN是对外部事件从预期方面的简单快速的评价。强化学习理论认为FRN的波幅与预期事物的大小相称。Flexer等人[2]使用EEG /ERP（Electroencephalogram/ Event-Related Potential）手段， 让被试猜硬币正反面，发现P300的波形幅度也与博弈结果相关，被试输的情况下比赢的情况下激发的P300波幅更大。Gallagher等人[3]在研究中让被试分别在3种情况下参与“石头-剪刀-布”游戏。第一种与真实的人进行互动；第二种是事先设计好计算机的出拳策略。计算机的出拳策略有如下3种设定：
（1）与被试上次出拳相同。
（2）计算机本次出拳胜过被试上次出拳。
（3）计算机本次出拳输给被试上次出拳。
第三种与随机选择的计算机进行互动。实验发现，与真实的人进行游戏时，前旁扣带回的活跃度明显增大。
综上可得，针对博弈活动的研究仍存在诸多问题有待改进与完善。现给出时下面临的重点项目研究内容，可分别概述阐释如下。
（1）博弈的研究大多是基于博弈输赢结果的分析，博弈过程是怎样的呢？
（2）博弈活动是一个长时的过程，在已有的研究中多是基于ERP短时的分析。那么，在EEG上博弈活动又存在什么样的现象呢？
（3）能否根据被试在博弈过程中脑活动的变化来预测出被试的决定？
基于如上问题，本文将展开系统研究与论述。
1博弈实验设计及数据库建立
1.1“石头-剪刀-布”博弈实验的设计
实验共分为5阶段，相应为：静息、博弈、出拳、反馈、休息。各阶段流程内容如下。
第一阶段：静息。屏幕正中间呈现“ ”，呈现时间为5 s，主要为采集静息状态的脑电数据，为后续阶段作对比而提供准备。
第二阶段：博弈。为诱发被试积极思考，屏幕呈现以下2种信息：
（1）被试上次与电脑博弈结果（输、平、赢）。
（2）统计目前电脑出石头、剪刀、布的概率，并随机显示其中一种。
被试根据提供的上述信息，判别思考下次的可能出拳。呈现时间为5 s。
第三阶段：出拳。被试根据所得思考结果，按键1（石头）、2（剪刀）、3（布）选择要出的拳。
第四阶段：反馈。屏幕呈现被试与电脑本次博弈结果，失败减10分，平局记0分，获胜加10分。反馈结果呈现时间为5 s。
第五阶段：休息。休息时间为5 s。
至此，表示一个实验试次结束，下一试次即将开始。每位选手共参与30试次。大约持续时间17 min。刺激实验程序使用Presentation软件编写。实验具体流程如图1所示。 根据如上实验设计可得，实验中包括静息、思考、出拳、反馈、休息5种任务状态。任务描述可见表1。
1.2数据库分析
实验由17名身体健康的被试参加，17名被试均来自于哈尔滨工业大学，年龄在22～26岁之间，9位男性，8位女性。所有的实验对象在实验前都被明确告知此次实验的目的和意义，同时表示自愿参与并且承诺会积极配合完成实验。受试者均为右利手，视力或矫正视力正常，且在此之前不曾服用任何会影响脑电信号记录的药物，没有精神疾病史。实验数据通过NeuroScan脑电记录仪记录脑电信号，采集通道为64导连。电极排列位置根据国际10-20系统标准放置，电极阻抗均调至5 kW以下。
2基于Double-ICA的数据预处理研究
ICA的基本思想描述如下：设X（t）=[x1（t）， x2（t），…，xN（t）]T是N维的观测信号，S（t）=[s1（t）， s2（t），…，sm（t）]T是产生观测信号的N个相互统计独立的源信号，且观测信号X（t）是源信号S（t）经过一个未知的矩阵A线性混合而产生的，即X（t）=AS（t）。在混合矩阵A和源信号S未知的情况下，仅利用观测信号X和源信号统计的假设，寻找一个线性变换分离矩阵W，希望输出信号U（t）=WX（t）=WAs（t）尽可能逼近真实的源信号S（t）。目前所采用的ICA算法大部分是静态ICA模型和批处理优化算法的组合，即假设ICA混合模型具有非时变性，且独立源在数量和统计特征等方面保持稳定性，如Infomax算法。基于信息极大ICA算法简称Informax算法，设计原理是在线性神经网络的输入端引进非线性环节，即将线性网络的信息极大传输问题转变为非线性网络的信息极大传输问题，并采用统计梯度算法对神经网络连接权值进行调整。在低噪声的情况下，可较好地实现多路线性混合信号的盲源分离。根据信息最大传输准则，要求输出矢量y最大可能地保留输入矢量x的信息，即互信息I（x，y）最大。由信息论可知：I（x，y）=H（x） H（y）-H（x，y）（1）其中，联合熵H（x，y）=H（x）-H（n）， n为噪声干扰。因此式（1）又可以表示为：I（x，y）=H（y）-H（n）=H（Wx）-H（n）（2）由式（2）可知，互信息极大等价于输出熵H（y）最大。由信息熵理论可得：
在本文的数据处理中，进行2次ICA伪迹去除。原因是，有学者认为，运行一次ICA可以去除不好的时间段，去除坏的电极（因为通过ICA成分可以很容易将其检测出来）。如此运行2次ICA才能去除噪声，才能够获得更好、更干净的数据。处理效果图像即如图2～4所示。
3博弈活动特征向量的提取
3.1EEG信号频段划分
根据上述脑电信号的预处理，已经去除了50 Hz及以上的频率成分，把1～49 Hz按照delta、theta、alpha、beta、gamma波段分為5段。频段划分可见表2。
3.2EEG信号统计特征提取
在实现了频段划分的有效基础上，可对博弈活动进行统计学上的特征提取。提取方法如下。
（1）滤波，alpha频段、beta频段、theta频段、delta频段、gamma频段。
（2）计算每一个频段的频段能量，以及5个频段的平均能量。
（3）在每个电极上计算每个频段能量的平均值、方差、标准差、最大值、最小值。提取的特征维数总计为320，详情可见表3。
3.3EEG信号时、频特征分析
3.3.1基于AR模型系数的时域特征提取
AR模型[4]又称为自回归模型，可用如下差分方程来表示：x（n）=-∑pi=1ap（i）x（n-i） ε（n）（5）其中，ε（n）是均值为零、方差为σ2的白噪声序列， ap（i），i=1，2，…，p为p阶AR模型的阶数。在构建AR参数模型时，首先涉及到一个问题就是模型阶数的选择。阶数太高，谱估计会出现谱分裂的现象；阶数太低，又会导致分辨率较差。本文对于AR模型阶数的选择使用赤池信息准则，赤池信息准则是以最小化Kullback-Leibler信息量为基础的，研究可得KullbackLeibler信息的数学计算公式为：AIC（p）=Nlog（EP） 2p（6）使式（6）最小的p就是AR模型的阶数。下面，将利用图形来呈现不同AR阶数下AIC的取值，具体结果如图5所示。由图5可以看出，阶次6以后的AIC值变化不大，因此本文选择6阶AR模型。该模型对应的时域特征可见表4，因此一共提取了384维作为AR模型系数特征。
3.3.2基于功率谱的频域特征提取
功率谱估计[4]（PSD）是利用给定的一组样本数据估计一个平稳随机信号的功率谱密度，由其即可表征被分析对象的能量随频率分布的情况。如果已知一个随机信号x（n）的自相关函数r（k），功率谱密度函数的定义为：P（w）=∑ ∞-∞r（k）e-jwk（7）其中，r（k）=E[x（n）*x（n k）]（8）其中，E表示数学期望，*表示复共轭。每个电极上间隔200 ms求得一个功率谱均值，5 000 ms时间内共取得1 600维的功率谱特征。
综上所述，本文分别从统计、时域、频域3方面对博弈活动中的脑电信号进行了特征提取。下面将对提取到的特征开展特征融合方面的研究。
4基于CFS统计-时域-频域特征融合
4.1基于关联性的特征选择
基于关联性的特征选择[5～7]（Correlationbased Feature Selection，CFS）是以属性与类别之间的相关性以及属性与属性之间冗余度为衡量依据的，该算法具有较好的降维能力。算法通过启发式地评价单一特征对应于每个类别的作用，从而得到最终的特征子集。在此，给出评估方法如下： Ms=kcfk k（k-1）ff （9）式中， Ms为对一个包含有k个特征项的特征子集S的一次评价； cf为属性和类别之间的平均相关度； ff为属性和属性之间的平均相关度。 由式（4）可知，CFS是一种基于相关性的特征子集评价方法。由该方法计算得到的各个子集中每个属性与类别属性的关联度越大或属性之间的冗余度越小，则评价值越高。在CFS中，是利用信息增益计算属性之间的相关性大小。基于此，下面将进一步给出信息增益的计算方法。
假设属性Y，y为Y的每一个可能的取值，则Y的熵的计算方法为：H（Y）=-∑y∈YP（y）log2（p（y））（10）已知属性X，计算Y的熵的方法为：H（Y|X）=-∑x∈Xp（x）∑y∈Yp（y|x）log2（p（y|x））（11）差值的计算公式为：H（Y）-H（Y|X） （即特征Y的熵的减少量） （12）由式（12）分析可得，其结果可以反映特征X提供给Y的附加信息，由此则可称为信息增益。信息增益全面展现了属性X提供给属性Y的信息的多少，因此信息增益越大， X与Y的相关度就越高。为保证各个属性可相互比较，使不同的属性选择产生相同的效果，需要对信息增益进行归一化。
4.2结果分析
本文采用SVM分类器进行分类识别，SVM特别选用了线性核函数，如式（13）所示：k（x，y）=xTy c （13）需要指出，本文研究设计的SVM分类器对数据集进行分类识别的过程最后，是使用了留一法交叉验证。留一法交叉验证方法的实现原理可描述如下：首先，从N个观测数据集中选择一个数据作为测试数据；而后使用剩下N-1个数据训练一个模型，再用最先排除的那個观测值来验证该模型的精度，如此重复N次，求取N次识别结果的平均值。识别结果可详见表5。
5结束语
本文依据研究内容设计了基于“石头-剪刀-布”的博弈实验，并建立博弈研究的数据库。对采集到的数据经过脑电数据预览、数字滤波、转参考、脑电分段、基线校正等离线预处理操作后，使用基于DoubleICA的伪迹去除方法，去除脑电数据中的眨眼、水平眼电、垂直眼电以及不连续间断点。然后，分别提取了博弈活动中被试出石头、剪刀、布时的统计特征、AR系数时域特征以及基于功率谱的统计特征。使用CFS特征选择方法进行特征选择。最后，使用SVM进行分类识别，识别结果为83.3%。
参考文献
[1] TOYOMAKI A， MUROHASHI H. Discrepancy between feedback negativity and subjective evaluation in gambling[J]. Neuroreport， 2005， 16（16）： 1865-1868.
[2] FLEXER A， MAKEIG S. Independent component analysis of EEG recorded during twoperson game playing[J]. Applied Artificial Intelligence， 2007， 21（9）： 883-894.
[3] GALLAGHER H L， JACK A I， ROEPSTORFF A， et al. Imaging the intentional stance in a competitive game[J]. Neuroimage， 2002， 16（3）： 814-821.
[4] 李颖洁. 脑电信号分析方法及其应用[M]. 北京：科学出版社，2009.
[5] HALL M A. Correlationbased feature selection for machine learning[D]. Hamilton： The University of Waikato， 1999.
[6] HALL M A， SMITH L A. Feature selection for machine learning： Comparing a correlationbased filter approach to the wrapper[C]// Twelfth International Florida Artificial Intelligence Research Society Conference. Orlando， Florida， USA：ACM， 2010：235-239.
[7] 孙宁青. 基于神经网络和 CFS 特征选择的网络入侵检测系统[J]. 计算机工程与科学， 2010， 32（6）： 37-39， 117.