电磁频谱数据的关联规则挖掘

王圆春 肖东 林云*

（1.中国电波传播研究所,青岛 266107；
2.哈尔滨工程大学信息与通信工程学院,哈尔滨 150006）

随着无线电技术的不断发展，各类无线电业务层出不穷，台站数量也在不断增加，无线电频谱资源日趋紧张，电磁环境日益复杂，研究和评估电磁无线电环境势在必行[1].无线电频谱资源看不见摸不着，但频谱资源极其重要，在军用和民用领域都必不可缺.频谱信息挖掘技术通常使用人工智能、机器学习、模式识别等手段对频谱进行统计分析，实现频域、时域和空域上的信息挖掘，包括异常信息、业务信息和电磁空间信息等[2].关联规则挖掘是数据挖掘中一种比较常用的方法，利用关联规则挖掘可以从拥有大量数据的数据库中提取置信度高且有意义的规则，从而达到数据挖掘及信息获取的目的.基于关联规则挖掘的优势，通过使用关联规则挖掘来分析频谱信息可以发现频谱感知数据中的隐含知识，反映各个电磁概念出现的频次，提高频谱感知数据的利用率，评估无线电电磁环境，如机场电磁环境、实验室电磁环境和军用领域电磁环境等.

电磁频谱挖掘方面已有众多的研究，文献[3]提出基于海量的频谱数据挖掘来研究电磁环境，实现了频谱使用规律挖掘与预测，以及网络化通信关联规律挖掘.文献[4]提出电磁大数据挖掘内容和主要处理技术，主要的挖掘内容包括目标电磁特征、平台活动特征、系统运用特征，主要技术包括决策树、聚类、支持向量机(support vector machine，SVM)、频繁项集等.文献[5]探究了数据挖掘技术在频谱监测数据中的应用，主要应用有异常无线电信号检测和授权用户业务核查.文献[6]实现了无线电监测与管理中电磁态势感知的可视化分析.

本文从电磁频谱挖掘信息出发，提出了基于模糊关联规则挖掘的频谱信息关联分析，将各类的频谱信息构成概念库[7]，并通过模糊隶属函数将概念库映射成为模糊概念库.模糊集的构建能改善传统多值型概念进行硬阈值划分时的边界信息丢失问题.构建好的模糊集即可通过改进的Apriori 算法进行关联规则的挖掘.文中对电磁频谱数据信息中的异常信息、底噪信息、占用度信息等的挖掘模块都具有创新性，得到更具研究应用价值的有用信息.文中提出了改进的算子选择策略和隶属函数参数，分析了各种信息之间的关联关系，得出了各类信息之间的强关联规则.根据电磁频谱的强关联规则可以有效分析各类频谱信息之间的相关性，同时强关联规则反映了电磁环境中各类信息出现的频次，通过单对单和多对多的关联规则，可以找到电磁频谱采集地点的频谱规律，多角度、多方面地分析电磁频谱隐含规律，为电磁频谱监控和电磁环境研究提供了有效的分析手段.

综上，基于关联规则挖掘的电磁频谱数据分析主要是为了更好地研究频谱资源信息和电磁环境评估等问题，该方法通过电磁频谱信息的强关联规则来对电磁频谱信息进行研究和分析，并评价电磁环境的好坏，针对特定的电磁环境可以有不同的分析策略，即通过选取不同的电磁信息来进行关联规则的分析.

电磁频谱数据是多维度的数据，包含时域、频域、空域、能域4 个维度的信息.频谱数据中蕴含了很多有用的信息.频谱数据可能出现异常，异常信息是保证频谱信息可靠的关键.如果要从频谱数据中获取环境中背景噪声的变化规律，需要对频谱中的底噪信息进行获取.从应用角度出发，还可以挖掘信道的占用度信息.

1.1 异常信息

近几年来，业余无线电台、无人机、无线通信设备的个人使用情况越来越普遍，而由于缺乏对电磁空间安全的认识，非法入侵其他无线通信频段的事例时有发生，甚至屡屡出现无线电受到干扰的情况.

频谱异常指在一定时间、一定频率范围内，观察对象的能量持续偏离某一范围，则认为在该范围内频谱存在异常[8].频谱异常检测能检测出频谱的非法占用，如“黑广播”等.本文从时、频、能3 个维度去分析频谱异常.首先，频谱数据在一段时间或某频率范围内能量持续偏离正常范围则认为存在异常.从能域角度出发，如果将频谱数据中的每一个点都进行排序，其中较大和较小的那一批点可以被确立为疑似异常点.对于样本点的异常，可以从时、频、能多维度和样本内数据组成判断是否为异常的样本点.

对于异常的检测有许多方法但需要根据具体的情况来选择合适的检测方法.例如统计检测方法具有复杂性低、效率高等特点，其适合检测浅层异常.基于距离的异常检测方法也是较常用的方法.

本文提出频谱样本内异常检测方法，通过基于四分位距和马氏距离的异常检测相结合的综合检测来获取异常信息.通过基于四分位距的统计检测方法获得样本内的异常分数[9]，统计出各个样本内的四分位距值，定义各个样本点距离样本中位数的距离与样本四分位距的比值为异常分数：

式中：Sabno1表示频点内异常分数；
xij为频谱矩阵中第i行第j列的样本点；
xi·为频谱矩阵的第i行；
quantile(xi·,d)为 样本xi·中 大小排序在d处的数据大小；
iqr(xi·)为 样本xi·的四分位距值.

本文采用基于马氏距离的异常检测方法获得样本间的异常分数[10].基于马氏距离的异常检测方法通过检测各样本与各样本均值之间的马氏距离来得出异常分数，马氏距离越大，异常分数也越大.计算式为

式中：Sabno2为频点间异常分数；
Md(xi,u)为频点与频点均值之间的马氏距离；
k为常数，k＞0.

1.2 底噪信息

电磁噪声广泛存在于环境中，处于电磁环境中的各种电子设备，都在一定的电磁噪声环境中工作.目前由于用频设备剧增，环境因素恶化，无线电业务的迅猛发展，各个频段内的电磁噪声情况恶化，各频段内的噪声干扰严重.在频谱监测的任务中有一项是为了分析电磁噪声环境状况[11]，频谱监测时会接收到环境中的背景噪声，但是在没有直接测量底噪的检测器存在情况下，普通的频谱数据只能作为模拟底噪的信息源.所以一般提取底噪信息的方法精度很低.本文使用拟合方法来获取底噪信息，对频谱数据中的低能量底噪进行保留，对于无法准确获得的底噪数据进行拟合，以获得尽可能真实的底噪数据.

本文选择4 阶傅里叶级数进行底噪拟合，拟合模型为

拟合得到的底噪数据随时间变化，将底噪数据的峰值和峰谷之差定义为底噪的波动程度.底噪在一个频点内波动越大说明该频点的噪声变化越明显.底噪波动程度的计算公式为

1.3 占用度信息

频段占用度指在监测时间内，使用监测接收机或频谱分析仪对某一频段用固定的步进顺序测量，可反映衡量信道占用情况及频谱利用率，其测量结果可以为频谱管理人员提供频谱实际使用情况，方便频谱管理人员指配频率，同时还可以为频率主管部门提供频谱使用趋势的信息.频谱占用状态分为两种：占用状态与空闲状态[12].当某个信道某个时刻的信号值大于占用度门限值，认为此时该信道被占用，用“1”表示；
反之，认为信道此刻处于空闲状态，用“0”表示.占用状态为

式中：CS为信道的占用状态；
Pc为频谱的功率值；
P0为信道占用度阈值.只有保证了占用度阈值的准确性，才能保证占用度挖掘结果的可靠性.阈值设置太高，会遗漏信号；
阈值设置太低，会混入噪声.实际过程中阈值往往是估计得到的，本文依据底噪波动程度选择占用度阈值，以底噪的峰谷向上增加3～ 5 dB 作为阈值门限.

频谱占用度又可以分为频段占用度和时隙占用度，频段占用度为本文的研究对象.实际研究中，频率点代表频段，需分析频段中信号有多长时间超过占用度阈值.频段占用度用O表示，其含义为超过占用度门限的抽样点数N与该频段中的总抽样点数M之比：

本文将频段占用度作为一个关联规则挖掘中的概念，频段占用度分数值S与频段占用度成正比：

式中，k为常数，且k＞0.

1.4 预定时间功率值

预定时间功率值作为频谱信息之一，描述待研究电磁环境中可能存在的特殊情况，如特定时间内的电磁现象.本文选择3 个特定的时间段来得到3 个预定时间功率值分数：

式中，P1，P2，P3为3 个预定时间的功率值.

关联规则挖掘可以揭示大量数据中的隐藏关联模式，这些关系可以称为关联规则(Association rules)，包含了多个事物之间的关系[13]，还可以表明概念在数据库中所占的比例，帮助我们找到更有“价值”的概念.同时，关联规则挖掘可以快速处理大量的数据，是一种高效分析大量数据的手段.

2.1 基本概念

选好要进行挖掘的数据构成数据库D.数据库D由大量事务组成，每种事务又包含了很多项目，即D={t1,t2,···,tn}，ti为事务，i=1,2,···,n.对于任意的事务ti有ti={i1,i2,···,ip}，对于不同的ti，p也可能是不同的.设I={b1,b2,···,bn}为D中全体项目组成的集合，I的任意子集称为D中的项目集，若某子集包含k个项目，则称该子集为k-项目集.

数据库中的项目代表的是某一概念或属性，而事务代表的是记录.对应于电磁频谱信息概念，电磁频谱信息概念构成的数据库记为De，事务t即每个频点的概念记录值，即每个频点都会有包括异常信息、底噪信息、占用度信息、预定时间功率信息等.而项目b指的是概念，即异常信息、底噪信息、占用度信息及预定时间功率信息其中的一个.可以看出数据库De中包含了频谱数据挖掘中得到的所有信息，包括未丢失信息.

2.2 支持度和置信度

在得到数据库De后，还需要引入两个概念，分别为支持度(support)和置信度(confidence).

支持度指某一项目集在整个数据库中所占的比例，项目集X在数据库所占的项目数称为X的支持数，记为Xsup.定义项目集的支持度为

式中，|D|为数据库中的记录数.

支持度实际指某个项目集的频繁程度.如果某些项目在所有记录中出现的平均次数越多，说明这些项目的频繁程度越高，需要重点考虑，着重研究.

关联规则的支持度代表该关联规则在数据库中出现的频繁程度.因为关联规则是多个事物之间的关系，只考虑一个项目集肯定是不够的，若X、Y都是数据库中的项目集，且X∩Y≠Ø，前面提到项目代表的是概念或属性，两个项目集有交集意味着两者都关联.形如X⇒Y的蕴涵式称为关联规则，关联规则的支持度用同时包含两个项目集概念的项目集支持度表示：

通过关联规则可以引出两个项目集的置信度概念：

从式(13)可以看出，置信度反映的是两个项目集之间的关联，指在X的条件下同时包含X与Y的项目集占X的比例.这一概念有点类似条件概率，即在条件发生的情况下目标发生的概率.由置信度的概念可知，置信度大的关联规则代表两个项目集之间的关联强，置信度小的关联规则代表两个项目集之间的关联弱.

2.3 频繁项集与强关联规则

2.3.1 频繁项集

为区分出现频繁的项目和不频繁的项目，给出频繁项集的概念，频繁项集指的是支持度不小于最小支持度的项目集.即：

式中：minsup为 最小支持度；
为频繁项集，对于小于最小支持度的项集，称为非频繁项集.由集合理论，设X、Y都是数据库中的项目集，可以得出以下结论：

1)若X⊆Y,则S upport(X)≥S upport(Y)，即项目集的子集项目数必定小于等于原项目集；

2)若X⊆Y，当X为非频繁项集时，则Y也是非频繁项集；

3)若X⊆Y，当Y为频繁项集时，则X也是频繁项集.

通过上面结论可以简化频繁项集的寻找过程，可以过滤掉本来就是非频繁项集的子集，或不去考虑子集已经是频繁项集的项目集.

2.3.2 强关联规则

强关联规则即满足最小支持度和最小置信度限制的关联规则：

式中，mincon f为最小置信度.强关联规则需同时满足式(14)与(15).

强关联规则是一般关联规则挖掘算法研究的核心内容，是一般关联规则挖掘的对象.通过找出这些强关联规则来分析各种概念之间的关联关系.对于支持度太小或者置信度太小的关联规则，一般的关联规则挖掘中不予考虑.

3.1 Apriori 算法

Apriori 算法是关联规则挖掘算法中最为经典的算法，由Agrawal 等人于1994 年提出[14].Apriori 算法利用频繁项集的先验性质(即频繁项集的非空子集一定是频繁的)通过逐层搜索的方法，通过k项集搜索(k+1)项集.首先，通过扫描数据库，累计每个项的计数，并收集满足最小支持度的项，找出频繁1-项目集的集合，该集合记为L1；
然后使用L1找出频繁2-项目集的集合L2，使用L2找出L3；
以此类推，直到不能再找到频繁k-项目集.每找出一个Lk需要一次数据库的完整扫描.Apriori 算法流程如表1 所示.

表1 Apriori 算法流程Tab.1 Apriori algorithm flow

Apriori 算法是挖掘单维布尔关联规则的一种重要方法，但也存在一定的局限性.首先，Apriori 算法有两大缺点：一是产生了大量的频繁集，二是重复扫描数据库，导致Apriori 算法的效率很低，可以改进算法实现更高效的挖掘模式.并且Apriori 算法的挖掘对象只能是布尔型对象，而现实中的对象多为多值型对象，需要其他方法来改进挖掘对象和挖掘算法.

3.2 FP-tree 算法

针对Apriori 算法执行效率很低的问题，J.Han等人于 2000 年提出了不产生候选频繁项集的方法，即FP-tree 算法[15].

该算法直接将事务数据库压缩成一个频繁模式树，然后通过这棵树生成关联规则.

FP-tree 算法跟Apriori 算法一样，都必须事先设定最小支持度阈值，然后利用此阈值进行筛选.基本思想是: 首先扫描整个事务数据库一次，生成频繁1-项目集，并把它们按降序排列，排除支持度计数值小于最小支持度的项，产生结果集L；
然后按照项集描绘出一棵FP-tree，同时依然保留其中的关联信息；
最后再扫描事务数据库一次，由下往上循序进行挖掘，删除FP-tree 中的子节点，即可产生所需要的频繁模式.

FP-tree 算法只需对事务数据库进行二次扫描，避免产生大量的候选集.但由于该算法要递归生成条件数据库和条件FP-tree，内存开销大，只能用于挖掘单维的布尔关联规则.

真实世界的属性一般都为多值属性，如信号功率、占用度等.传统的Apriori 算法和FP-tree 算法都只能处理布尔型的数据，即“0，1”数据.模糊关联规则挖掘算法对多值数据进行模糊化，并在传统算法的基础上对支持度、置信度等概念进行改进，适用于频谱信息挖掘.

4.1 模糊集构建

对于多值数据，如果需要采用传统的模糊关联规则挖掘方法进行处理，就必须进行划分.选定一个阈值，将大于阈值的数据的值置为“1”，小于阈值的值置为“0”.“1”意味满足该概念，“0”意味不满足该概念.这种区间的精确划分将导致区间边界比较尖锐，可能会导致区间边界附近的信息丢失.针对此问题引入模糊集合理论，模糊集合也是一种集合理论，但模糊集合可以用隶属函数来表征，值域为[0，1].隶属函数可以将属性转换为模糊属性，这样多值属性区间过渡比较平滑，可以减少区间边界信息丢失的现象.

对事务Ii进 行模糊处理，模糊函数为Fi(x)，则模糊化的过程可表示为

经过模糊化后的数据库可表示为Dfuz，即模糊集.

4.2 模糊支持度和模糊置信度

经过模糊化后，数据库中的元素的表示形式不再是值域为{0，1}的二值数，而是值域为[0，1]的模糊数.经典关联挖掘理论中的支持度和置信度概念就需要重新定义.先来看经典挖掘方法用二值数形式表示的支持度与置信度，设矩阵T代表数据集D的二值形式：

式中：矩阵T的行代表项目，列代表事务；
xij为二值数，代表第i个项目中是否具有事务j.记具有事务集X中全部事务的项目数为S，则某个事务集X的支持度可表示为

当xij为模糊数时，明显不能使用上述的计算方法.下面介绍几种常用的处理模糊关联规则中支持度和置信度的方法.

第一种是对经典的支持度和置信度进行概念扩展，通过阈值将模糊值问题转化为经典的二值问题.模糊项集X={x1·,x2·,···,xp·}，xi·表示第i条记录，第i条记录对项集X的支持度为

式中：符号 ×表示直积运算，选取的t-模算子为直积，也可以选择取小，符号∧表示取小运算；
λ为阈值.相应的，模糊项集X在D中的支持度定义为

第二种方法是直接使用xi1×xi2×···xin或xi1∧xi2∧···xin的值作为每一条记录对项集X的支持度，计算项集X对D的支持度为

第三种方法利用模糊逻辑中的近似推理，判断候选模糊关联规则蕴涵度的大小.这一方法利用支持度和由模糊蕴含算子 (fuzzy implication operator,FIO)定义的蕴涵度来进行模糊关联规则挖掘.

4.3 改进的t-模算子选择策略

假设有模糊库D如表2 所示，通常选择式(21)所定义的支持度计算方法来衡量模糊库中的模糊项集的支持度.

表2 模糊库DTab.2 Fuzzy database D

记X={x1,x2}，记录1 对X的支持度为S up(X)1=0.1×0.9=0.09，记录2 对X的支持度为S up(X)2=0.1×0.2=0.02，不符合支持度的意义，故选用取小算子，记录1 和记录2 对X的支持度则都是0.1，更为合理.而对于记录3 和记录4，选择直积算子和取小算子差别不大.故本文提出新的t-模算子选择策略，即对于事务集中每条记录，若任意属性值小于等于参数 α，则选用取小算子，否则选择直积算子.

4.4 改进的模糊隶属函数

由频谱数据挖掘得到的频谱信息需要进行模糊化才能进行模糊关联规则挖掘.模糊化的关键在于选择合适的隶属函数，而在频谱数据的关联规则挖掘中，隶属函数中的参数由已构建的模糊库确定.但是电磁环境本身的特性很难用短时的模糊库进行描述，所以需要选用长时间的大尺度下的参数来构造隶属函数.假定有两个模糊库D1和D2，D1中同一属性的属性值小于D2，两者属性值的分布相同，假定S up(X)1=0.5，X为某一事务集.表3 中给出了在偏小梯形隶属函数下两种参数选择导致的事务集X支持度差异.当模糊库中的数值整体偏大或偏小时，通过短时参数确定的模糊值可能相同，而长时参数能区分这种差别.

表3 两种参数的差异Tab.3 Difference between the two parameters

本文中选择偏小梯形隶属函数，将通常使用的短时参数替换为大尺度参数，其函数表达式为

式中：a和b的取值可以根据专家经验和大数据统计确定，与短时的模糊库无关；
μA为大尺度参数下的隶属函数值.

因为选择的隶属函数为偏小型函数，故某一概念模糊值的大小代表了这条记录小的程度，即模糊值与记录值小的程度成反比.

为研究频谱数据中关联规则挖掘的效果，实验中对一个实测数据集进行异常检测、底噪挖掘、占用度分析、模糊集构建、关联规则挖掘等一系列挖掘流程.

5.1 数据集介绍

实验数据集为在伊利诺伊理工学院(IIT)的无线网络和通信(WiNCom)研究中心建立的基于专用频谱分析仪的连续宽带频谱观测站的开源实测频谱数据集.该频谱数据集采集地点为芬兰图尔库市的一个单一固定地点，数据集详细信息见表4.

表4 数据集信息Tab.4 Dataset information

5.2 参数设置

参数k对挖掘结果无影响，为了简便起见，取参数k=1.依据实验需求，最小支持度为0.3，最小置信度0.5.实验数据底噪波动较大，根据底噪波动程度越大占用度阈值应越高的原则，占用度阈值取底噪峰谷加5 dB，参数 α是算子策略的阈值，取0.1.

5.3 频谱信息获取

由前面的分析可知，频谱信息包括了异常信息、底噪信息、占用度信息、预定时间功率信息.本文以每个频点作为关联规则挖掘中的事务，即一个频点的数据一条记录，而以表5 所示的7 个概念作为关联规则挖掘中的项目.

表5 概念集Tab.5 Concept set

异常检测中得到频间异常程度和频内异常程度，底噪挖掘中得到底噪波动程度，频点占用度由占用度挖掘得到，预定时间段功率值由对频谱进行时域平均得到.得到的频谱信息数据集如表6 所示，给出的是前10 条事务.

表6 频谱信息集Tab.6 Spectrum information set

从获取的频谱信息中乘上相应的常数k可以获取频谱信息分数.

5.4 模糊关联规则挖掘结果

通过频谱信息分数进行模糊关联规则挖掘，选择长时参数构建隶属函数，挖掘信息分数进行模糊化后得到频谱信息模糊集，如表7 所示.可以看出，各个概念中的多值型数据都转化为模糊值，模糊值越大，对应概念较小的程度越高.

表7 频谱信息模糊集Tab.7 Spectrum information fuzzy set

实验中分析了支持度优先和置信度优先两种需求下的强关联规则，验证了4.2 节中的第二种支持度下的模糊关联规则挖掘算法.取支持度或置信度最高的前三条关联规则.将表5 中的七个概念记为S1，S2，…，S7，实验结果如表8 所示.

表8 关联挖掘结果Tab.8 Association mining results

表8 中Si-＞Sj表示概念Si与Sj的关联规则，其中每条关联规则包括了两个项目集，括号内第一个参数为关联规则的支持度，第二个参数为关联规则的置信度.从实验结果可以得出以下结论：

在该电磁环境中：

1) 占用度低，频间异常程度低；

2) 占用度低，底噪波动程度低；

3) 频间异常程度低时，占用度低的可信度最高.

其他特征之间的关联规则可以依据其他关联规则进行判断.

5.5 相关方法与模糊关联规则挖掘的比较

相关方法使用相关系数衡量各种概念之间的相关性，是一种常用的相关性衡量方法.但是相关方法比较于模糊关联规则挖掘方法有几个缺点：相关系数只能描述两个概念之间的相关性，而模糊关联方法可以描述多个概念之间的相关性；
相关方法反映的是相互关系，不能比较两个不同概念的先后影响，模糊关联方法可以体现某个概念的出现频次，即占用度.

针对频谱数据，本文研究了频谱数据的关联规则，探究了频谱数据的异常检测、底噪挖掘、占用度分析等环节，得到频谱数据信息.提出改进的算子选择策略，并使用长时参数来改进短时参数带来的局限性，将各种信息当作关联规则挖掘中的概念，通过构建模糊集，将各种频谱数据信息进行模糊化，模糊化后的频谱信息作为模糊关联规则挖掘算法的输入.强关联规则能很好地揭示各种电磁概念之间的隐含联系，为电磁数据挖掘工作减少工作量，也可以起到全面评价电磁环境的作用.基于模糊关联规则挖掘的分析方法可以得到各种电磁参量的关联关系，改进了单独分析各种电磁频谱信息的研究中各类频谱信息关联薄弱的问题.且这种模型使用起来非常灵活，只需要改变对应的频谱概念即可重新进行评估，不需要改变关联规则的框架，通过改进隶属函数参数可以比较不同短时数据集的挖掘结果，即这种方法对研究电磁频谱信息挖掘和电磁环境评估具有很强的普适性.但是频谱挖掘理论还是存在一定未解决的问题，首先是电磁频谱信息获取过程中各种阈值的选择需要依靠经验来进行判断，需确认是否合理.而模糊关联规则挖掘算法中所用的隶属函数所采用的t-模算子，在电磁频谱挖掘中没有确切的参考类型选择，需要根据实际情况进行判断.

综上，频谱数据的关联规则挖掘具有很好的研究价值和研究意义，但是相关的理论还有进一步研究和进步的空间.在之后的工作中还需要对其进行进一步的研究.