基于FPGA的空间太阳磁像仪自校正稳像系统研制*

白阳 林佳本 王东光 邓元勇

(1 中国科学院国家天文台 北京 100101)

(2 中国科学院太阳活动重点实验室 北京 100101)

(3 中国科学院大学 北京 100049)

磁场是太阳物理研究的第1观测量,太阳磁像仪是对太阳磁场进行观测研究的核心仪器.随着太阳物理研究的深入,对太阳磁场观测数据提出了越来越高的要求,因此,具备高时空分辨率、高偏振测量精度的空间太阳磁像仪成为目前太阳磁场研究的重要方向,例如SOHO (Solar and Heliospheric Observatory)上搭载的MDI (Michelson Doppler Imager)[1],Hinode卫星上搭载的SOT (Solar Optical Telescope)[2],SDO (Solar Dynamics Observatory)上搭载的HMI (Helioseismic and Magnetic Imager)[3],SO (Solar Orbitor)上搭载的PHI (Polarimetric and Helioseismic Imager)[4],以及目前怀柔太阳观测基地主持研制的先进天基太阳天文台上的全日面矢量磁像仪(Full-disk Magneto-Graph,FMG)[5]载荷.近年来深空太阳探测成为空间太阳观测的热点方向,国内正在开展极轨、环黄道面、L2点等深空探测任务的论证工作,因此为深空太阳磁像仪研究一种轻量化、高可靠的软件稳像观测技术方案成为当务之急.

在太阳磁场观测中,微弱磁场有几高斯[6],需要多帧短曝光数据通过深积分来获得高灵敏度的磁场数据,而载荷在卫星平台上,会受到卫星姿态变化、卫星平台和仪器设备的振动等因素的影响,导致CMOS (Complementary Metal Oxide Semiconductor)探测器靶面上的图像出现抖动、模糊,影响空间分辨率.目前太阳磁像仪通常使用相关跟踪器[7-8]或边缘探测器[9-11]消除图像位移,保证磁场测量的精度,其中边缘探测器多应用于全日面观测,而对于局部区域磁场的稳像观测,则需要相关跟踪器来实现.自1987年Edwards等[12]将相关跟踪技术引入到太阳望远镜上并实现图像稳像的功能后,NSO/KIS (National Solar Observatory)[13]、IAC (Instituto de Astrof isica de Canarias)[14]、THEMIS(T´elescopeH´eliographiquepour l’Etude du Magn´etisme et des Instabilit´es de l’atmosph`ere Solaire)[15]、BBSO (Big Bear Solar Observatory)[16]以及SVST (Swedish Vacuum Solar Telescope)[17]等设备上也采用相关跟踪稳像技术.国家天文台怀柔太阳观测基地于1998年第1次采用后处理的方式实现了相关跟踪算法,经过多次升级改造,于2012年实现了一个基于GPU(Graphics Processing Unit)的太阳磁场实时相关跟踪图像处理系统[8],并在怀柔观测基地稳定运行.在空间设备上,SOT[3]搭载的空间太阳望远镜也采用基于相关跟踪器的技术方案研制了稳像系统.

因此,针对太阳磁像仪空间化的关键技术-自校正稳像观测方法提出了基于现场可编程门阵列(Field-Programmable Gate Array,FPGA)和数字信号处理器(Digital Signal Processor,DSP)的软件处理算法: 通过固化在DSP芯片上的图像稳像模块实现对观测图像位置偏移实时校正和深积分计算;另外,通过固化在FPGA芯片上的相机和KD*P(磷酸二氘钾)高压控制模块、数据采集模块实现偏振调制和数据交替采样; 最后,为了开展地面实测设计了地检软件系统,在上位机控制模块一键获得太阳磁场数据,从而实现太阳磁场的高分辨观测.该方案不仅为深空太阳磁场观测设备提供了一种轻量化、高可靠的软件稳像观测技术方案,积累宇航产品研制经验,而且为地基太阳磁场观测提供了新型的、不依赖于操作系统的观测系统.

在太阳磁像仪的工作过程中,稳像系统的工作频率不应低于相机采集频率,以保证数据的实时处理; 另外,依据深空探测卫星系统对载荷重量、尺寸严苛的要求,需要考虑硬件设备在轨运行的可靠性和稳定性.经过分析,在FPGA和DSP芯片上编写高性能软件算法可以有效实现基于相关跟踪法的实时稳像观测.其中,在FPGA芯片上实现偏振调制和数据交替采样,在DSP芯片上实现对观测图像位置偏移实时校正和深积分计算.

2.1 系统结构

2.1.1 系统硬件设计

在总结当前应用于望远镜系统中各种稳像设备的基础上,综合考虑宇航级器件的工作能力,选择在FPGA芯片和DSP芯片上分别实现数据采集和数据处理功能.在调研当前宇航级芯片处理能力后,选用与宇航级设备性能接近的Kintex-7 FPGA芯片和TMS3206678 DSP芯片实现稳像系统的设计,FPGA和DSP端硬件性能参数分别如表1-2所示.稳像系统实验平台搭建如图1所示,稳像系统以FPGA芯片和DSP芯片为核心进行数据处理,使用串行高速输入输出(Serial Rapid Input Output,SRIO)实现嵌入式系统互连,使用TL288A图像采集卡与CMOS相连接进行数据采集,使用网络端口与上位机连接进行数据的保存与显示.

图1 稳像实验平台Fig.1 The experiment platform of image correlation system

表1 FPGA性能参数Table 1 The performance parameters of FPGA

2.1.2 软件工作流程

表2 DSP性能参数Table 2 The performance parameters of DSP

依据选用的芯片和设备,完成了太阳磁像仪自校正稳像观测系统硬件链路的设计和搭建后,在FPGA+DSP硬件系统上设计高精度稳像算法.首先,在FPGA芯片上实现KD*P高压偏执和CMOS相机采集的同步控制,实现数据的交替采集; 然后,在DSP芯片上实现稳像处理算法,实现图像数据的稳像和积分; 最后,为了对系统进行地面验证试验,在上位机PC端设计观测软件,实现数据的保存和显示.系统工作流程如图2所示.

图2 稳像系统工作流程图Fig.2 The work flow chart of image correlation system

2.2 FPGA设计

系统的数据采集需要实现从望远镜磁像仪光信号到电信号的变换、调制、交替采样,因此我们通过FPGA软件完成对相机和KD*P高压控制、图像数据处理、FPGA通信功能3个模块的设计.使用Vivado 2015.2进行软件的编译和调试,程序代码采用Verilog HDL语言编写.

2.2.1 相机数据输入设计

FPGA芯片上的图像数据转换主要是对通过Cameralink采集卡采集的图像数据进行解码,依照DS90CR288A芯片手册和Cameralink协议规范,可分离出行有效信号、帧有效信号、数据有效信号和像素数据,并根据帧有效信号和行有效信号,将图像数据写入FIFO(First Input First Output)中,保存到DDR3 (Double Data Rate 3)内存上,如图3所示.

图3 图像数据转换流程Fig.3 The data conversion process

2.2.2 相机曝光与KD*P高压控制

根据太阳磁像仪的工作原理,要实现磁场测量需要保证对左旋光和右旋光分别进行积分,然后根据公式计算获得太阳磁场.因此在磁场观测过程中,KD*P高压控制和相机曝光要实现同步配合,才能保证获取的磁场数据有足够的灵敏度[18-20].在本系统中,通过在FPGA芯片上同一个晶振信号输出,使KD*P高压控制信号与相机控制信号完成同步,两信号之间设定2 ms延时,在KD*P电光晶体完成偏转后进行曝光,以完成太阳偏振像的采集.相机触发信号与KD*P高压控制信号波形如图4所示.

图4 示波器信号显示界面: 相机触发信号(CH2)与KD*P高压控制信号(CH1).Fig.4 The signal display interface of oscilloscope: camera trigger signal (CH2) and KD*P high-voltage control signal(CH1).

2.2.3 FPGA内存数据管理

FPGA通信功能模块主要功能是建立FPGA与DSP间的通信功能,以便于将FPGA缓存的数据传输至DSP芯片的DDR3上.在FPGA存储满一帧图像后,通过RapidIO (Rapid Input Output)端口发送图像数据至DSP存储器,通过数据判断将左右旋数据分别存储到不同地址空间上,并发送Doorbell(门铃)信息通知DSP芯片读取内存相应地址数据,保证数据不互相干扰.本系统基于FPGA设计SRIO IP (Intellectual Property)核实现图像数据的输出功能,使用2X模式,每个通道的速率为5 Gbit/s.

通过上述硬件系统设计,在FPGA芯片上可以实现太阳偏振像的实时采集和转发,以便于图像数据在DSP芯片进一步处理,使空间太阳磁像仪自校正稳像系统具备实时观测的硬件能力.

2.3 DSP设计

为了获取灵敏度足够的磁场数据,需要通过图像稳像算法在数据深积分前进行图像偏移量计算,实现图像偏移纠正,将采集到的数据进行配准并叠加计算,获取高灵敏度的观测数据.因此需要通过DSP软件完成对稳像算法模块和DSP通信功能模块2个模块的设计.使用CCS(Code Composer Studio) 7.4.0进行软件的编译和调试,使用C语言编写程序代码.目前,对于像素大小为1 K×1 K的太阳单色像,每个核可以在1 s内完成10个图像的处理并叠加,以实现系统设计中所需求的20 fps的处理速度.

2.3.1 稳像算法实现

基于DSP的图像处理算法主要包含有稳像算法和深积分算法两部分,其中稳像算法的核心运算是相关跟踪算法,即求参考图像与活动图像的互相关函数.对于给定尺寸大小为M ×N的两张图像h(x,y)、g(x,y),x、y分别为其横纵坐标值,x=0,1,2,···,M-1;y=0,1,2,···,N-1.两幅图像的相关函数定义如下:

式中,Rhg(m,n)为h(x,y)与g(x,y)的相关函数,m=0,1,2,···,M-1;n=0,1,2,···,N-1.H(u,v)是h(x,y)的傅里叶变换形式,G*(u,v)是g(x,y)的傅里叶变换的共轭变换,u=0,1,2,···,M-1;v=0,1,2,···,N-1.然后,将相关函数计算结果R(u,v)取傅里叶逆变换,其矩阵中的最大值元素所在的位置即是两幅图像相关性最强的位置,计算图像偏移量.在通过图像偏移量纠正图像错位后,对数据进行叠加处理获得深积分图像数据.相关跟踪算法流程如图5所示.

图5 相关跟踪算法流程图Fig.5 The flow chart of correlation tracking algorithm

当前采用32×32窗口进行互相关运算时单帧图像相关运算和深积分运算的平均时间消耗为72.9 ms,可以完成单核10 fps的处理任务,实现20 fps的实时稳像观测指标.

2.3.2 DSP观测调度算法实现

基于DSP芯片的通信设计主要分为3个部分:DSP与FPGA之间的通信、DSP核间通信、DSP与PC机间的通信.

(1) DSP与FPGA之间内存数据管理

DSP芯片与FPGA芯片之间的通信是通过门铃来进行控制的,DSP芯片Core0核接收到的图像数据由两种门铃中断信息判断,分别存储到DDR3内存的两个不同地址上,由此将采集到的左右旋图像分别存储,以便后续操作.

(2) DSP核间同步调度

TMS320C6678采用基于KeyStone架构的核中断控制器INTC (Interrupt Controller)、激活处理器触发相应的中断服务程序来完成通信.DSP芯片上Core0核在接收到FPGA门铃信息后,通过判断分别激活Core1核和Core2核,进行图像处理.在Core1核和Core2核完成图像处理进程后,发送中断信息到Core0核进行下一步判断处理.

(3)观测调度实现

DSP芯片和PC机之间通过TCPIP (Transmission Control Protocol/Internet Protocol)建立数据通信,在Core1核和Core2核发送的中断信息中判断达到深积分设定的数量后,通过网络端口将图像数据发送到PC端.

2.4 上位机软件设计

综合观测需求,在PC端设计了地检控制软件来辅助进行系统地面测试,地检控制软件为如图6所示的磁场观测控制软件,该软件用于指令发送和接收保存采集到的图像数据,且能显示当前目录中数据的磁场图像.

图6 磁场观测软件界面Fig.6 The interface of software for magnetic field observation

地检软件通过指令控制DSP程序初始化,用来配置网口信息、开窗位置等参数; 然后建立TCPIP协议,通过网口接收由DSP端发送出的图像数据.在软件内集成磁场数据生成的算法,可以在软件内显示磁场图像,磁场计算如下所示:

式中,mag是太阳磁场的磁场强度,I+是左旋图像数据的深积分结果,I-是右旋图像数据的深积分结果,k代表太阳磁场望远镜标定系数.

3.1 稳像算法精度分析

在实际测试之前,首先要展开基于FPGA+DSP的相关跟踪算法有效性的测试,通过在实验室内进行的仿真实验来验证相关跟踪算法对图像偏移量检测的有效性和准确性.

在仿真实验中,通过对6月18日在怀柔基地35 cm磁场望远镜上观测所得的10张局部太阳偏振像进行处理,将每张太阳偏振像作为基准图像,并在[-7,7]的范围内进行步长为1的平移,获得225张待配准图像,共计获得2250张待配准图像.分别将每组基准图像和待配准图像输入稳像算法内,算得基准图像与每张待配准图像的位移量,并与手动位移量计算误差值,其中误差值的平均值均为0,综上,稳像系统可以很好地完成手动位移图像的偏移纠正.

另外,对系统的稳像算法精度进行测试,分别对经过(0.2,0.7)、(0.2,-0.3)、(-0.8,0.7)、(-0.8,-0.3)亚像素位移的图像数据进行处理,与基准图像进行相关运算后得到的位移量分别为(0,1)、(0,0)、(-1,1)、(-1,0),可以看出,系统使用的稳像算法可以实现1像元内的稳像精度,达到预期目标.

3.2 实验室实测结果

在验证算法功能有效后,在实验室内搭建平台测试实际观测情况下的稳定精度.对含有斑点的目标进行无干扰拍摄和有干扰拍摄,以无干扰拍摄数据作为基准图像,对比有干扰拍摄过程中获取到的直接叠加结果和稳像叠加结果,如图7所示; 取其中一个目标斑点进行对比,如图8所示; 取目标斑点划线,进行灰度折线图对比,如图9所示,横坐标为采样点数,纵坐标为采样点的灰度值,采用DN(Digital Number)值进行比较.

图7 测试图像: (a)基准数据,(b)直接叠加,(c)稳像叠加.Fig.7 Testing image: (a) reference data,(b) directly accumulated,(c) correlation accumulated.

图8 目标斑点: (a)基准数据,(b)直接叠加,(c)稳像叠加.Fig.8 Target spot: (a) reference data,(b) directly accumulated,(c) correlation accumulated.

图9 目标斑点特征区域灰度折线图Fig.9 The gray line chart of target spot feature area

按照半高全宽进行评价,取灰度值19000线作为阈值进行比对,其中基准图像的像素点位置范围为[23.52,56.75]; 稳像图像的像素点位置范围为[23.90,57.01]; 两者边界误差为[0.38,0.26].综合误差结果可以看出,在实际观测过程中,对于有线性偏移的目标,系统可以完成1像元以内的稳定精度.

3.3 怀柔太阳观测基地实测磁场数据结果

同时,系统在完成实验室测试后于国家天文台怀柔太阳观测基地35 cm太阳磁场望远镜上进行了试观测,获得提高了分辨率的磁场数据.添加相关跟踪算法得到的磁场图像和直接叠加得到的磁场图像如图10所示.

图10 太阳局部磁场: (a)直接叠加计算结果,(b)稳像后叠加计算结果.Fig.10 The local magnetic field of Sun: (a) direct accumulated calculation results,(b) accumulated results after image correlation.

图10 (b)经过稳像算法后获取的磁场数据比直接叠加得到的图10 (a)精度更高.图10中部分细节如图11所示,其中横线位置的灰度谱线如图12所示,经过对比,图11 (b)的精度更高,稳像处理后的数据对应的曲线具有更多的细节变化,同时,极值点处磁场强度(灰度值)更高.因此,实验结果表明该系统可以有效地计算得到图像位移量,实现图像的运动补偿,获得空间分辨率更高的太阳磁场数据.

图11 太阳局部磁场的目标特征: (a)直接叠加计算结果,(b)稳像后叠加计算结果.Fig.11 The target characteristics of solar local magnetic field: (a) direct accumulated calculation results,(b) accumulated results after image correlation.

图12 磁场强度折线图Fig.12 The line chart of magnetic field intensity

系统能够实现实时稳像观测功能,对于帧频为20 fps的1 K×1 K面阵相机完成实时稳像和积分.实验室仿真和实际测试结果表明该系统能够有效地完成太阳磁像仪自校正稳像观测,达成1像元内的稳像精度,获得了更高分辨率的太阳磁场数据.系统在脱离稳像硬件设备(如摆镜等)的前提下,依旧可以有效地获取到高空间分辨率的太阳磁场数据,有效地减少空间载荷体积和重量,形成一套可用于小卫星平台上太阳磁像仪在轨科学数据采集与处理系统.该系统的成功研制不仅可以为深空太阳磁像仪的研制提供轻量化、高可靠的精密稳像观测技术方案,也可以为地面太阳磁像仪提供不依赖于操作系统的便捷观测系统.

致谢系统的设计、调试过程中得到了中国科学院国家天文台怀柔太阳观测基地杨潇、王丙祥、汪国萍、荆帅等老师和同学们的大力协助,在此深表感谢.