• CN 62-1175/P
  • ISSN 1006-7639
  • 双月刊
  • 中国科技核心期刊
  • 中国学术期刊综合评价数据库统计源期刊
  • 中文科技期刊数据库收录期刊

干旱气象, 2022, 40(2): 333-343 DOI: 10.11755/j.issn.1006-7639(2022)-02-0333

技术报告

不同方法对青海2020年强降水模式产品预报性能的检验对比

沈晓燕,1,2, 申燕玲,1,2, 权晨1,2, 杜华礼1,2, 颜玉倩1,2

1.青海省气象科学研究所,青海 西宁 810001

2.青海省防灾减灾重点实验室,青海 西宁 810001

Verification and comparison of different methods to prediction performance of model products during the heavy precipitations in 2020 in Qinghai Province

SHEN Xiaoyan,1,2, SHEN Yanling,1,2, QUAN Chen1,2, DU Huali1,2, YAN Yuqian1,2

1. Qinghai Institute of Meteorological Science, Xining 810001, China

2. Key Laboratory for Disaster Prevention and Mitigation in Qinghai Province, Xining 810001, China

通讯作者: 申燕玲(1992— ),女,硕士,工程师,主要从事数值模式及检验工作. E-mail:330478112@qq.com

责任编辑: 蔡迪花;校对:黄小燕

收稿日期: 2021-07-13   修回日期: 2022-01-5  

基金资助: 中国科学院寒旱区陆面过程与气候变化重点实验室开放基金项目(LPCC2020007)

Received: 2021-07-13   Revised: 2022-01-5  

作者简介 About authors

沈晓燕(1992—),女,硕士,工程师,主要从事数值模式及检验工作.E-mail:1016858546@qq.com

摘要

基于多模式降水格点预报资料、青海省气象站实况资料及多源融合降水格点分析产品,针对青海省2020年7—8月强降水天气个例,采用TS(threat score)评分等传统检验方法和FSS(fraction skill score)评分及MODE(method of object-based diagnostic evaluation)空间检验方法,对比检验各模式在青海强降水中的预报性能。结果表明:(1)小雨及以上量级,欧洲中期天气预报中心(ECMWF)和美国国家环境预报中心(NCEP)全球模式、中国气象局全球同化预报系统(CMA-GFS)及GRAPES区域中尺度数值预报系统(GRAPES-Meso)的传统TS评分均较高且预报能力相差不大,但不同检验方法下评分最高的模式略有不同;(2)中雨及以上量级,各模式预报较观测普遍偏西,且传统TS评分差异较为明显,但不同检验方法下模式评分优劣表现较为一致;(3)大雨及以上量级,各模式预报较观测普遍偏北,且预报能力较差,传统TS评分为0,FSS评分有效提高了模式差异性的评估能力,MODE方法则给出了预报和观测对象属性的具体表现,但对检验参数的选取较为敏感。

关键词: 传统检验; FSS; MODE; 强降水; 青海

Abstract

Based on the multi-mode precipitation gridded forecast data, observation data at meteorological stations of Qinghai Province and precipitation gridded analysis product of CMA multi-source precipitation analysis system (CMPAS), the prediction performance of models to heavy precipitation cases in Qinghai Province from July to August 2020 were comparatively tested by using traditional verification method such as threat score (TS) and spatial verification method such as fraction skill score (FSS) of neighborhood method and object-oriented diagnostic evaluation method (MODE). The main conclusions are as follows: (1) The traditional TS scores of global model of European Center of Medium-range Weather Forecasts (ECMWF) and National Center for Environmental Prediction (NCEP), China Meteorological Administration global assimilation forecast system (CMA-GFS) and GRAPES regional mesoscale numerical prediction system (GRAPES-Meso) to light rain and above were higher, and the prediction performance difference of four models to light rain was little, but the models with the highest score under different verification methods were slightly different. (2) Compared with the observation, the forecasted locations of four models to moderate rain and above were generally to the west. The traditional TS scores of moderate rain and above were significantly different, but the performance score of models under different verification methods was relatively consistent. (3) Compared with the observation, the forecasted location of four models to heavy rain and above was generally to the north. The prediction ability of each model to heavy rain and above was poor, and the traditional TS scores of heavy rain and above were equal to 0, while FSS scores could effectively improve the evaluation ability to models difference, and MODE could give the specific performance of corresponding object attributes, which provides valuable reference for model application, but it was more sensitive to the selection of verification parameters.

Keywords: traditional verification; FSS; MODE; heavy precipitation; Qinghai Province

PDF (7919KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

沈晓燕, 申燕玲, 权晨, 杜华礼, 颜玉倩. 不同方法对青海2020年强降水模式产品预报性能的检验对比[J]. 干旱气象, 2022, 40(2): 333-343 DOI:10.11755/j.issn.1006-7639(2022)-02-0333

SHEN Xiaoyan, SHEN Yanling, QUAN Chen, DU Huali, YAN Yuqian. Verification and comparison of different methods to prediction performance of model products during the heavy precipitations in 2020 in Qinghai Province[J]. Arid Meteorology, 2022, 40(2): 333-343 DOI:10.11755/j.issn.1006-7639(2022)-02-0333

引言

随着数值预报技术的不断发展及模式分辨率的逐步提高,数值模式已成为天气预报的重要手段。预报检验是数值模式发展及应用的重要组成部分,检验能够辨析不同模式之间的客观差异[1],不仅可以反馈给模式开发者以提高其预报性能,还可以为模式应用者提供有价值的参考信息。

以往模式预报检验分析大多采用点对点的传统检验方法[2-8],如TS评分、空报率、漏报率以及HSS评分、ORSS评分、HK评分、SEDS评分[9-10]等。传统检验方法定量且易于理解,但预报时间和空间上的细微偏差均会导致漏报或空报,从而引起总体评分较低,且缺乏对预报和观测之间误差来源的详细分析,有时还与模式预报的主观评价不一致。因此,空间检验逐渐备受关注[11]。空间检验方法可分为4种类型:邻域法、尺度分离法、特征法、场变形法[12-15]。不同方法各有优缺点,邻域法也称“迷糊法”,通过对高分辨率模式预报结果滤波,获取不同空间尺度评分来体现模式预报能力[16],它通过放宽传统检验中观测与预报一一对应的要求,给予与观测场空间接近的更高预报评分,避免了将此类预报判定为无效预报[17];尺度分离法是分离出与尺度相关的误差,需要通过小波分析等空间滤波器进行检验评估;特征法是检验降水系统的宏观尺度特征,而场变形法则是对预报场进行形变以便更好地与观测场进行匹配,与特征法相比它还能够识别出预报与实况严重不符的情况,但计算过程复杂。FSS(fraction skill score)是目前应用较为普遍的空间邻域检验方法,若检验目的是为了诊断预报误差来源,则特征法更为合适,而面向对象的检验方法(method of object-based diagnostic evaluation,MODE)是最具代表性的特征法,它通过分析预报与观测对象的空间特性,有效诊断出对应组合对象的位置、大小等属性差异[18-20]。通过对比TS(threat score)评分、FSS评分、MODE方法在模式降水预报性能检验中的应用,发现传统检验方法虽然有一定的缺陷,但能够得出模式预报的整体性能,故而仍然具有一定的适用性[21-26];在降水量级较小情况下FSS评分与TS评分的评估效果相差不大,但在降水量级较大时TS评分不稳定,而FSS评分依旧可以区分不同条件下模式预报性能[27],且可以判别预报效果较好的空间尺度(邻域半径);MODE方法通过计算降水对象的多种位置、形状属性,从多视角展现模式预报能力[28]

青海位于青藏高原东北部,强降水次数虽然较少,但因局地性强,在地形复杂特殊、生态环境脆弱条件下极易引发山洪、泥石流等灾害,因此提升模式降水预报准确率对当地防灾减灾、人类生命财产安全意义重大,而预报检验是模式改进的重要前提。目前,全球及区域模式对强降水预报能力较弱,传统点对点检验效果较差,无法体现模式性能差异,而空间检验则是传统点对点检验的有益补充。为此,本研究针对青海省2020年7—8月强降水天气个例,选取多种模式降水预报产品,采用传统检验方法、邻域法及面向对象方法,对比检验各模式在青海地区强降水预报中的性能,以期为不同模式在该地区的应用及改进提供一定参考。

1 资料及处理

按照24 h降水量达到大雨及以上量级的站点超过3个的原则,选出2020年7—8月青海省[包括海西蒙古族藏族自治州(简称“海西州”)、海北藏族自治州(简称“海北州”)、海南藏族自治州(简称“海南州”)、玉树藏族自治州(简称“玉树州”)、黄南藏族自治州(简称“黄南州”)、果洛藏族自治州(简称“果洛州”)及西宁市、海东市8个行政区域]10次强降水天气个例(表1),强降水落区主要集中在祁连山区、东部农区、玉树州东部、果洛州东部及海南州、黄南州地区。

表1   2020年青海7—8月强降水天气个例信息

Tab.1  Information of heavy precipitation weather cases in Qinghai from July to August in 2020

时 间大到暴雨站数强降水落区
2020年7月8日08:00(北京时,下同)至9日08:003海南州、青海南部
2020年7月15日08:00至16日08:004祁连山区、青海南部
2020年7月17日08:00至18日08:003海东市
2020年8月3日08:00至4日08:003青海南部
2020年8月5日08:00至6日08:0011海东市、海南州、黄南州
2020年8月6日08:00至7日08:005海南州、黄南州
2020年8月10日08:00至11日08:004海南州、黄南州
2020年8月16日08:00至17日08:005祁连山区、海东市、海南州
2020年8月22日08:00至23日08:0018海东市、海南州、黄南州
2020年8月28日20:00至29日20:0035祁连山区、海东市

新窗口打开| 下载CSV


所用资料包括:(1)欧洲中期天气预报中心(European Center of Medium-range Weather Forecasts,ECMWF)(水平分辨率12.5 km)和美国国家环境预报中心(National Center for Environmental Prediction,NCEP)(水平分辨率25 km)全球模式、中国气象局全球同化预报系统(China Meteorological Administration global assimilation forecast system,CMA-GFS)(水平分辨率25 km)及GRAPES(global and regional assimilation and prediction system)区域中尺度数值预报系统(GRAPES regional mesoscale numerical prediction system,GRAPES-Meso)(水平分辨率9 km)24 h降水量预报产品;(2)青海省232个气象站24 h降水量观测资料,其中52个国家级地面观测站,180个国家地面天气站,站点分布如图1所示;(3)中国气象局国家气象信息中心制作的青海区域地面-卫星-雷达三源融合的实时降水格点分析产品(CMA multi-source precipitation analysis system,CMPAS),水平分辨率为5 km。文中的青海省及各市(州)行政边界是基于国家测绘地理信息局标准地图服务网站下载的审图号为GS(2019)1696号的标准地图制作,底图无修改。

图1

图1   青海省地形高度(彩色区,单位:m)与气象站点(黑点)分布

Fig.1   Distribution of topography elevation (colour areas, Unit: m) and meteorological stations (black dots) in Qinghai Province


传统检验过程中采用最邻近插值法将模式网格数据插值到232个站点上,而空间检验过程中则采用双线性插值法将模式网格数据插值到CMPAS产品网格上,空间检验范围为青海省区域(89.2°E—102.95°E、31.4°N—39.4°N)。另外,根据24 h累计降水量,将降水等级划分为小雨(0.1~9.9 mm)、中雨(10.0~24.9 mm)、大雨(25.0~49.9 mm)和暴雨(≥50.0 mm)。

2 检验方法

2.1 传统检验法

传统检验选用TS评分、空报率(false alarm ratio,FAR)、漏报率(missing ratio,MR)、预报偏差(Bias)作为检验指标,计算公式如下:

TSk=NAkNAk+NBk+NCk
FARk=NBkNAk+NBk
MRk=NCkNAk+NCk
Biask=NAk+NBkNAk+NCk

式中:k为降水等级;NAkk等级降水预报正确的站数;NBkk等级降水空报的站数;NCkk等级降水漏报的站数。

2.2 空间检验法

FSS评分是目前应用较为普遍的空间邻域检验方法,它是基于FBS评分(fraction Brier score)的变形,利用方差技巧评分构建思路,用来检验预报降水概率[27],其计算公式如下:

FBS=1N(Pf-Po)2
FSS=1-FBS1N(Pf2+Po2)

式中:PfPo分别为单个邻域窗内预报和观测降水发生的概率(可类比于邻域窗内降水的概率);N为检验区域内邻域窗个数。

MODE检验方法是将观测场和预报场进行平滑,设定雨量阈值,选取关注的降雨面积最小值提取对象。然后,通过计算对象质心距离、目标面积、最小边界距离等属性,将相似的观测场和预报场目标进行匹配,如果观测场和预报场目标存在多对多的情况,则将多对多的目标进行合并。最后,通过综合计算观测和预报对应对象的属性,得出预报对象的整体相似度,其公式[28]如下:

T=iwiCiI(ai)iwiCi

式中:aiwi分别表示对象第i个属性及其权重系数;Ci表示对象第i个属性的置信水平;I(ai)表示对象第i个属性的收益函数,是ai的函数。通常认为,目标相似度达到0.7时,模式对雨带的预报较为准确。

在计算FSS评分时使用了MET V9.1.1(model evaluation tools)。MET是由美国数值预报发展试验中心研发,主要针对WRF(weather research and forecasting)中尺度模式(也可应用于其他模式)提供多种检验方法,其中FSS评分包含于基于格点-格点的邻域空间检验方法。MODE的计算采用基于Python的Meteva程序库,该程序库由中国气象局国家气象中心预报技术研发室检验科研发,同样提供了多种检验算法。

3 结果与分析

3.1 整体检验评分

图2是2020年7—8月青海10次强降水天气个例的传统点对点检验TS评分、漏报率、空报率及偏差。可以看出,各模式小雨及以上量级预报TS评分相差不大,平均值介于0.85~0.87之间,ECMWF略优,CMA-GFS略差;GRAPES-Meso漏报较多,空报较少,而其他全球模式空报较多。针对中雨及以上量级,NCEP和ECMWF预报较好,TS评分分别为0.36、0.35,GRAPES-Meso预报相对较差,TS评分为0.29。其中,NCEP空报率、漏报率均较低,GRAPES-Meso漏报较多,CMA-GFS空报较多。针对大雨及以上量级,GRAPES-Meso预报相对较好,但TS评分仅为0.06,所有模式空报和漏报均较高,其中NCEP和GRAPES-Meso相对较优。从预报偏差来看,小雨及以上量级的预报偏差较小,介于1.03~1.14之间,而中雨及以上量级和大雨及以上量级的模式预报均偏多,且CMA-GFS预报偏差均最大(1.72、2.85),预报偏差最小的分别是GRAPES-Meso(1.18)、ECMWF(1.38)。

图2

图2   2020年7—8月青海强降水天气个例不同模式降水预报的平均TS评分(a)、漏报率(b)、空报率(c)及偏差(d)

Fig.2   The average TS score (a), MR (b), FAR (c), Bias (d) of precipitation forecast by different models for heavy precipitation weather cases in Qinghai Province from July to August 2020


邻域检验法是计算检验区域内所有空间邻域集合的误差矩阵。邻域是以每个格点为中心的网格窗口,窗口可以是圆形或正方形,不同邻域窗对检验结果影响不大[17]。为简便计算,本文选择正方形邻域窗,邻域半径为3×3、5×5、…、21×21网格窗口。由于邻域检验使用的CMPAS降水格点分析产品空间分辨率为5 km,因此计算的邻域半径相应为15×15、25×25、…、105×105 km。从图3看出,随着邻域空间尺度的增大,整体上各量级降水的FSS评分逐渐增加;不同量级降水,各模式预报的FSS评分优劣存在差异,小雨及以上量级FSS评分自GRAPES-Meso、NCEP、ECMWF、CMA-GFS依次减小,中雨及以上量级自NCEP、ECMWF、CMA-GFS、GRAPES-Meso依次减小,其结果与TS评分一致,而大雨及以上量级则自ECMWF、CMA-GFS、GRAPES-Meso、NCEP依次降低。

图3

图3   2020年7—8月青海强降水个例不同模式预报的平均FSS评分

Fig.3   The average FSS score of precipitation forecast by different models for heavy precipitation cases in Qinghai Province from July to August 2020


分别针对中雨和大雨及以上量级进行MODE检验,并对比目标属性(表2)。可以看出,就中雨及以上量级预报而言,NCEP整体相似度相对较好,ECMWF次之,GRAPES-Meso最差,这与TS评分和FSS评分一致。从10次个例的相关属性(图略)来看,NCEP质心距离仅次于GRAPES-Meso,总体平均面积比(观测和预报中较小者与较大者之比)及交叉面积最大,ECMWF各目标属性仅次于NCEP,而CMA-GFS交叉面积小,质心距离整体偏大;GRAPES-Meso预报的7月至8月初几次过程整体相似度低,交叉面积小,质心距离远,而对8月中下旬海东地区过程表现较好。从预报与观测目标质心距离及方位角[图4(a)]来看,不同模式预报整体较观测偏西,这与青海中南部中雨及以上雨量预报偏多有关系。

表2   2020年7—8月青海强降水天气个例MODE检验的预报与观测对象平均属性

Tab.2  The average attributes of forecast objects corresponding to observation for MODE test of heavy precipitation weather cases in Qinghai Province from July to August 2020

模式预报产品中雨及以上量级大雨及以上量级
整体相似度质心距离面积比交叉面积整体相似度质心距离面积比交叉面积
ECMWF0.731.830.470.310.660.620.400.19
NCEP0.771.820.490.380.511.120.150.09
CMA-GFS0.711.930.410.290.671.100.470.18
GRAPES-Meso0.671.690.400.300.670.900.410.18

新窗口打开| 下载CSV


图4

图4   2020年7—8月青海强降水天气个例MODE检验的中雨及以上量级(a)和大雨及以上量级(b)预报与观测对象质心距离(单位:km)及方位角

(4位数字为强降水发生日期)

Fig.4   The centroid distance (Unit: km) and azimuth of moderate rain and above (a) and heavy rain and above (b) forecast objects corresponding to observation for MODE test of heavy precipitation weather cases in Qinghai Province from July to August 2020

(four digits for the occurrence date of heavy rainfall)


对于大雨及以上量级预报(表2),ECMWF、CMA-GFS、GRAPES-Meso整体相似度相差不大,而NCEP整体相似度明显偏低;NCEP预报与观测目标质心距离最大、面积比和交叉面积最小,FSS评分最低;ECMWF质心距离最小、交叉面积最大,CMA-GFS面积比最大,两种模式FSS评分较高;GRAPES-Meso质心距离、面积比、交叉面积均相对表现较好。另外,ECMWF、GRAPES-Meso的大雨及以上量级中心预报均较观测偏北,而NCEP预报的2次大雨及以上量级中心较观测偏南[图4(b)]。

整体来看,不同模式对小雨及以上量级预报评分均较高,模式之间差异不大,但不同检验方法下评分最高的模式略有不同;4种模式的中雨及以上量级预报在不同检验方法下优劣程度表现一致,均自NCEP、ECMWF、CMA-GFS、GRAPES-Meso依次降低,其中MODE检验可以分析预报与观测对应对象的质心距离、方位角、面积比、交叉面积等属性,进而获得预报与观测间的误差来源;对于大雨及以上量级,传统点对点检验评分均较低,很难区别模式间预报能力,FSS评分虽有效提高了模式间预报差异性的评估能力,但MODE检验则提供了模式应用参考价值。

3.2 典型个例检验评分

2020年7—8月青海省大到暴雨超过10站的个例有3次(表1),均出现在8月,分别为5日08:00至6日08:00(简称“case1”)、22日08:00至23日08:00(简称“case2”)、28日20:00至29日20:00(简称“case3”),这3次个例大雨站数较多且较为集中。当大雨站数较多且较为集中时,MODE检验的目标对象属性更为明显。下面详细对比分析这3次个例不同检验方法结果。

图5看出,CMPAS降水格点分析产品上,case1和case2大雨及以上量级站点主要出现在海东市、海南州、黄南州,232站中分别有11、18站达到大雨量级,2、1站达到暴雨量级,最大降水量分别出现在海南州南部同德秀麻乡(60.8 mm)及海南州北部共和县石乃亥乡(94.0 mm);case3大雨及以上量级站点主要出现在祁连山区、海东市,35站达到大雨量级,9站达到暴雨量级,最大降水量出现在湟源(81.5 mm)。在case1中,针对中雨及以上量级,ECMWF对青海东部降水预报较好,而NCEP、CMA-GFS预报的青海东部降水中心位置偏北,GRAPES-Meso预报的青海东部降水范围偏小;除ECMWF外,其余模式对玉树州北部均有空报。在case2、case3中,不同模式对青海东部降水预报相对较好,但对青海南部均有空报。

图5

图5   2020年8月青海省3次暴雨天气个例的降水分析产品和模式预报产品(单位:mm)

(从上至下依次是CMPAS和ECMWF、NCEP、CMA-GFS、GRAPES-Meso, 从左至右依次为case1、case2、case3)

Fig.5   The precipitation analysis product and forecast products of model for three rainstorm weather cases in Qinghai Province in August 2020 (Unit: mm)

(The precipitation products are CMPAS, ECMWF, NCEP, CMA-GFS and GRAPES-Meso from top to bottom in turn; the cases are case1, case2 and case3 from left to right in turn)


综上可见,就中雨及以上量级而言,不同模式对case1预报效果存在明显差异,NCEP、ECMWF、CMA-GFS、GRAPES-Meso预报的TS评分依次为0.27、0.26、0.09、0.02[图6(a)],最高与最低评分相差0.25。同样,各模式预报的空间检验结果也差异较明显,FSS评分[图7(a)]与MODE检验结果[图8(a)]一致,自ECMWF、NCEP、CMA-GFS、GRAPES-Meso依次降低,MODE检验的整体相似度依次为0.91、0.89、0.73、0.54。另外,从MODE检验的预报与观测对象属性来看,各模式对case1预报对象的质心方位角均较观测偏西北[图4(a)],其中ECMWF预报与观测对象质心距离仅次于GRAPES-Meso,面积比、交叉面积最大;GRAPES-Meso预报与观测对象质心距离、面积比、交叉面积均最小[图8(a)],说明预报较实况范围偏小。

图6

图6   2020年8月青海省3次暴雨个例不同模式中雨及以上量级(a)和大雨及以上量级(b)预报的TS评分

Fig.6   TS score of moderate rain and above (a) and heavy rain and above (b) forecast by different models for three rainstorm cases in Qinghai Province in August 2020


图7

图7   2020年8月青海省3次暴雨个例不同模式中雨及以上量级(a)和大雨及以上量级(b)预报的FSS评分

Fig.7   FSS score of moderate rain and above (a) and heavy rain and above (b) forecast by different models for three rainstorm cases in Qinghai Province in August 2020


图8

图8   2020年8月青海省3次暴雨个例不同模式中雨及以上量级(a)和大雨及以上量级(b)预报的MODE检验

Fig.8   MODE test of moderate rain and above (a) and heavy rain and above (b) forecast by different models for three rainstorm cases in Qinghai Province in August 2020


case2和case3的中雨及以上量级预报TS评分明显优于case1,但在case2和case3中不同模式预报结果差异不明显,最高与最低TS评分分别相差0.11、0.05[图6(a)],且不同检验方法下各模式表现略有差异。在case2中,ECMWF、NCEP、GRAPES-Meso、CMA-GFS预报的TS评分分别为0.61、0.59、0.54、0.50,FSS评分自CMA-GFS、ECMWF、NCEP、GRAPES-Meso依次降低[图7(a)],MODE整体相似度GRAPES-Meso、NCEP、CMA-GFS、ECMWF依次为0.83、0.73、0.72、0.70[图8(a)]。从MODE检验来看,GRAPES-Meso质心距离最小、面积比和交叉面积最大,整体相似度高,而ECMWF面积比偏小,整体相似度最低。由于CMA-GFS降水空间分布形态更为接近实况,故而FSS评分较高。另外,各模式对青海南部空报较多,故而预报对象的质心方位角普遍较观测偏西[图4(a)]。在case3中,传统TS评分GRAPES-Meso(0.55)表现较好[图6(a)],而FSS评分及MODE检验整体相似度NCEP表现略好。从预报相对观测的方位角来看,各模式均偏西南,与青海南部地区空报有关,质心距离CMA-GFS最小,NCEP次之,但NCEP的面积比和交叉面积最大,故而MODE检验整体相似度较高[图8(a)]。

当各模式大雨及以上量级预报的传统检验TS评分均为0时,空间检验则是传统检验的有益补充。在case1中,各模式大雨及以上量级预报的TS评分均为0,模式差异无法体现[图6(b)]。但从模式预报空间分布(图5)来看,case1中ECMWF预报较好,NCEP落区位于玉树州北部,为空报,而CMA-GFS落区位置偏东北,但范围与实况接近,GRAPES-Meso漏报。空间检验显示,ECMWF与CMA-GFS预报结果较优,两种模式预报对象均位于实况东北部;ECMWF质心距离较小、交叉面积较大,但面积比远小于CMA-GFS,故ECMWF的FSS评分高于CMA-GFS[图7(b)],而整体相似度小于CMA-GFS[图8(b)]。

图5看出,case2,不同模式均报出了青海东部大雨及以上量级降水中心;case3,除NCEP外,其余模式均报出了青海东部大雨及以上量级降水中心。当模式预报较好时,不同检验方法下模式评分均较高。在case2中,CMA-GFS在不同检验方法下均表现最优,其TS评分为0.24,远大于其余模式,且面积比、交叉面积最大,整体相似度高(0.66);ECMWF、GRAPES-Meso预报对象质心均位于实况北部,而NCEP、CMA-GFS预报值均位于实况西部,且NCEP略偏南。具体来看,CMA-GFS对青海东部及东南部预报均较好,但质心距离较大、方位偏西,对青海南部地区有空报;ECMWF、GRAPES-Meso对青海东部预报较好,但对东南部存在漏报,而NCEP预报位置偏南。当模式未预报出降水中心或与实况偏离较远时,不同检验方法下模式评分均较差。在case3中,除NCEP表现较差外,其余模式TS评分相对较高且相差不大,GRAPES-Meso、CMA-GFS、ECMWF分别为0.27、0.24、0.22[图6(b)]。不同检验方法下3种较优模式也略有差异,FSS评分自ECMWF、GRAPES-Meso、CMA-GFS依次降低[图7(b)],整体相似度自CMA-GFS(0.83)、GRAPES-Meso(0.79)、ECMWF(0.65)依次减小[图8(b)]。由于CMA-GFS预报与观测对应目标面积较为接近、交叉面积大,整体相似度最高;ECMWF空间分布形态与实况最为接近,质心距离最小,FSS评分最高,但在祁连山区预报面积小,整体相似度不高;NCEP三种评分结果均最差。

结合环流形势(图略)来看,case1降水区位于副热带高压边缘西南气流中,水汽条件好。不同模式传统检验TS评分差异较大时,空间检验结果(MODE和FSS评分)同样差异较大, CMA-GFS和GRAPES-Meso表现均较差,不同检验方法得出的结论较为一致。case2、case3,青海中东部存在高空槽,低层有切变线,青海东部有地面辐合线。不同模式中雨及以上量级预报效果均较好,模式之间差异不大,但不同检验方法下表现较优的模式略有不同,观测与预报对应对象在面积接近、交叉面积大情况下,MODE整体相似度较高,而在质心距离接近、空间分布形态相似时,FSS评分较高;CMA-GFS和GRAPES-Meso在大雨及以上量级预报中表现较好。

4 结论

(1)2020年7—8月青海强降水天气个例,ECMWF、NCEP、GRAPES-Meso、CMA-GFS模式对小雨及以上量级预报的TS评分均较高(超过0.84),预报偏差略偏高(介于1.03~1.14之间);对中雨和大雨及以上量级预报均偏多,中雨及以上量级CMA-GFS预报偏差最大为1.72,GRAPES-Meso偏差最小为1.18,而大雨及以上量级ECMWF偏差较小(1.38),其余模式偏多明显(介于2.12~2.85之间)。

(2)2020年7—8月青海强降水天气个例,小雨及以上量级,不同模式间相差不大,不同检验方法下表现较优的模式略有差异;中雨及以上量级,不同模式间差异较为明显,不同检验方法下各模式优劣表现一致;大雨及以上量级,各模式预报均较差,TS评分差异不大,FSS评分能够有效提高模式差异性的表现能力,MODE方法则提供降水对象的属性表现。另外,中雨及以上量级预报较观测普遍偏西,质心距离介于1.69~1.93 km之间,与青海南部空报较多有关,而大雨及以上量级预报普遍偏北,质心距离介于0.62~1.12 km之间。

(3)当模式预报效果较好时,不同检验方法下模式评分均较高;当模式未预报出降水中心或与实况偏离较远时,不同检验方法下模式评分均较差。

总体来看,4个模式产品中ECMWF、CMA_GFS、GRAPES_Meso对强降水有较好的参考价值,ECMWF预报与实况质心距离最为接近,CMA_GFS预报与实况面积比最大,ECMWF、GRAPES_Meso预报较观测偏北。然而,由于青海省强降水天气个例严重偏少,还不足以概括每一种模式产品在本省较稳定的偏差。另外,MODE检验结果对参数的选择较为敏感,如平滑半径、滤波阈值、合并距离等,致使检验结果缺乏一致性,可能会引起一定误导。然而,邻域方法不需要选择参数,能够体现不同邻域空间尺度下评分变化,对检验一些“模糊的”不包含匹配良好对象的预报表现较好。随着高分辨率数值模式的广泛应用,如何有效利用空间检验方法以提高模式释用还有待更进一步研究。

参考文献

潘留杰, 张宏芳, 王建鹏.

数值天气预报检验方法研究进展

[J]. 地球科学进展, 2014, 29(3):327-335.

[本文引用: 1]

朱占云, 潘娅英, 骆月珍, .

浙江省水库流域面雨量的多模式预报效果分析与检验

[J]. 气象与环境科学, 2017, 40(3):93-100.

[本文引用: 1]

琚陈相, 刘军建, 杜娟, .

RMAPS-CA在新疆区域预报效果对比检验与评估

[J]. 沙漠与绿洲气象, 2020, 14(3):68-77.

[本文引用: 1]

王雨, 公颖, 陈法敬, .

区域业务模式6 h降水预报检验方案比较

[J]. 应用气象学报, 2013, 24(2):171-178.

[本文引用: 1]

张宏芳, 潘留杰, 杨新.

ECMWF、日本高分辨率模式降水预报能力的对比分析

[J]. 气象, 2014, 40(4):424-432.

[本文引用: 1]

徐姝, 熊明明, 王颖, .

改进的ECMWF集合预报融合产品在海河流域的检验与分析

[J]. 气象与环境科学, 2018, 41(4):41-46.

[本文引用: 1]

井立红, 高婧, 赵忠, .

数值预报模式在新疆塔城地区降水预报中的检验

[J]. 干旱气象, 2017, 35(1):134-141.

[本文引用: 1]

宋雯雯, 郭洁, 淡嘉, .

2019年汛期大渡河流域面雨量多模式预报效果检验

[J]. 干旱气象, 2021, 39(4):678-686.

[本文引用: 1]

唐文苑, 周庆亮, 刘鑫华, .

国家级强对流天气分类预报检验分析

[J]. 气象, 2017, 43(1):67-76.

[本文引用: 1]

颜玉倩, 沈晓燕, 肖宏斌, .

基于MET检验的青海大范围降水个例参数化方案优选

[J]. 沙漠与绿洲气象, 2019, 13(6):59-64.

[本文引用: 1]

AHIJEVYCH D, GILLELAND E, BROWN B G, et al.

Application of spatial verification methods to idealized and NWP-gridded precipitation forecasts

[J]. Weather and Forecasting, 2009, 24(6):1485-1497.

DOI      URL     [本文引用: 1]

徐同, 戴建华, 李佳, .

强度尺度方法在模式定量降水预报检验中的应用

[J]. 气象与环境科学, 2012, 35(1):1-7.

[本文引用: 1]

李佰平, 戴建华, 张欣, .

三类强对流天气临近预报的模糊检验试验与对比

[J]. 气象, 2016, 42(2):129-143.

[本文引用: 1]

ROBERTS N M, LEAN H W.

Scale-selective verification of rainfall accumulations from high-resolution forecasts of convective events

[J]. Monthly Weather Review, 2008, 136(1):78-97.

DOI      URL     [本文引用: 1]

王彬雁, 陈朝平, 黄楚惠.

SAL方法在四川降水预报检验中的应用

[J]. 干旱气象, 2020, 38(3):472-479.

[本文引用: 1]

GILLELAND E, AHIJEVYCH D, BROWN B G, et al.

Intercomparison of spatial forecast verification methods

[J]. Weather and Forecasting, 2009, 24(5):1416-1430.

DOI      URL     [本文引用: 1]

EBERT E.

Neighborhood verification: a strategy for rewarding close forecasts

[J]. Weather and Forecasting, 2009, 24(6):1498-1510.

DOI      URL     [本文引用: 2]

DAVIS C, BROWN B, BULLOCK R.

Object-based verification of precipitation forecasts. Part Ⅰ: methodology and application to mesoscale rain areas

[J]. Monthly Weather Review, 2006, 134(7):1772-1784.

DOI      URL     [本文引用: 1]

DAVIS C, BROWN B, BULLOCK R.

Object-based verification of precipitation forecasts. Part Ⅱ: application to convective rain systems

[J]. Monthly Weather Review, 2006, 134(7):1785-1795.

DOI      URL     [本文引用: 1]

徐同, 张蕾, 李佳.

MODE-TD检验方法在上海快速更新同化业务预报系统中的初步应用

[J]. 沙漠与绿洲气象, 2020, 14(5):1-10.

[本文引用: 1]

唐文苑, 郑永光, 张小雯.

基于FSS的高分辨率模式华北对流预报能力评估

[J]. 应用气象学报, 2018, 29(5):513-523.

[本文引用: 1]

潘留杰, 张宏芳, 陈小婷, .

基于邻域法的高分辨率模式降水的预报能力分析

[J]. 热带气象学报, 2015, 31(5):632-642.

[本文引用: 1]

刘凑华, 牛若芸.

基于目标的降水检验方法及应用

[J]. 气象, 2013, 39(6):681-690.

[本文引用: 1]

潘留杰, 张宏芳, 袁媛, .

基于T639细网格模式的陕西省秋淋天气预报效果评估

[J]. 气象与环境学报, 2015, 31(6):9-17.

[本文引用: 1]

薛春芳, 潘留杰.

基于MODE方法的日本细网格模式降水预报的诊断分析

[J]. 高原气象, 2016, 35(2):406-418.

DOI      [本文引用: 1]

利用CMORPH卫星与中国30000余个自动站逐时降水融合资料,基于面向对象模式诊断分析MODE方法研究了降水对象的客观表现以及日本细网格模式对2012-2013年中国34个降水个例的预报能力,并与传统TS、ETS检验方法进行了对比分析。结果表明:模式整体上能较好地捕获降水对象,但不同卷积半径下对象的个数及特征差异明显;模式对局地性或弱降水事件预报偏多(偏大),对区域性或强降水事件预报偏少(偏弱);模式较好地反映不同卷积半径下,降水对象在10 mm左右识别对象的面积、数量的变化特性,不足之处在于模式的固定阈值更为集中,识别对象的数量减少幅度偏快;采用较大半径进行卷积,有助于强降水区域的形态判定,在不同量级降水情况下存在提高收益函数的合适的卷积半径;中、低纬降水预报的总收益整体优于高纬,但不同属性呈现较大差异,具体而言,高纬地区降水强度预报更为合理,而低纬降水面积预报优于高纬;与传统TS、ETS检验相比,MODE方法受气候概率影响较小,其检验结果更加客观、多样。

王彬雁, 陈朝平, 丛芳, .

MODE方法在西南区域模式降水预报检验中的应用

[J]. 高原山地气象研究, 2020, 40(2):26-30.

[本文引用: 1]

赵滨, 张博.

邻域空间检验方法在降水评估中的应用

[J]. 暴雨灾害, 2018, 37(1):1-7.

[本文引用: 2]

潘留杰, 薛春芳, 张宏芳, .

三种高分辨率格点降水预报检验方法的对比

[J]. 气候与环境研究, 2017, 22(1):45-58.

[本文引用: 2]

/