降水具有非线性、不连续性特征，降水预报在天气预报中极具挑战性，高精度的降水预报是我国气象现代化高质量发展所面临的迫切需求，而数值预报已成为提升降水预报准确性的重要技术支撑。由于受数值模式初值（Wang et al.， 2007）、物理过程参数化（吴秋霞等，2007；王叶红和赵玉春，2020）等不确定性因素和大气混沌特性影响，降水数值预报存在较大的不确定性（Candille and Talagrand， 2008；Wang et al.， 2018）。集合预报是一种描述数值预报不确定性的随机动力概率预报方法（陈静等，2002；杜钧和陈静，2010），近20 a来得到快速发展与广泛应用，它通过积分由初值（模式）扰动形成的多个初值（模式）来估计预报误差的概率分布，从而提供不确定性预报信息（Huo et al.， 2019；董甫等，2020）。一个好的集合预报系统通常能够给出事件发生的所有可能性及其概率，并定量给出预报的可信度（杜钧，2002），这一优势在可预报性较低的高影响天气预报中尤为重要，而区域中尺度集合预报已日益成为高影响天气预报的重要支撑（陈静等，2005）。

近年来，我国一些区域集合预报系统已陆续建立并实现业务化应用（李俊等，2010；邓国等，2010；Zhang et al.， 2015；王婧卓等，2018）。中国气象局数值预报中心自主研发的GRAPES-REPS（Global/Regional Assimilation and Prediction System-Regional Ensemble Prediction System）于2014年业务化运行，通过网络（http://www.nmc.cn/publish/nwpc/grapes-regio-nal/probability/index.html）面向公众提供集合预报产品。预报检验是数值模式发展及应用的重要前提，也能够辨析不同模式间的客观差异。为认识GRAPES-REPS的预报性能及可能存在的预报偏差，我国陆续开展了一系列该系统预报产品的系统性检验评估。研究发现，GRAPES-REPS可以在台风登陆地点、时间、强度和降水预报等方面提供更多的不确定性信息（钟有亮等，2017），但对西南低涡移动路径及水汽要素场的概率预报技巧还有待提高（王静等，2017）；与ECMWF（European Center of Medium-range Weather Forecasts）全球集合预报模式相比，GRAPES-REPS对中国汛期降水具有较强的预报能力（王婧卓等，2021）。我国长江以南大范围持续性强降水过程易引发严重的洪涝及次生灾害，该地区的强降水预报历来受到高度关注，目前单一确定性模式无法对强降水落区及强度作出精确预报，特别是局地暖区暴雨，而集合预报可提供更多的降水预报可能性和概率，但GRAPES-REPS对该地区的降水集合预报性能尚不清楚，极大制约了GRAPES-REPS的应用及性能改进。2017年5月中旬至6月下旬我国长江以南地区发生多次大范围持续性强降水过程，24 h最强降水发生在6月16日08：00（北京时），最大累积降水量位于广东陆丰，达326.2 mm。为了加深GRAPES-REPS对我国南方初夏大范围持续性强降水集合预报性能的认识、了解可能存在的预报偏差，本文采用风险评分（Threat Score，TS）、Brier评分、Talagrand分布、ROC（Relative Operating Characteristic）曲线等预报检验方法，针对上述时段南方地区发生的多次强降水过程，进行GRAPES-REPS降水集合预报检验评估，以期为实际业务预报应用和集合预报性能改进提供参考。

2017年中国气象局数值预报中心业务运行的GRAPES-REPS区域集合预报系统，由1个控制预报（M00）和14个扰动预报（M01~M14）共15个集合成员组成（表1），预报范围为70°E—145°E、15°N—65°N，水平分辨率为0.15°×0.15°，水平格点数为502×330，垂直坐标为地形追随坐标，垂直方向分为50层；预报时效为72 h，模式每天在08：00（北京时，下同）和20：00起报；背景场和侧边界条件由T639全球集合预报系统提供，采用多尺度混合初值扰动方案（王婧卓等，2021），模式扰动采用多物理过程组合方法（张涵斌等，2014），通过MRF和YSU边界层参数化方案与BMJ、KF-eta、SAS和KF积云对流参数化方案的不同组合，构造不同集合成员的模式扰动方案。

所用数据为2017年5月12—15日、6月13—17日及25—28日每日两次起报共26个时次的0~72 h集合预报产品和全国基本站24 h（08：00—08：00）降水实况数据。利用反距离权重法将0~24 h、12~36 h、24~48 h、36~60 h和48~72 h时效的模式降水预报格点产品分别插值到基本站上，分别对我国南方地区（105°E—125°E，18°N—35°N）小雨以上（≥0.1 mm）、中雨以上（≥10.0 mm）、大雨以上（≥25.0 mm）、暴雨以上（≥50.0 mm）4个量级降水（后文分别简称为小雨、中雨、大雨和暴雨量级）进行集合预报检验。文中涉及的中国及其省（市、区）行政边界基于国家测绘地理信息局标准地图服务网站下载的审图号为GS（2019）1822号的标准地图制作，底图无修改。

TS（Schaefer，1990）和Bias（Donaldson et al.，1975）评分是传统的二分类检验方法，常用于单一确定性模式降水预报检验。计算公式如下：

式中：TSk为k量级降水预报的TS评分；Bk为k量级降水预报的偏差；NAk为k量级降水预报正确的站数；NBk为k量级降水空报的站数；NCk为k量级降水漏报的站数。TSk取值范围为0~1，当预报和观测降水完全重合时，TSk=1，即预报完全正确；TSk越接近于0，则预报效果越差。Bk>1（<1），表示预报降水站数多于（少于）观测降水站数，有空报（漏报）倾向；Bk=1时，预报与观测的降水站数相等，偏差评分最优。Bias评分计算的是相对频率，无法衡量预报与观测的吻合度。

Brier（1950）定义了一种均方概率误差，称之为Brier评分（Brier Score，BS）。它综合考虑了可靠性、分辨率和不确定性（Murphy，1973），广泛应用于定量降水概率预报评估，其公式定义如下：

式中：BS为降水事件概率预报的Brier评分，其值在0~1之间，值越小越好，BS=0表示降水概率预报最佳，预报完全正确，而BS=1则表示降水概率预报最差，预报失效；p为降水事件发生的集合预报概率；p_o为实况，若降水事件发生，则p_o为1，否则为0。。

Brier技巧评分（Brier Skill Score，BSS）是基于Brier评分的技巧评分。其公式（赵琳娜等，2015）定义如下：

式中： BS_clim为气候概率预报的Brier评分。若BSS=0，则降水事件概率预报的Brier评分等于气候概率预报的Brier评分；若BSS>0，表示降水事件的概率预报有意义，反之，降水事件概率预报不如气候概率预报。因此，Brier技巧评分越大越好。

Talagrand分布（Talagrand et al.，1997）可用来统计观测与集合预报成员的概率分布差异，检验集合预报系统的离散度。对任一预报时刻的任一空间点，把n个集合成员的预报值从左到右按由小到大顺序排列形成n+1个区间；然后，对大量空间点统计实况出现在i区间内的频率，其中最左边（最右边）的单边区间表示实况比最小（最大）成员还要小（大），即超出集合预报范围（杜钧和周斌斌，2016）。

概率标准差也是度量离散度适宜性的一种方法，其公式（谭燕，2006）定义如下：

式中：Q为概率标准差；P_i是实况出现在i区间内的频率；P_m是每个集合预报成员所应有的平均频率。Q值越小越好，Q=0表明集合预报最完美，可信度高。因此，Q值越小，Taglagrand分布越接近理想状态，集合预报越完美；反之，Q值越大，表明集合预报成员离散度小，无法反映预报的不确定性。

ROC曲线分析（Mason，1979；Swets，1986）是对二分类要素序列进行检验，它通过计算预报的命中率（Hit Ratio，HR）和空报率（False Alarm Ratio，FAR）来描述系统的预报能力。计算公式如下：

式中：NDk为k量级降水预报正确否定的站数，即预报和观测均未出现k量级降水的站数。若以0%作为概率临界值，即预报对象总是发生，则HR=1、FAR=1；若以100%作为概率临界值，即预报对象总是不发生，则HR=0、FAR=0。经过（0，0）和（1，1）两点的直线（即对角线）是概率预报有无技巧的分界线。因此，一个完美的预报应当有100%命中率和0%的空报率，同时一个0技巧的预报系统的ROC曲线与对角线一致。当ROC曲线位于对角线上方时为有技巧预报，此时ROC曲线下方的面积A_ROC>0.5；当ROC曲线位于对角线下方时为无技巧预报，此时A_ROC<0.5；概率预报最佳时，HR=1、FAR=0、A_ROC=1。选取不同的概率作为预报对象发生的概率临界值，可得到不同的命中率和空报率，并分别作为纵、横坐标绘制曲线，即为ROC曲线。

集合平均是所有集合成员预报的平均结果，它能够非线性过滤不同集合成员的随机预报信息而保留共同部分，是衡量集合预报系统性能的重要指标之一（杜钧，2002）。从不同时效的降水预报TS[图1（a）、（c）、（e）、（g）、（i）]可见，相对于集合成员，集合平均对小雨、中雨、大雨量级预报均有优势，但随着量级增大优势逐渐下降，而对暴雨量级已无优势，其集合平均TS评分均小于控制预报及部分扰动预报，这与陈圣劼等（2019）的“ECMWF对江苏暴雨的集合平均预报效果不及控制预报”结论类似。研究指出，对于具有明显单边的非正态分布降水量场，集合平均的光滑作用使得强降水区域缩小，从而导致对强降水预报劣于集合成员（杜钧和周斌斌，2016），可采用概率或频率匹配平均法（杜钧和李俊，2014）进行订正。因此，在实际业务中借鉴前人提出的一系列后处理技术（陈圣劼等，2019；李俊等，2014；李俊等，2015；陈博宇等，2015；闫慧和赵桂香，2020），重点针对暴雨量级的集合平均预报订正很有必要。

进一步考察Bias[图1（b）、（d）、（f）、（h）、（j）]发现，对于小雨量级，各预报时效集合平均的Bias均略大于1，而集合成员的Bias均小于1，表明集合平均的小雨范围略大于观测，而集合成员预报的小雨范围均比观测小；对于中雨量级，0~24 h时效集合平均和控制预报的Bias最接近1，但随着预报时效延长，Bias均大于1，空报偏多，且集合平均偏多程度高于控制预报；针对大雨量级，0~24 h时效除成员M00和M06预报的大雨范围略大于观测外，集合平均和绝大部分集合成员预报的大雨范围均小于观测，但随着预报时效延长，预报的大雨范围逐渐增大并大于观测。暴雨量级Bias的变化趋势与大雨量级类似。需要注意的是：在暴雨量级上，随着预报时效延长，控制预报的Bias从0~24 h的0.964逐渐增大至48~72 h的2.033，而集合平均的Bias则从0.180逐渐增大至0.952，表明在更长的预报时效内集合平均的暴雨范围与实况更为接近，而控制预报的暴雨范围明显偏大；随着预报时效临近，控制预报的暴雨范围与实况逐渐接近，而集合平均的暴雨范围明显偏小。另外，对于关注度更高的暴雨，各时效的集合平均TS评分均不及控制预报，并在0~24 h和12~36 h时效漏报更高，表明在0~24 h和12~36 h预报中，当集合成员中大多数预报对暴雨漏报过多时，集合平均将无法消除这种系统偏差。

为进一步认清不同集合成员的降水预报性能，试图寻找预报性能较优或较差的成员，以满足实际业务应用和集合预报性能改进，对比了各成员TS评分，发现成员M00、M03、M06预报的TS值普遍高于其他成员，成员M12、M04、M10、M09预报的TS值普遍低于其他成员。那么，M00、M03、M06最优成员组在多物理过程组合方案上是否有共性?M12、M04、M10、M09最差成员组在多物理过程组合方案上又有何特征?从表1看出，成员M03、M06均采用与M00相同的MRF边界层参数化方案和KF-eta积云对流参数化方案的组合方案，与其他扰动成员采用的组合方案不同；此外，成员M12和M09均采用YSU边界层参数化方案和BMJ积云对流参数化方案，成员M04和M10分别采用MRF、YSU边界层参数化方案和KF积云对流参数化方案。由此不难看出，对于我国南方初夏持续性强降水过程，在BMJ、KF-eta、SAS和KF四种积云对流参数化方案中KF-eta方案预报效果最佳，SAS方案次之，而BMJ和KF方案相对较差。

综上可见，在实际应用中，一方面用户可据此进行综合决策；另一方面可以采用提高最优成员组权重和降低最差成员组权重的方法进行非等权重集合平均。此外，也利于选取更加适用的物理过程组合方案进行模式扰动，提高集合预报性能。

一个理想的集合预报系统，当成员足够多时，大气的真实状态通常应包含于集合成员预报结果中，且在统计意义上观测实况落在每个集合预报成员附近的概率均等（Talagrand et al.， 1997），这就需要集合成员预报结果间的离散度适宜。Talagrand分布或分级直方图是用来衡量集合成员预报值与观测值离散程度分布是否一致的评分指标，平直型分布表示集合预报系统具有完美的离散度，U（倒U）型分布表示集合成员的离散度偏低（偏高），L（反L）型分布则表示集合预报有系统性正（负）偏差（杜钧和周斌斌，2016）。

从不同预报时效24 h累积降水预报的Talagrand分布[图2（a）]可见，Talagrand分布呈U型，与理想概率期望值存在一定差距，即集合预报中实况落在Talagrand分布最左边和最右边的单边区间频率偏大，表明集合预报离散度偏小。特别是0~24 h预报，实况落在最左边和最右边区间频率高于其他时效，尤其落在最右边区间的频率高达20.53%，远高于其他时效，表明0~24 h集合预报的离散度更加偏小。可见，实况超出集合预报范围的频率明显偏大，即GRAPES-REPS表现出小（大）量级降水的预报概率偏大（小），这是目前集合预报系统普遍存在的问题。随着预报时效延长，实况落在Talagrand分布两边的频率明显减小，尤其是最右边区间频率减小更明显，Talagrand分布逐渐接近理想概率分布线，小（大）量级降水预报频率偏大（小）情况有所改善。综上可见，较短时效的降水预报频率分布反而较差，预报时效越长，降水预报频率与观测更为一致。从不同时效降水集合预报的概率标准差[图2（b）]上也得到同样的结论，即0~24 h降水预报的概率标准差明显大于其他时效，表明其他时效降水预报的离散度分布更接近理想状态，优于0~24 h。需要说明的是，由于Talagrand分布仅考虑区域内集合预报与观测频率的匹配，并未关注空报和漏报情况，故无法反映实际预报效果。

图3是不同时效、不同量级的24 h累积降水集合预报平均Brier评分和Brier 技巧评分。可以看出，各预报时效暴雨量级预报的平均BS值最小，而大雨、小雨和中雨量级的平均BS值依次增大[图3（a）]，表明暴雨量级的概率预报效果好于其他量级。不同时效24 h累积降水集合预报的平均BSS技巧评分[图3（b）]也表现出相似特点，24~48 h、36~60 h和48~72 h暴雨量级预报的平均BSS值明显大于其他量级。此外，各时效不同量级降水预报的平均BSS值均为正，表明GRAPES-REPS对上述降水事件的概率预报均有意义。

另外，除小雨量级外，其他量级降水预报的平均BS均随预报时效延长呈先降后升的变化趋势，且各量级的平均BS均在48~72 h最大[图3（a）]，而小雨量级BS最小值出现在24~48 h，中雨、大雨和暴雨量级则出现在12~36 h，表明各量级降水概率预报效果均随预报时效减小有所提高，且24~48 h小雨量级和12~36 h中雨、大雨和暴雨量级的概率预报效果最佳。

图4是不同时效各量级24 h累积降水量集合预报的ROC曲线分布，其中曲线上自右上角到左下角的点对应概率阈值依次为0.0、0.1、0.2、0.3、…、1.0时的命中率和空报率。整体上，在72 h内不同预报时效各量级降水集合预报的ROC曲线均位于对角线上方，表明集合预报为正预报技巧。对于小雨量级，0~24 h和12~36 h预报性能优于其他预报时效。中雨的12~36 h预报性能最好，当预报概率小于0.7时，0~24 h命中率高于24~48 h、36~60 h、48~72 h；当预报概率大于等于0.7时，0~24 h命中率接近于24~48 h，但低于36~60 h、高于48~72 h。大（暴）雨12~36 h（24~48 h）的ROC曲线靠近左上角，预报性能最好。

从ROC曲线面积（图5）可见，不同预报时效各量级降水集合预报的A_ROC均大于0.50，其值在0.67~0.84之间，表明集合预报对不同时效各量级降水均有一定的预报能力；随着降水量级增加，0~24 h预报的A_ROC依次减小，而12~36 h、24~48 h、36~60 h和48~72 h预报的A_ROC先增后减，均在中雨时达到最大。需要注意的是，与其他预报时效相比，0~24 h预报的A_ROC随降水量级增加变化幅度最大，且暴雨量级预报的A_ROC明显小于其他时效；48~72 h小雨预报的A_ROC较其他时效明显偏小，但随着降水量级增加，不同时效的差距逐渐缩小。上述分析再次表明，对于大雨和暴雨量级，更近时效的预报反而不及长时效。

上述是对2017年5月中旬至6月下旬3次连续降雨过程26个集合预报样本进行的统计检验，为探究集合预报系统对不同连续时段降水过程预报性能是否具有一致性，分别对这3个连续时段的集合预报产品进行上述统计检验（图略），发现GRAPES-REPS对我国南方地区不同持续性降水过程的集合预报性能有较好的一致性，表明该系统的预报性能比较稳定。

与2014年投入业务应用之初相比，2017年业务运行版本在控制预报、初值和边界条件、初值扰动及物理过程扰动等方面都有所改进。与张涵斌等（2014）对2013年6月24日至7月13日我国南方降水过程集合预报检验结果相比，本文开展的2017年我国南方初夏持续性强降水过程集合预报检验，对于小雨、中雨、大雨、暴雨各量级降水，无论是控制预报、集合平均TS，还是Brier评分、ROC面积，降水预报性能都更优，表明2017年业务运行的版本整体性能较前期版本有明显改进。

受1702号台风“苗柏”残留云系和南下冷空气共同影响，我国长江以南地区出现持续暴雨天气。2017年6月15日08：00至16日08：00，广西、广东和福建局地出现100.0 mm以上大暴雨，广东陆丰出现326.2 mm的特大暴雨（图6）。此次降水过程50.0 mm以上强降水主要位于桂西北、赣中至闽北、粤中南及闽西等地区。

由图7可见，不同预报时效的24 h集合平均降水量都能够描述出2017年6月15日08：00至16日08：00雨区发生范围，但强度明显偏弱。总体而言，集合平均对广西降水落区预报较好，但强度偏弱。对江西中部至福建北部的降水预报，0~24 h预报的大雨范围偏大、位置偏北、强度偏弱；12~36 h预报的大雨范围与实况较一致，但位置偏北、强度偏弱；24~48 h预报的大雨落区与实况较一致，但范围偏大，同时预报出了暴雨量级的降水；36~60 h与12~36 h预报类似，但前者预报出了福建出现暴雨量级的降水；48~72 h与24~48 h预报相似，能够预报出暴雨量级降水，但位置偏北。对广东中部、南部及福建西部的降水预报，各时效的预报结果都较实况偏弱，且位置存在偏差。

另外，考察了GRAPES-REPS不同成员对此次降水的预报性能，发现各成员在0~24 h预报的降水量在强度和落区上都存在较大差异（图略），广西强降水有3个成员预报的落区和强度与实况较为一致；江西—福建的降水整体预报偏弱，只有1个成员预报出暴雨量级降水，落区有2个成员预报较好；广东的强降水预报强度也偏弱，只有1个成员预报出100.0 mm以上降水。12~36 h降水预报（图略）显示，4个成员预报的广西强降水落区和强度与实况比较一致，其他成员预报强度相对偏弱；大部分成员预报出江西—福建的暴雨，但范围较实况偏小，落区有些成员预报与实况较一致，有些成员预报偏北；广东的强降水预报强度偏弱，降水中心多偏北。24~48 h降水预报（图8）显示，5个成员预报出广西大范围暴雨和大暴雨，其中4个成员预报的强降水中心位于广西北部，较实况偏北；大部分成员预报出江西—福建的暴雨，但范围较实况偏大，其中3个成员的落区预报与实况较一致，其他成员预报位置偏北；2个成员预报出广东暴雨和大暴雨，但预报位置均偏北。36~60 h降水预报结果（图略）与24~48 h的类似。48~72 h降水预报（图略）显示，5个成员预报出广西暴雨，其中4个成员预报的降水中心位置偏南；大部分成员预报出江西—福建的暴雨或局地大暴雨，但强度偏强、范围偏大，多数成员预报落区偏北；7个成员预报出广东局地暴雨，甚至大暴雨，但预报位置与实况偏差较大，这可能与低层形势场预报偏北有关（图略）。

综上所述，在48~72 h长时效降水预报中，大多数集合成员预报的暴雨和大暴雨落区与实况相差较大，强度偏强；在36~60 h、24~48 h和12~36 h降水预报中，随着预报时效的临近，降水落区、强度预报与实况都较为接近的成员不断增加；在0~24 h降水预报中，集合成员预报降水整体明显偏弱。

为检验基于26个时次集合预报样本确定的最优和最差成员组在某一时次预报中的具体表现，考察了各集合成员在2017年6月15日08：00至16日08：00暴雨量级上的TS评分（图略），发现最优成员M00、M03、M06的不同时效TS值均位居前列，而最差成员组中仅M09在12~36 h和36~60 h的TS值较靠前外，M12、M04、M10不同时效及M09其余时效的TS值均位于后列。这进一步表明，对于我国南方初夏强降水过程，控制预报成员M00及与其采用相同边界层和积云对流方案的成员M03和M06具有更好的预报效果。

概率预报是描述某一天气事件发生的可能性，定义为预报出某一天气事件的成员数与总成员数之比，可以最大程度地了解实际大气可能发生情况及不确定程度。图9是2017年6月15日08：00至16日08：00不同预报时效中雨、大雨和暴雨的概率预报与实况降水分布。可以看出，不同时效的中雨概率预报效果较好，60%以上概率的中雨落区与实况比较一致，其中12~36 h和24~48h的概率分布与实况更为接近。对于大雨而言，实况在48~72 h概率预报中有所体现，但在大雨北界以北仍有概率为60%~80%的区域，且在广西东南部、广东南部和西北部以及江西南部也有部分地区概率超过60%，而实况中这些地区降水未达到大雨量级；随着预报时效临近，36~60 h、24~48 h、12~36 h和0~24 h预报效果改进明显，一方面大雨落区概率预报范围更加集中，且与实况更趋一致，另一方面大雨发生概率有不同程度提高。比如36~60 h江西中部—福建北部大雨预报概率达80%以上，广东中南部大雨预报概率为30%，局部达60%，而24~48 h和12~36 h预报在36~60 h基础上使广西西北部大雨概率提高到60%以上；相较前几个时效，尽管江西中部—福建北部0~24 h预报的大雨概率有所减小，但广西西北部和广东东部及与福建西部交界处的大雨概率分别提高到80%、60%以上，且广东中南部大雨概率达30%和60%以上的范围均有所增加。与大雨类似，暴雨在48~72 h概率预报上也有不同程度反映（闽西暴雨除外），暴雨最大概率在30%以上，但同样存在概率预报范围大于实况情况；随着预报时效临近，暴雨落区概率预报范围更加集中，与实况更趋一致，但0~24 h概率预报对江西中部—福建北部暴雨带的预报不佳。

值得一提的是，广东中南部特大暴雨是此次降水过程量值最大的区域，且局地性强，局地24 h累积降水量达326.2 mm，属典型华南暖区暴雨。中央气象台6月15日06：00发布的15日08：00至16日08：00蓝色暴雨预警中，对福建大部、江西中南部、湖南南部、广西北部和西部以及台湾北部做出了大到暴雨、局地大暴雨的预警警报，但对广东中南部强降水漏报了。然而，GRAPES-REPS在48~72 h预报出该地区的暴雨概率为30%以上，之后预报的暴雨概率均在10%以上，这在强降水预报中是非常重要的信息，提示有强降水出现的可能性。由此可见，与确定性预报相比，概率预报具有更多优势。

图10是此次降水过程不同预报时效各量级降水的集合平均TS和Bias。可以看出，集合平均在小雨量级上各预报时效的TS比较一致，在中雨量级上12~36 h和36~60 h预报的TS略高于其他预报时效，在大雨量级上24~48 h预报的TS高于其他预报时效，在暴雨量级上36~60 h预报的TS高于其他预报时效[图10（a）]。从Bias[图10（b）]来看，小雨和中雨量级0~24 h集合平均预报的Bias接近于1，其他预报时效都大于1；大雨量级0~24 h和12~36 h预报的Bias小于1，其他预报时效都大于1；暴雨量级各预报时效的Bias都小于1，尤其是0~24 h和12~36 h预报的Bias接近0，表明集合平均预报的暴雨范围较观测偏小，且临近时刻比较远时刻偏小的更明显。

限于篇幅，本文仅对GRAPES-REPS进行降水集合预报检验，缺乏与ECMWF、NCEP（National Centers for Environmental Prediction）等其他集合预报系统的对比检验。根据王婧卓等（2018）研究可知，GRAPES-REPS集合平均的各量级降水Bias及小雨和暴雨ETS（Equitable Threat Score）明显优于ECMWF全球集合预报系统，其降水概率预报与ECMWF具有一定可比性，各有优势，且GRAPES-REPS集合成员能够很好地预报降水发生、发展、消亡过程，对中国汛期降水具有较强的预报能力。

（1）GRAPES-REPS对小雨和中雨量级集合平均的TS高于集合成员，但空报较多；暴雨量级预报的TS则低于控制成员及部分扰动成员，且各预报时效（48~72 h除外）普遍漏报较多；对于大雨量级，集合平均TS高于扰动成员和部分时效（0~24 h、12~36 h和36~60 h）控制成员，其中0~24 h漏报较多，24~48 h、36~60 h和48~72 h空报较多。

（2）对于持续性强降水过程，控制预报成员（M00）和2个扰动预报成员（M03、M06）为集合最优成员，它们采用的均是MRF边界层参数化方案和KF-eta积云对流参数化方案的组合方案，其他成员则采用其他组合方案。

（3）集合成员降水预报的离散度整体不足，特别是0~24 h时效，Talagrand分布呈U型，落在最左、右边区间的预报频次偏大，表明对小（大）量级降水预报频次偏多（少），概率偏大（小）。随着预报时效增加，Talagrand分布落在两头区间的预报频次有所减小，逐渐接近理想概率分布，小（大）量级降水预报频次偏多（少）情况有所改善。

（4）Brier评分表明，各预报时效对大雨和暴雨量级的概率预报效果优于小雨和中雨量级；较长时效的各量级降水概率预报效果均随预报时效减小有所提高，其中24~48 h小雨量级和12~36 h中雨、大雨和暴雨量级的概率预报效果最佳。另外，不同时效各量级降水预报的Brier技巧评分均为正值，表明GRAPES-REPS对这些降水事件的概率预报均有意义。

（5）ROC曲线及其面积分析表明，各量级降水在不同预报时效的ROC曲线均位于对角线上方，且A_ROC均大于0.5，说明GRAPES-REPS在不同预报时效上对各量级降水均有一定的预报能力。其中，0~24 h、12~36 h的小雨量级概率预报技巧优于其他预报时效，12~36 h的中雨和大雨量级、24~48 h的暴雨量级概率预报技巧较高。

（6）2017年6月16日强降水个例分析可见，GRAPES-REPS整体上能够较好地把握不同量级降水的空间分布形态，对江西—福建的雨带预报较好，而对广西雨带预报强度偏弱、落区偏北，但对中央气象台漏报的广东中南部暖区暴雨有一定的概率预报能力，集合成员可为降水预报提供更多信息。