风控模型开发验证报告

实验 ID: DEV-mvz1nr5g-f19f · 生成时间: 2026-11-02 17:16 (GMT+8) · 报告结构:标准14节模型开发验证模板

00 模型概要信息

项目内容
模型名称exp_DEV-mvz0ss7p-6aba
开发完成日期2026-11-02
模型开发人员(人工填写)
模型开发人员邮件地址(人工填写)
模型验证人员(人工填写)
模型验证人员邮件地址(人工填写)
模型应用环节application_scorecard
模型应用频率(人工填写)
模型开发背景及业务用途描述Develop run with tuning
模型适用产品/客户描述(人工填写)
模型重开发原因(如有)—
模型拟监控频率(人工填写)
模型路线LightGBM
目标变量flag_30
实验 IDDEV-mvz1nr5g-f19f
待补充:模型开发/验证人员、应用频率、产品描述等字段需人工补填。

01 模型设计

建模数据样本窗口

项目内容
切分方式外部 data_flag 划分(TRAIN 内 6/4 随机开发/测试,VALI 跨时间,PSI 时点)
开发样本(Train)窗口—
预留验证样本窗口—
跨时间验证样本窗口—
PSI时点样本窗口—

模型好坏定义

项目内容
目标变量flag_30
坏样本(BAD=1)占比22.06%
好样本(BAD=0)占比—
不确定样本本流程要求目标变量已预计算为 0/1 二值,不确定样本请在上游合并口径

样本排除规则

序号排除规则说明
1credit_no主键/时间/口径字段,不入模
2apply_dt主键/时间/口径字段,不入模
3data_flag主键/时间/口径字段,不入模
4flag_30 为空排除 0 行

滚动率分析

待补充:滚动率分析(M0→M6+ 状态迁移矩阵)需要逾期状态口径数据,当前流程目标变量为上游已计算的二值标签,暂未生成。
待补充:表现窗口及坏账率分析、模型细分定义需结合业务口径人工补充。

02 数据流

注:中文字典已加载(dictionary.csv,匹配 19 个字段);以下字段未在字典中、报告显示英文原名,请补充字典:credit_no、flag_30、data_flag(共 3 个)。

开发时点 — 样本排除

类别样本数
全部样本30000
排除:目标变量为空0
排除后样本30000

注:按照01模型设计的排除规则统计;当前流程的排除项为目标变量缺失。

总体样本概况

数据集样本量好样本坏样本坏样本率占比
全部样本3000023383661722.06%100.00%
开发样本108018453234821.74%36.00%
测试样本71995635156421.73%24.00%
训练+测试样本1800014088391221.73%60.00%
跨时间验证样本60004624137622.93%20.00%
PSI时点样本600046711329—20.00%

开发/预留验证样本交叉统计

类别开发+预留样本数开发样本数开发占比预留验证样本数预留验证占比
好14088845360.00%563540.00%
坏3912234860.02%156439.98%
合计180001080160.01%719939.99%

细致变量分析(预分箱口径,开发样本)

变量IV缺失率取值集中度最大相关系数
risk_score_v2
内部风险评分副本
0.86490.00%0.94%0.9986
risk_score
内部风险评分
0.86470.00%0.91%0.9986
bh_a001
百融履约指数A001
0.84260.00%0.15%0.9298
ScoreCust2
客户评分卡2
0.79720.00%1.13%0.9952
ScoreCust2_v2
客户评分卡2副本
0.78220.00%1.14%0.9952
bh_a009
百融信用历史长度
0.63120.00%1.73%0.8070
avg_tnr
平均履约月数
0.44310.00%1.92%0.6947
cust_seg2
客群分层等级
0.39830.00%30.86%0.6662
query_cnt_3m
近3月机构查询次数
0.33630.00%16.53%0.5822
income_grade
收入等级
0.27910.00%31.12%0.5458
repay_amt_6m_grade
近6月还款金额等级
0.25090.00%27.69%0.5342
tenure_m
授信时长(月)
0.14310.00%5.50%0.3328
card_usage_ratio
信用卡额度使用率
0.12340.00%1.69%0.3613
rare_field
稀疏字段(高缺失)
0.112896.32%0.76%0.0812
bank_997_cnt_3m
近3月银行查询次数
0.05870.00%34.62%0.2757
edu_level
学历
0.00130.00%42.13%—
region_code
区域
0.00120.00%20.63%—
flag_special
特殊标记(高集中度)
0.00000.00%95.41%0.0380

注:共 18 个候选变量,按 IV 降序展示前 18 个;集中度 = 最大频次取值样本数 ÷ 非空样本数;相关性为皮尔逊(仅数值变量),完整数据见 variable_detail.json。

03 单变量分析(细分箱)

risk_score 内部风险评分 — IV 0.8674,5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 519.5]255524141415.52%1.5593
2(519.5, 564.5]3183275243113.54%0.5730
3(564.5, 600.5]2574194662824.40%-0.1500
4(600.5, 643.5]1752106069239.50%-0.8545
5(643.5, inf]73728145661.87%-1.7651
risk_score_v2 内部风险评分副本 — IV 0.8628,5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 518.5]251123721395.54%1.5561
2(518.5, 563.5]3131271142013.41%0.5839
3(563.5, 602.5]2766209667024.22%-0.1404
4(602.5, 643.5]165399366039.93%-0.8725
5(643.5, inf]74028145962.03%-1.7717
bh_a001 百融履约指数A001 — IV 0.7941,5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 280.0500030517578]394136413007.61%1.2153
2(280.0500030517578, 332.75]3801305075119.76%0.1205
3(332.75, 367.75]1739115958033.35%-0.5887
4(367.75, 394.25]75639236448.15%-1.2068
5(394.25, inf]56421135362.59%-1.7956
ScoreCust2_v2 客户评分卡2副本 — IV 0.7932,5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 507.5]16491574754.55%1.7629
2(507.5, 544.5]3158279436411.53%0.7571
3(544.5, 583.5]3802291289023.41%-0.0956
4(583.5, 606.5]129580249338.07%-0.7944
5(606.5, inf]89737152658.64%-1.6301
ScoreCust2 客户评分卡2 — IV 0.7925,5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 508.5]17061626804.69%1.7309
2(508.5, 545.5]3198282537311.66%0.7437
3(545.5, 579.5]3393261378022.99%-0.0720
4(579.5, 604.5]152797355436.28%-0.7177
5(604.5, inf]97741656157.42%-1.5800
bh_a009 百融信用历史长度 — IV 0.6036,5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 6.3500001430511475]90243346952.00%-1.3608
2(6.3500001430511475, 8.050000190734863]1648105759135.86%-0.6996
3(8.050000190734863, 9.25]1640118345727.87%-0.3298
4(9.25, 11.449999809265137]3422285556716.57%0.3355
5(11.449999809265137, inf]318929252648.28%1.1241
cust_seg2 客群分层等级 — IV 0.3733,4 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 3.5]205618671899.19%1.0094
2(3.5, 4.5]3333282251115.33%0.4279
3(4.5, 5.5]3330250582524.77%-0.1703
4(5.5, inf]2082125982339.53%-0.8558
query_cnt_3m 近3月机构查询次数 — IV 0.3273,5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 0.5]55028826247.64%-1.1863
2(0.5, 2.5]2750187587531.82%-0.5188
3(2.5, 3.5]1785138440122.46%-0.0422
4(3.5, 5.5]3012249252017.26%0.2861
5(5.5, inf]2704241429010.72%0.8382
rare_field 稀疏字段(高缺失) — IV 0.2831,5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, -0.05299999937415123]1881484021.28%0.0813
2(-0.05299999937415123, 0.3699999898672104]58382034.48%-0.5852
3(0.3699999898672104, 1.0099999904632568]8980910.11%0.9578
4(1.0099999904632568, 1.324500024318695]2619726.92%-0.2285
5(1.324500024318695, inf]36221438.89%-0.7751
income_grade 收入等级 — IV 0.2791,5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 3.5]121174346838.65%-0.8187
2(3.5, 4.5]2510176674429.64%-0.4165
3(4.5, 5.5]3361268967219.99%0.1057
4(5.5, 6.5]2503215035314.10%0.5258
5(6.5, inf]121611051119.13%1.0171
repay_amt_6m_grade 近6月还款金额等级 — IV 0.2509,5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 3.5]1647104760036.43%-0.7242
2(3.5, 4.5]2268163463427.95%-0.3342
3(4.5, 5.5]2991238460720.29%0.0870
4(5.5, 6.5]2286194434214.96%0.4567
5(6.5, inf]1609144416510.25%0.8883
tenure_m 授信时长(月) — IV 0.1702,5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 2.5]69641428240.52%-0.8970
2(2.5, 10.5]117989128824.43%-0.1516
3(10.5, 53.5]77156046166921.63%0.0062
4(53.5, 58.5]6475687912.21%0.6917
5(58.5, inf]564534305.32%1.5982
card_usage_ratio 信用卡额度使用率 — IV 0.1589,5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 0.107999999076128]922854687.38%1.2495
2(0.107999999076128, 0.3381499946117401]3589290468519.09%0.1635
3(0.3381499946117401, 0.6137499809265137]44403434100622.66%-0.0532
4(0.6137499809265137, 0.7716499865055084]130992538429.34%-0.4018
5(0.7716499865055084, inf]54133620537.89%-0.7869
bank_997_cnt_3m 近3月银行查询次数 — IV 0.0804,4 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 0.5]3447289954815.90%0.3849
2(0.5, 1.5]3739292881121.69%0.0028
3(1.5, 2.5]2224165556925.58%-0.2133
4(2.5, inf]139197142030.19%-0.4429
edu_level 学历 — IV 0.0013,4 箱
分组号分栏TotalGoodBadBad RateWOE
1大专3260257468621.04%0.0414
2本科4550355599521.87%-0.0076
3硕士及以上1405108132423.06%-0.0761
4高中及以下1586124334321.63%0.0066
region_code 区域 — IV 0.0012,5 箱
分组号分栏TotalGoodBadBad RateWOE
1其他2119165746221.80%-0.0038
2华东2156168547121.85%-0.0063
3华北2119168243720.62%0.0668
4华南2179170147821.94%-0.0116
5西南2228172850022.44%-0.0408
flag_special 特殊标记(高集中度) — IV 0.0000,1 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, inf]108018453234821.74%0.0000

注:统计全部候选变量的自动分箱明细(初分组),按 IV 降序展示前 17 个变量,共 17 个;完整数据见 feature_report.json。

04 单变量分析(粗分箱)

risk_score 内部风险评分 — 5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 519.5]255524141415.52%1.5593
2(519.5, 564.5]3183275243113.54%0.5730
3(564.5, 600.5]2574194662824.40%-0.1500
4(600.5, 643.5]1752106069239.50%-0.8545
5(643.5, inf]73728145661.87%-1.7651
2026-11-02T17:16:13.072237 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调上升(5.52% → 61.87%),WOE 单调下降(1.5593 → -1.7651),符合风控分箱预期。IV=0.8674,该变量区分度尚可。

WOE 在第 2、3 箱之间穿越 0 线:前 2 箱 WOE>0(客户质量优于整体),后 3 箱 WOE<0(风险高于平均)

第 5 箱((643.5, inf])为极高风险区间:坏率高达 61.87%,策略上应重点管控

cust_seg2 客群分层等级 — 4 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 3.5]205618671899.19%1.0094
2(3.5, 4.5]3333282251115.33%0.4279
3(4.5, 5.5]3330250582524.77%-0.1703
4(5.5, inf]2082125982339.53%-0.8558
2026-11-02T17:16:13.197546 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调上升(9.19% → 39.53%),WOE 单调下降(1.0094 → -0.8558),符合风控分箱预期。IV=0.3733,该变量区分度尚可。

WOE 在第 2、3 箱之间穿越 0 线:前 2 箱 WOE>0(客户质量优于整体),后 2 箱 WOE<0(风险高于平均)

第 4 箱((5.5, inf])为极高风险区间:坏率高达 39.53%,策略上应重点管控

query_cnt_3m 近3月机构查询次数 — 5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 0.5]55028826247.64%-1.1863
2(0.5, 2.5]2750187587531.82%-0.5188
3(2.5, 3.5]1785138440122.46%-0.0422
4(3.5, 5.5]3012249252017.26%0.2861
5(5.5, inf]2704241429010.72%0.8382
2026-11-02T17:16:13.327595 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调下降(47.64% → 10.72%),WOE 单调上升(-1.1863 → 0.8382),符合风控分箱预期。IV=0.3273,该变量区分度尚可。

WOE 在第 3、4 箱之间穿越 0 线:前 3 箱 WOE>0(客户质量优于整体),后 2 箱 WOE<0(风险高于平均)

第 1 箱((-inf, 0.5])为极高风险区间:坏率高达 47.64%,策略上应重点管控

income_grade 收入等级 — 5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 3.5]121174346838.65%-0.8187
2(3.5, 4.5]2510176674429.64%-0.4165
3(4.5, 5.5]3361268967219.99%0.1057
4(5.5, 6.5]2503215035314.10%0.5258
5(6.5, inf]121611051119.13%1.0171
2026-11-02T17:16:13.459765 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调下降(38.65% → 9.13%),WOE 单调上升(-0.8187 → 1.0171),符合风控分箱预期。IV=0.2791,该变量区分度尚可。

WOE 在第 2、3 箱之间穿越 0 线:前 2 箱 WOE>0(客户质量优于整体),后 3 箱 WOE<0(风险高于平均)

第 1 箱((-inf, 3.5])为极高风险区间:坏率高达 38.65%,策略上应重点管控

repay_amt_6m_grade 近6月还款金额等级 — 5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 3.5]1647104760036.43%-0.7242
2(3.5, 4.5]2268163463427.95%-0.3342
3(4.5, 5.5]2991238460720.29%0.0870
4(5.5, 6.5]2286194434214.96%0.4567
5(6.5, inf]1609144416510.25%0.8883
2026-11-02T17:16:13.590248 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调下降(36.43% → 10.25%),WOE 单调上升(-0.7242 → 0.8883),符合风控分箱预期。IV=0.2509,该变量区分度尚可。

WOE 在第 2、3 箱之间穿越 0 线:前 2 箱 WOE>0(客户质量优于整体),后 3 箱 WOE<0(风险高于平均)

第 1 箱((-inf, 3.5])为极高风险区间:坏率高达 36.43%,策略上应重点管控

tenure_m 授信时长(月) — 5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 2.5]69641428240.52%-0.8970
2(2.5, 10.5]117989128824.43%-0.1516
3(10.5, 53.5]77156046166921.63%0.0062
4(53.5, 58.5]6475687912.21%0.6917
5(58.5, inf]564534305.32%1.5982
2026-11-02T17:16:13.718203 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调下降(40.52% → 5.32%),WOE 单调上升(-0.8970 → 1.5982),符合风控分箱预期。IV=0.1702,该变量区分度尚可。

WOE 在第 2、3 箱之间穿越 0 线:前 2 箱 WOE>0(客户质量优于整体),后 3 箱 WOE<0(风险高于平均)

第 1 箱((-inf, 2.5])为极高风险区间:坏率高达 40.52%,策略上应重点管控

card_usage_ratio 信用卡额度使用率 — 5 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 0.107999999076128]922854687.38%1.2495
2(0.107999999076128, 0.3381499946117401]3589290468519.09%0.1635
3(0.3381499946117401, 0.6137499809265137]44403434100622.66%-0.0532
4(0.6137499809265137, 0.7716499865055084]130992538429.34%-0.4018
5(0.7716499865055084, inf]54133620537.89%-0.7869
2026-11-02T17:16:13.849977 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调上升(7.38% → 37.89%),WOE 单调下降(1.2495 → -0.7869),符合风控分箱预期。IV=0.1589,该变量区分度尚可。

WOE 在第 2、3 箱之间穿越 0 线:前 2 箱 WOE>0(客户质量优于整体),后 3 箱 WOE<0(风险高于平均)

第 5 箱((0.7716499865055084, inf])为极高风险区间:坏率高达 37.89%,策略上应重点管控

bank_997_cnt_3m 近3月银行查询次数 — 4 箱
分组号分栏TotalGoodBadBad RateWOE
1(-inf, 0.5]3447289954815.90%0.3849
2(0.5, 1.5]3739292881121.69%0.0028
3(1.5, 2.5]2224165556925.58%-0.2133
4(2.5, inf]139197142030.19%-0.4429
2026-11-02T17:16:13.978118 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调上升(15.90% → 30.19%),WOE 单调下降(0.3849 → -0.4429),符合风控分箱预期。IV=0.0804,该变量区分度偏弱但可用。

WOE 在第 2、3 箱之间穿越 0 线:前 2 箱 WOE>0(客户质量优于整体),后 2 箱 WOE<0(风险高于平均)

第 4 箱((2.5, inf])为高风险区间:坏率高达 30.19%,可作为拒绝或重点风控策略的阈值参考

注:统计入模变量经合并调整后的最终分箱明细(开发样本口径);本次无变量发生单调性合并,细/粗分箱一致。

05 变量筛选

项目内容
筛选优先级黑名单 > 白名单 > 自动规则
IV 下限0.02
缺失率上限0.8
集中度上限0.9
相关性上限(皮尔逊)0.7
PSI 上限0.25
重要性 Top-K80
黑名单avg_tnr
白名单无

候选变量 18,成功分箱 17,入模 8

变量白名单入模IV缺失率集中度IV门槛相关性PSI剔除原因
risk_score
内部风险评分
—Y0.8674PASSPASSPASSPASS0.0010
ScoreCust2
客户评分卡2
—N0.7925PASSPASSPASSFAIL0.0019与 risk_score 相关>0.7
cust_seg2
客群分层等级
—Y0.3733PASSPASSPASSPASS0.0005
income_grade
收入等级
—Y0.2791PASSPASSPASSPASS0.0009
bh_a001
百融履约指数A001
—N0.7941PASSPASSPASSFAIL0.0006与 risk_score 相关>0.7
bh_a009
百融信用历史长度
—N0.6036PASSPASSPASSFAIL0.0007与 risk_score 相关>0.7
bank_997_cnt_3m
近3月银行查询次数
—Y0.0804PASSPASSPASSPASS0.0010
avg_tnr
平均履约月数
—N——————黑名单
repay_amt_6m_grade
近6月还款金额等级
—Y0.2509PASSPASSPASSPASS0.0007
tenure_m
授信时长(月)
—Y0.1702PASSPASSPASSPASS0.0015
query_cnt_3m
近3月机构查询次数
—Y0.3273PASSPASSPASSPASS0.0002
card_usage_ratio
信用卡额度使用率
—Y0.1589PASSPASSPASSPASS0.0004
rare_field
稀疏字段(高缺失)
—N0.2831FAILPASS———缺失率>0.8
flag_special
特殊标记(高集中度)
—N0.0000PASSFAIL———集中度>0.9
edu_level
学历
—N0.0013PASSPASSFAIL——IV<0.02
region_code
区域
—N0.0012PASSPASSFAIL——IV<0.02
risk_score_v2
内部风险评分副本
—N0.8628PASSPASSPASSFAIL0.0013与 risk_score 相关>0.7
ScoreCust2_v2
客户评分卡2副本
—N0.7932PASSPASSPASSFAIL0.0010与 risk_score 相关>0.7

06 回归结果

待补充:本实验未运行 LR 路线(或未产生回归结果),无回归明细。

07 VIF

待补充:本实验未运行 LR 路线,未计算 VIF/相关系数。

08 最终评分卡

待补充:本实验未生成评分卡(未运行 LR 路线)。

09 模型表现

模型区分度评估(按样本)

模型样本KSAUCGINI
LightGBM开发样本0.37910.75650.5130
LightGBM测试样本0.37460.74880.4976
LightGBM训练+测试样本0.37710.75340.5068
LightGBM跨时间验证样本0.34290.73270.4654

LightGBM — 4 样本评估表(score_cut 粒度)

开发样本(KS 0.3791,AUC 0.7565)

cutscntbadgoodbad_ratepopulation_pctcum_bad_ratecum_good_rate
[-inf, 505)108161846357.17%10.01%26.32%5.48%
[505, 522)108044463641.11%10.00%45.23%13.00%
[522, 530)108030078027.78%10.00%58.01%22.23%
[530, 537)108026681424.63%10.00%69.34%31.86%
[537, 547)108019988118.43%10.00%77.81%42.28%
[547, 554)108018489617.04%10.00%85.65%52.88%
[554, 559)108013394712.31%10.00%91.31%64.08%
[559, 574)10801019799.35%10.00%95.61%75.67%
[574, 584)10806410165.93%10.00%98.34%87.68%
[584, inf)10803910413.61%10.00%100.00%100.00%
2026-11-02T17:16:14.104281 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/ 2026-11-02T17:16:14.224801 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

测试样本(KS 0.3746,AUC 0.7488)

cutscntbadgoodbad_ratepopulation_pctcum_bad_ratecum_good_rate
[-inf, 505)69139629557.31%9.60%25.32%5.24%
[505, 522)74027946137.70%10.28%43.16%13.42%
[522, 530)72223448832.41%10.03%58.12%22.08%
[530, 537)68216252023.75%9.47%68.48%31.30%
[537, 547)71113257918.57%9.88%76.92%41.58%
[547, 554)70310360014.65%9.77%83.50%52.23%
[554, 559)74810464413.90%10.39%90.15%63.66%
[559, 574)7217664510.54%10.02%95.01%75.10%
[574, 584)734446905.99%10.20%97.83%87.35%
[584, inf)747347134.55%10.38%100.00%100.00%
2026-11-02T17:16:14.406784 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/ 2026-11-02T17:16:14.527418 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

训练+测试样本(KS 0.3771,AUC 0.7534)

cutscntbadgoodbad_ratepopulation_pctcum_bad_ratecum_good_rate
[-inf, 505)1772101475857.22%9.84%25.92%5.38%
[505, 522)1820723109739.73%10.11%44.40%13.17%
[522, 530)1802534126829.63%10.01%58.05%22.17%
[530, 537)1762428133424.29%9.79%68.99%31.64%
[537, 547)1791331146018.48%9.95%77.45%42.00%
[547, 554)1783287149616.10%9.91%84.79%52.62%
[554, 559)1828237159112.96%10.16%90.85%63.91%
[559, 574)180117716249.83%10.01%95.37%75.44%
[574, 584)181410817065.95%10.08%98.13%87.55%
[584, inf)18277317544.00%10.15%100.00%100.00%
2026-11-02T17:16:14.649256 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/ 2026-11-02T17:16:14.769140 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

跨时间验证样本(KS 0.3429,AUC 0.7327)

cutscntbadgoodbad_ratepopulation_pctcum_bad_ratecum_good_rate
[-inf, 505)59031627453.56%9.83%22.97%5.93%
[505, 522)61524636940.00%10.25%40.84%13.91%
[522, 530)60717842929.32%10.12%53.78%23.18%
[530, 537)59416742728.11%9.90%65.92%32.42%
[537, 547)62114547623.35%10.35%76.45%42.71%
[547, 554)5479944818.10%9.12%83.65%52.40%
[554, 559)6008052013.33%10.00%89.46%63.65%
[559, 574)6117553612.27%10.18%94.91%75.24%
[574, 584)630505807.94%10.50%98.55%87.78%
[584, inf)585205653.42%9.75%100.00%100.00%
2026-11-02T17:16:14.890554 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/ 2026-11-02T17:16:15.008315 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

跨时间验证样本结论

风险高度集中在低分尾端——最低 20% 样本集中了全量 40.8% 的坏客户,策略切分空间很大。

① 样本与分箱结构:共 6,000 样本 / 1,376 坏样本,整体坏率 22.93%,好坏比约 3.4:1;10 档等频分数分栏,每箱约 10%,分箱均匀,无空箱无过厚箱。

② 排序性与单调性:逐箱 Bad Rate 53.56% → … → 3.42%(低分 → 高分),无倒挂,最低分段坏率是最高分段的 15.7 倍。

③ 区分度与坏客户捕获:最低 20% 样本捕获全量 40.8% 的坏客户,最低 50% 捕获 76.4%;最高 20% 样本仅含 1.4% 的坏客户,其中风险最高一箱单独占 23.0%。

(口径:分数 = 按基准分/优比/PDO 刻度由模型概率转换,分数越高风险越低;结论由程序按分箱数据自动生成。)

注:score_cut 表按开发样本(train)分数等频 10 档取边界(低分 → 高分),各样本共用同一套边界、同栏可比(20261022 口径);分数由模型概率按基准分/优比/PDO 刻度转换,分数越高风险越低;每表附 KS/AUC(按概率计算,与分栏口径无关);训练+测试 = TRAIN 全体。旧实验无分数转换时为 PD 等频口径(按本样本分位切分)。

10 KS和GINI

LightGBM

样本KSGINIAUC
开发样本0.37910.51300.7565
测试样本0.37460.49760.7488
训练+测试样本0.37710.50680.7534
跨时间验证样本0.34290.46540.7327

开发样本

2026-11-02T17:16:15.094436 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/ 2026-11-02T17:16:15.161772 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

测试样本

2026-11-02T17:16:15.229386 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/ 2026-11-02T17:16:15.297769 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

训练+测试样本

2026-11-02T17:16:15.364920 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/ 2026-11-02T17:16:15.433669 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

跨时间验证样本

2026-11-02T17:16:15.500519 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/ 2026-11-02T17:16:15.628052 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

注:GINI = 2×AUC−1。KS 图 X 轴为分数(升序),红虚线为最大间隔位置;ROC 图例标注 AUC。

11 PSI

模型稳定性评估

模型训练集与测试集训练集与跨时间验证训练集与oot验证集训练集与psi验证集
LightGBM0.00090.0014—0.0018

分数段 PSI 明细(开发样本 vs 跨时间验证样本)

分数段开发样本占比跨时间验证样本占比PSI 贡献累计 PSI
[-inf, 505)10.00%9.83%0.00000.0000
[505, 522)10.00%10.25%0.00010.0001
[522, 530)10.00%10.12%0.00000.0001
[530, 537)10.00%9.90%0.00000.0001
[537, 547)10.00%10.35%0.00010.0002
[547, 554)10.00%9.12%0.00080.0010
[554, 559)10.00%10.00%0.00000.0010
[559, 574)10.00%10.18%0.00000.0011
[574, 584)10.00%10.48%0.00020.0013
[584, inf)10.01%9.77%0.00010.0014

分数段 PSI 明细(开发样本 vs PSI时点样本)

分数段开发样本占比PSI时点占比PSI 贡献累计 PSI
[-inf, 505)10.00%10.07%0.00000.0000
[505, 522)10.00%10.40%0.00020.0002
[522, 530)10.00%9.57%0.00020.0004
[530, 537)10.00%9.22%0.00060.0010
[537, 547)10.00%9.67%0.00010.0011
[547, 554)10.00%10.33%0.00010.0012
[554, 559)10.00%10.05%0.00000.0012
[559, 574)10.00%10.42%0.00020.0014
[574, 584)10.00%10.60%0.00040.0017
[584, inf)10.01%9.68%0.00010.0018
2026-11-02T17:16:15.708682 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

注:分数段 PSI 明细按分数刻度计算(概率→分数转换,20261022 口径),分栏边界取自开发样本(train)分数等频分位,各对比样本共用同一套边界。

模型样本量分布评估

评分段开发样本样本量开发样本占比测试样本样本量测试样本占比训练+测试样本样本量训练+测试样本占比跨时间验证样本样本量跨时间验证样本占比PSI时点样本样本量PSI时点样本占比
(-inf, 505]108010.00%6919.60%17719.84%5909.83%60410.07%
(505, 522]108010.00%74010.28%182010.11%61510.25%62410.40%
(522, 530]108010.00%72210.03%180210.01%60710.12%5749.57%
(530, 537]108010.00%6829.47%17629.79%5949.90%5539.22%
(537, 547]108010.00%7119.88%17919.95%62110.35%5809.67%
(547, 554]108010.00%7039.77%17839.91%5479.12%62010.33%
(554, 559]108010.00%74810.39%182810.16%60010.00%60310.05%
(559, 574]108010.00%72110.02%180110.01%61110.18%62510.42%
(574, 584]108010.00%73410.20%181410.08%62910.48%63610.60%
(584, inf]108110.01%74710.38%182810.16%5869.77%5819.68%
sum10801100.00%7199100.00%18000100.00%6000100.00%6000100.00%

变量 PSI(开发样本 vs PSI时点样本,按入模变量分箱)

特征项PSI状态
tenure_m
授信时长(月)
0.0015稳定
bank_997_cnt_3m
近3月银行查询次数
0.0010稳定
risk_score
内部风险评分
0.0010稳定
income_grade
收入等级
0.0009稳定
repay_amt_6m_grade
近6月还款金额等级
0.0007稳定
cust_seg2
客群分层等级
0.0005稳定
card_usage_ratio
信用卡额度使用率
0.0004稳定
query_cnt_3m
近3月机构查询次数
0.0002稳定
risk_score — PSI 0.0010
分栏开发基准比例PSI时点样本 比例变更贡献
(-inf, 519.5]23.66%23.95%0.29%0.0000
(519.5, 564.5]29.47%30.13%0.66%0.0001
(564.5, 600.5]23.83%22.52%-1.31%0.0007
(600.5, 643.5]16.22%16.37%0.15%0.0000
(643.5, inf]6.82%7.03%0.21%0.0001
cust_seg2 — PSI 0.0005
分栏开发基准比例PSI时点样本 比例变更贡献
(-inf, 3.5]19.04%19.07%0.03%0.0000
(3.5, 4.5]30.86%30.50%-0.36%0.0000
(4.5, 5.5]30.83%31.77%0.94%0.0003
(5.5, inf]19.28%18.67%-0.61%0.0002
query_cnt_3m — PSI 0.0002
分栏开发基准比例PSI时点样本 比例变更贡献
(-inf, 0.5]5.09%5.28%0.19%0.0001
(0.5, 2.5]25.46%25.40%-0.06%0.0000
(2.5, 3.5]16.53%16.27%-0.26%0.0000
(3.5, 5.5]27.89%28.37%0.48%0.0001
(5.5, inf]25.03%24.68%-0.35%0.0001
income_grade — PSI 0.0009
分栏开发基准比例PSI时点样本 比例变更贡献
(-inf, 3.5]11.21%10.70%-0.51%0.0002
(3.5, 4.5]23.24%23.15%-0.09%0.0000
(4.5, 5.5]31.12%31.07%-0.05%0.0000
(5.5, 6.5]23.17%24.25%1.08%0.0005
(6.5, inf]11.26%10.83%-0.42%0.0002
repay_amt_6m_grade — PSI 0.0007
分栏开发基准比例PSI时点样本 比例变更贡献
(-inf, 3.5]15.25%14.83%-0.42%0.0001
(3.5, 4.5]21.00%21.75%0.75%0.0003
(4.5, 5.5]27.69%26.92%-0.78%0.0002
(5.5, 6.5]21.16%21.43%0.27%0.0000
(6.5, inf]14.90%15.07%0.17%0.0000
tenure_m — PSI 0.0015
分栏开发基准比例PSI时点样本 比例变更贡献
(-inf, 2.5]6.44%5.53%-0.91%0.0014
(2.5, 10.5]10.92%11.22%0.30%0.0001
(10.5, 53.5]71.43%71.92%0.49%0.0000
(53.5, 58.5]5.99%6.13%0.14%0.0000
(58.5, inf]5.22%5.20%-0.02%0.0000
card_usage_ratio — PSI 0.0004
分栏开发基准比例PSI时点样本 比例变更贡献
(-inf, 0.107999999076128]8.54%8.40%-0.14%0.0000
(0.107999999076128, 0.3381499946117401]33.23%33.98%0.75%0.0002
(0.3381499946117401, 0.6137499809265137]41.11%40.27%-0.84%0.0002
(0.6137499809265137, 0.7716499865055084]12.12%12.15%0.03%0.0000
(0.7716499865055084, inf]5.01%5.20%0.19%0.0001
bank_997_cnt_3m — PSI 0.0010
分栏开发基准比例PSI时点样本 比例变更贡献
(-inf, 0.5]31.91%32.48%0.57%0.0001
(0.5, 1.5]34.62%35.27%0.65%0.0001
(1.5, 2.5]20.59%20.35%-0.24%0.0000
(2.5, inf]12.88%11.90%-0.98%0.0008

注:PSI ≤ 0.1 视为稳定,0.1~0.25 需关注,> 0.25 不稳定。

12 单变量分析

注:统计所有入模变量的单变量分析(开发样本口径)。预留验证/总体/OOT 口径的分组明细待扩展。

risk_score 内部风险评分
组号ValueTot. Records累计占比#Goods#BadsBad RateG/B Odds
1(-inf, 519.5]255523.66%24141415.52%17.12
2(519.5, 564.5]318353.12%275243113.54%6.39
3(564.5, 600.5]257476.96%194662824.40%3.10
4(600.5, 643.5]175293.18%106069239.50%1.53
5(643.5, inf]737100.00%28145661.87%0.62
合计108018453234821.74%3.60
2026-11-02T17:16:15.820007 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调上升(5.52% → 61.87%),WOE 单调下降(1.5593 → -1.7651),符合风控分箱预期。IV=0.8674,该变量区分度尚可。

WOE 在第 2、3 箱之间穿越 0 线:前 2 箱 WOE>0(客户质量优于整体),后 3 箱 WOE<0(风险高于平均)

第 5 箱((643.5, inf])为极高风险区间:坏率高达 61.87%,策略上应重点管控

cust_seg2 客群分层等级
组号ValueTot. Records累计占比#Goods#BadsBad RateG/B Odds
1(-inf, 3.5]205619.04%18671899.19%9.88
2(3.5, 4.5]333349.89%282251115.33%5.52
3(4.5, 5.5]333080.72%250582524.77%3.04
4(5.5, inf]2082100.00%125982339.53%1.53
合计108018453234821.74%3.60
2026-11-02T17:16:15.943758 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调上升(9.19% → 39.53%),WOE 单调下降(1.0094 → -0.8558),符合风控分箱预期。IV=0.3733,该变量区分度尚可。

WOE 在第 2、3 箱之间穿越 0 线:前 2 箱 WOE>0(客户质量优于整体),后 2 箱 WOE<0(风险高于平均)

第 4 箱((5.5, inf])为极高风险区间:坏率高达 39.53%,策略上应重点管控

query_cnt_3m 近3月机构查询次数
组号ValueTot. Records累计占比#Goods#BadsBad RateG/B Odds
1(-inf, 0.5]5505.09%28826247.64%1.10
2(0.5, 2.5]275030.55%187587531.82%2.14
3(2.5, 3.5]178547.08%138440122.46%3.45
4(3.5, 5.5]301274.97%249252017.26%4.79
5(5.5, inf]2704100.00%241429010.72%8.32
合计108018453234821.74%3.60
2026-11-02T17:16:16.072340 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调下降(47.64% → 10.72%),WOE 单调上升(-1.1863 → 0.8382),符合风控分箱预期。IV=0.3273,该变量区分度尚可。

WOE 在第 3、4 箱之间穿越 0 线:前 3 箱 WOE>0(客户质量优于整体),后 2 箱 WOE<0(风险高于平均)

第 1 箱((-inf, 0.5])为极高风险区间:坏率高达 47.64%,策略上应重点管控

income_grade 收入等级
组号ValueTot. Records累计占比#Goods#BadsBad RateG/B Odds
1(-inf, 3.5]121111.21%74346838.65%1.59
2(3.5, 4.5]251034.45%176674429.64%2.37
3(4.5, 5.5]336165.57%268967219.99%4.00
4(5.5, 6.5]250388.74%215035314.10%6.09
5(6.5, inf]1216100.00%11051119.13%9.95
合计108018453234821.74%3.60
2026-11-02T17:16:16.203058 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调下降(38.65% → 9.13%),WOE 单调上升(-0.8187 → 1.0171),符合风控分箱预期。IV=0.2791,该变量区分度尚可。

WOE 在第 2、3 箱之间穿越 0 线:前 2 箱 WOE>0(客户质量优于整体),后 3 箱 WOE<0(风险高于平均)

第 1 箱((-inf, 3.5])为极高风险区间:坏率高达 38.65%,策略上应重点管控

repay_amt_6m_grade 近6月还款金额等级
组号ValueTot. Records累计占比#Goods#BadsBad RateG/B Odds
1(-inf, 3.5]164715.25%104760036.43%1.75
2(3.5, 4.5]226836.25%163463427.95%2.58
3(4.5, 5.5]299163.94%238460720.29%3.93
4(5.5, 6.5]228685.10%194434214.96%5.68
5(6.5, inf]1609100.00%144416510.25%8.75
合计108018453234821.74%3.60
2026-11-02T17:16:16.330496 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调下降(36.43% → 10.25%),WOE 单调上升(-0.7242 → 0.8883),符合风控分箱预期。IV=0.2509,该变量区分度尚可。

WOE 在第 2、3 箱之间穿越 0 线:前 2 箱 WOE>0(客户质量优于整体),后 3 箱 WOE<0(风险高于平均)

第 1 箱((-inf, 3.5])为极高风险区间:坏率高达 36.43%,策略上应重点管控

tenure_m 授信时长(月)
组号ValueTot. Records累计占比#Goods#BadsBad RateG/B Odds
1(-inf, 2.5]6966.44%41428240.52%1.47
2(2.5, 10.5]117917.36%89128824.43%3.09
3(10.5, 53.5]771588.79%6046166921.63%3.62
4(53.5, 58.5]64794.78%5687912.21%7.19
5(58.5, inf]564100.00%534305.32%17.80
合计108018453234821.74%3.60
2026-11-02T17:16:16.456867 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调下降(40.52% → 5.32%),WOE 单调上升(-0.8970 → 1.5982),符合风控分箱预期。IV=0.1702,该变量区分度尚可。

WOE 在第 2、3 箱之间穿越 0 线:前 2 箱 WOE>0(客户质量优于整体),后 3 箱 WOE<0(风险高于平均)

第 1 箱((-inf, 2.5])为极高风险区间:坏率高达 40.52%,策略上应重点管控

card_usage_ratio 信用卡额度使用率
组号ValueTot. Records累计占比#Goods#BadsBad RateG/B Odds
1(-inf, 0.107999999076128]9228.54%854687.38%12.56
2(0.107999999076128, 0.3381499946117401]358941.76%290468519.09%4.24
3(0.3381499946117401, 0.6137499809265137]444082.87%3434100622.66%3.41
4(0.6137499809265137, 0.7716499865055084]130994.99%92538429.34%2.41
5(0.7716499865055084, inf]541100.00%33620537.89%1.64
合计108018453234821.74%3.60
2026-11-02T17:16:16.584559 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调上升(7.38% → 37.89%),WOE 单调下降(1.2495 → -0.7869),符合风控分箱预期。IV=0.1589,该变量区分度尚可。

WOE 在第 2、3 箱之间穿越 0 线:前 2 箱 WOE>0(客户质量优于整体),后 3 箱 WOE<0(风险高于平均)

第 5 箱((0.7716499865055084, inf])为极高风险区间:坏率高达 37.89%,策略上应重点管控

bank_997_cnt_3m 近3月银行查询次数
组号ValueTot. Records累计占比#Goods#BadsBad RateG/B Odds
1(-inf, 0.5]344731.91%289954815.90%5.29
2(0.5, 1.5]373966.53%292881121.69%3.61
3(1.5, 2.5]222487.12%165556925.58%2.91
4(2.5, inf]1391100.00%97142030.19%2.31
合计108018453234821.74%3.60
2026-11-02T17:16:16.709557 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

关键结论

单调性良好:随分栏增大,Bad Rate 单调上升(15.90% → 30.19%),WOE 单调下降(0.3849 → -0.4429),符合风控分箱预期。IV=0.0804,该变量区分度偏弱但可用。

WOE 在第 2、3 箱之间穿越 0 线:前 2 箱 WOE>0(客户质量优于整体),后 2 箱 WOE<0(风险高于平均)

第 4 箱((2.5, inf])为高风险区间:坏率高达 30.19%,可作为拒绝或重点风控策略的阈值参考

13 压力测试

注:验证压力情境下模型的有效性和区分能力稳定性:a.坏浓度更高样本 b.时间外样本 c.特定特征客群 d.极端时间样本。当前流程自动生成情景1(贡献度最高的变量调用失败,20261026 批注2)与情景2(客群资质变差——跨时间样本剔除一半好样本,批注16)。

测试情景1:贡献度最高的变量调用失败

变量贡献度

变量贡献度
risk_score215.0000
card_usage_ratio27.0000
tenure_m22.0000
income_grade21.0000
cust_seg214.0000
repay_amt_6m_grade13.0000
bank_997_cnt_3m12.0000
query_cnt_3m9.0000
失效变量贡献度口径值KS(前 → 后)AUC(前 → 后)KS 衰减AUC 衰减
risk_score18859.84630.3429 → 0.27930.7327 → 0.6876-0.0636-0.0451

注:失效处理口径:LR 将该变量 WOE 置 0(中性箱)后按系数重算概率;树模型将该特征置缺失重打分;评估样本 = 跨时间验证样本。衰减幅度反映模型对头部变量的依赖程度。

区分度验证 — LightGBM @ 跨时间样本

KS = 0.3429,GINI = 0.4654

2026-11-02T17:16:16.835284 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/ 2026-11-02T17:16:17.017881 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

测试情景2:客群资质变差

指标数值
样本量6000 → 3688(剔除好样本 2312)
KS(前 → 后)0.3429 → 0.3373(Δ -0.0056)
AUC(前 → 后)0.7327 → 0.7297(Δ -0.0030)
GINI(后)0.4594
2026-11-02T17:16:17.143949 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/ 2026-11-02T17:16:17.266177 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/

注:情景2 模拟客群资质变差的压力情形(好客户变少、坏客户占比升高):随机剔除一半好样本(固定 seed=42,可复现)后复算 KS/AUC。