導讀：做風控的同學都知道，要做好一個模型可能已經有一定的難度：需要我們構建適合于解決問題的樣本、清晰定義目標變量、加工并選擇好的特征、采用合適的模型方法等，每一步都要避免其中的各種“坑”。然而，當我們做了一系列模型之后，可能又會面臨一個更加考驗技巧的任務——如何有效地應用好模型，尤其是有多個模型的情況下，如何制定恰當的應用策略方法。

01模型策略分析方法

模型策略是基于已有風控模型制訂最優決策的整體方法，它決定了模型價值是否能夠被充分發揮，直接影響信貸業務的盈利水平。模型策略分析流程主要包含樣本提取、模型策略的制訂、模型策略評估、模型策略的上線與驗證，以及模型策略回顧，如圖2所示。

1. 樣本選取

樣本選取是指選取制訂模型策略所需的樣本集，通常包含風控模型開發時的跨時間驗證集（OOT）和近期授信樣本集（BackScore），如圖3所示。在模型策略開發中，我們只需要準備模型分和逾期標簽?？鐣r間驗證集包含逾期標簽，一般是近期放款且有表現的樣本集，主要用于衡量同時期新模型相對于舊模型的模型效果提升度和制訂決策點（Cut-off）時的效果預估。近期授信樣本集是指近期所有進入模型打分階段的樣本集，包含被模型通過和拒絕的所有樣本，主要用于設定新模型在預期通過率下的模型閾值。

圖3 模型策略樣本劃分

跨時間驗證集需要包含訂單標識、模型分和逾期標簽列，近期授信樣本集需要包含訂單標識和模型分列。

2. 模型策略的制訂

模型策略的制訂主要決定模型的組合方式和閾值。在制訂相關方案時，我們需要在轉化率和壞賬率之間進行權衡，以實現最大收益。模型策略應用方案可分為單模型策略和多模型組合策略。

（1）單模型策略

單模型策略是指利用單一模型分進行決策，故只需要確定單一模型的最優決策點。單模型適用場景：

信貸業務開展前期，線上只有一個模型。

信貸業務開展中期，雖然線上模型增多，但是模型間關聯性較強，此時，大多以單模型決策為主。

單模型策略的制訂決策點設定方式如下：

① 基于模型通過率與壞賬率的決策點設定

在模型通過率與壞賬率之間尋找一個決策點，理想的狀態是該決策點的設立可提高通過率并降低壞賬率。而在實際使用過程中，可能出現下列情形。

保持目標模型通過率，降低壞賬率。迭代后的新模型上線后，其性能（AUC、KS等指標）通常比線上正在決策的模型好。因此，在信貸業務穩定時，我們可使用此方式，在保證當前通過率的情況下，期望新模型降低壞賬率。例如，當前模型通過率為30%，我們可利用近期授信樣本集找到通過率30%對應的模型分，并將其作為新模型的決策閾值。

提升模型通過率，保持壞賬率。由于不同金融機構所處的發展時期不同，故對業務的訴求會有差異。當金融機構的信貸業務高速發展時，金融機構不一定要降低壞賬率，而是需要在保持當前壞賬率的同時，提升通過率。例如，當前壞賬率為5%，我們需要利用跨時間驗證集和近期授信樣本集評估得到壞賬率為5%時的模型分，并將其作為決策閾值。

提高模型通過率，同時降低壞賬率。當新模型的效果較舊模型有大幅提升時，新模型可以同時滿足目標通過率和壞賬率的需求。此時，我們需要繪制決策曲線，橫軸表示模型通過率，縱軸表示壞賬率。通過觀察決策曲線的走勢，我們可以選擇合適的決策點。

決策曲線示例如圖4所示，當前的決策點在A點時，我們可以選擇D點為新決策點，模型通過率和壞賬率都會有所優化；如果選擇B點為新決策點，即保持模型通過率為40%，那么壞賬率將從15%優化到5%；如果選擇C點為新決策點，即保持壞賬率為15%，那么模型通過率將從40%提升到60%。

圖4 決策曲線示例

②?基于lift的決策點設定

lift表示風控模型對預測目標中不良客戶的識別比例高于隨機識別比例的倍數。以1為標準，lift小于1表示該模型比隨機識別捕捉了更少的不良客戶，lift等于1表示該模型的表現等同于隨機識別，lift大于1表示該模型比隨機識別捕捉了更多的不良客戶。在通常情況下，lift的值越大越好。

我們將所有客戶的模型評分分為10~20箱，從低到高排序，按分數排序累計至該分箱的不良客戶占所有不良客戶的比例（Cumulative Bad(%)by model）與隨機排序累計至該分段的不良客戶占所有不良客戶的比例（Cumulative Bad(%)randomly）的比值即lift。圖5為實際的lift計算示例，圖6為對應的lift提升圖。

圖5 lift計算示例

圖6?lift提升圖

通過觀察圖6，我們可以發現，第一箱（序號0）的lift值為3.13，即該模型預測分數最低的10%客戶壞賬率是隨機識別客戶壞賬率的3倍多。通過lift的大小，我們可以設定模型的決策閾值。

模型策略本質上是通過科學方法選擇模型的最優決策點。上面兩種決策點設定方法可以幫助我們快速設定模型決策點并上線應用，但它們主要依靠人的經驗，沒有考慮到決策閾值對通過率、壞賬率和其他成本的多重影響。因此，它們未必是利潤達到最大的決策方案。下面將介紹最優化算法在模型策略制訂中的應用。

（2）多模型組合策略

多模型組合策略是基于兩個或兩個以上模型分組合生成的模型應用方案。多模型組合策略的優勢如下：

能夠充分發揮多個模型性能互補的優勢。

內外部模型組合的使用能夠有效降低數據成本。

多模型組合策略的應用方式如下：

① 多模型融合準入

多模型融合準入是指利用加權或其他方式將多個模型分融合成一個模型分，再劃分風險等級上線決策，如圖7所示。從本質上來說，融合后的多模型與單模型是一樣的。我們通常采用等頻或等距方式對模型分進行劃分，一般劃分為9個等級（RG1~RG8，RGX），RG1的風險等級最低，RG8的風險等級最高，RG1~RG8表示通過，RGX表示直接拒絕。

②?多模型串行準入

多模型串行準入是指將多個模型以串行方式按先后順序依次決策準入，前一個模型決策通過的樣本再經過下一個模型決策進行評估，依此類推，由最后一個模型生成風險等級，如圖8所示。

圖8?多模型融合準入

在實際業務場景中，多模型串行準入較為常用，適用于多個優勢互補的模型分，既有助于多個模型分發揮最大價值，又可節省數據成本。通常，無成本模型先于有成本模型決策。

③多模型交叉準入

多模型交叉準入分為兩個階段：

準入階段，由前置模型完成。

交叉階段，由后置的兩個模型共同生成風險等級，如圖9所示。在此方法中，直接由后置的兩個模型交叉進行準入。

圖9 多模型交叉準入

該方法的優勢在于，利用模型分交叉生成的風險等級矩陣更能體現多模型的優勢，風險等級的劃分也更細。需要注意的是，在生成風險等級的過程中，我們要充分考慮每個交叉格子中樣本量，保證其具有統計學意義。

在開發新模型時，在同一OOT樣本集上，新模型在相關技術指標（AUC、KS、Gini等）上一定優于舊模型。如果我們貿然使用新模型決策，那么仍然具有潛在的風險：

一是新模型訓練樣本集的特征一般通過回溯得到，有可能發生特征線上與線下不一致風險。

二是新模型是在舊模型決策后的樣本上評估的，相對于將來應用時的樣本存在一定的差異，雖然新模型和舊模型是在同一樣本上進行對比的，但這依然對舊模型不公平。

因此，即使線下評估新模型的效果更好，在上線初期，我們也不建議使用新模型進行全流量決策。通常情況下，我們需要采用分流測試方式，即在保持相同通過率的條件下，對比新舊模型，觀察貸后逾期率的差異，從而選擇更優的模型策略。