世界短讯！如何设计一个风控实验？以度小满风控实验平台架构设计为例

导读： 大数据风控在互联网金融领域的应用已相对成熟，现在大多金融服务都已可线上进行，因此各个方面的风险控制更加信息化。风控系统的建立就是依赖于数据的积累做规则与分析，为风险控制提供更好的技术手段验证，而风控实验平台便提供了这样一个贯穿策略全周期的环境。今天度小满资深技术专家谭领航会和大家分享度小满风控实验平台的架构和实践。

今天的介绍会围绕下面四点展开：

风控实验业务背景 风控实验平台架构设计实践 风控实验平台架构演进挑战 如何设计一个风控实验

分享嘉宾｜谭领航 度小满 资深技术专家

(资料图)

编辑整理｜郭增煌

出品平台｜DataFunTalk

01

风控实验业务背景

风控实验系统是度小满在风控策略迭代过程中，业务人员用于验证策略全流程的平台。

实验主要分为以下两块：

当有策略进行新增或变更时 ，“线下实验”用于确保策略能够覆盖相关的测试场景以及相关的策略分支路径。 当策略变更上线后 ，“小流量实验”使得策略的迭代可以在小范围内进行评估来进行效果观察，避免了策略迭代超乎预期结果且在生产上出现影响范围扩大的情况。

--

02

风控实验平台架构设计实践

风险系统架构目前已经形成了相对成熟、相对稳定的架构体系。目前主要有三层架构：业务层，平台层及数据层。

业务层 主要将信贷业务抽象成贷前、贷中、贷后三个业务单元。 平台层 ，下分变量及决策模块，即对数据的加工及使用。变量模块主要将数据加工成变量及特征，而决策模块主要将数据的决策作为输入进入 数据层 ，则是将内外部数据通过加工汇集形成相应的数据主题，以供风控业务人员进行相关的数据分析及模型训练使用，并存在将部分标准化数据提供至决策平台进行决策支撑使用。

综上，风控系统是一个支撑信贷业务进行决策的系统。而风控实验平台则属于决策模块中，实验流程贯穿风控决策完整过程。

--

03

风险实验平台整体架构

流量自风控系统决策平台流入线上实验平台，经主策略（风控基准策略）流至各实验层（不同分支策略），各实验层中分别进行相互无影响小流量测试来得出线上策略迭代的实验决策结果。同时，实验决策结果也会下沉到离线环境。在线下实验平台中，镜像流量进行镜像实验，历史数据则进行回放实验。线上与线下的决策结果均会导入至OLAP平台进行实验结果分析，进一步评估相应的策略迭代效果，以上即整个风控实验系统的整体架构。

1. 线上实验平台

线上实验即通过决策平台流量直接流入实验平台，并进行将小部分流量流入相应的策略迭代实验中，进而获取相应的决策结果。

而线上实验应如何去避免不同的策略实验相互影响？

由于风控决策链条较长，链条中各个业务模块均可能存在相应的策略调整，所以在整个线上实验中，可以将每个实验层作为一个策略的迭代验证实验，倘若实验层之间的流量自上层流入下层时是随机正交的，获取的流量成分是一致的，则可以认为该实验层的实验结果与上层是相对独立的，不受影响的。

2. 线下实验平台

首先介绍一下实验样本，实验样本中记录了线上风控决策的所有输入变量和输出结果。输入变量可以在线下实验回放测试过程中重新作为样本进行输入，而输出结果则可与实验的输出结果进行对比，进而评估线下实验效果。线下实验均需要使用到实验样本。

线下实验主要分为三种：镜像实验，历史实验和构造实验。

①镜像实验

镜像实验为线上决策结果产生后，即刻进行样本采集，推送至实验平台，实验平台依据实验内容，同步开启多路镜像实验。镜像实验结果可以实时产生，并可用于与线上决策结果的实时对比分析。适用于观测策略变更对于线上的影响与预期的符合度。举个例子，风控策略变更，打算降低风险客户准入门槛，预期将会有多5%的客户能达到准入资格，此时则可以通过镜像实验来观测结果是否能符合预期。

②历史实验

历史实验为线上决策结果产生后，通过筛选已知表现结果的样本进行实验，再联合实验数据进行实验结果的分析。举个例子，当某次线上决策结果，该客户为贷款通过，但目前表现结果为逾期，则利用该历史数据来做策略变更后的准入重放，则可以得到实验结果是否能将该客户在准入排查时便进行拦截。

③构造实验

构造实验为直接根据相关样本数据构造相应的规则进行实验，主要适用于真实发生的样本数据无法覆盖某些特定场景，则可以自己构造相关的实验来验证规则的有效性。

3. 实验结果分析

①小流量实验结果分析

小流量实验是处于线上环境的实验，是直接对线上产生效果的，所以相关的分析方法也与线上使用的分析方法一致，举个例子，如图vintage分析，分析策略在不同授信时间变更后，准入后的客户在后续时间节点的逾期率表现；假设在某个时间节点做了策略的变更，依据此策略准入后的客户逾期率降低了，则可以说明该策略是有效的，而若逾期率升高了，则可以说明策略仍需要进行调整。

此结果分析是典型的OLAP场景，在分析的过程中更需要支持相应的变量过滤筛选，进行进一步的策略影响性分析，比如筛选特定行业，学历的人群，再分析该策略对应的影响，以便知晓策略调整的方向。

②线下实验结果实验分析

线下实验的分析主要是利用现存已有数据做策略实验重放之后进行对比生成，而在风控中存在尽可分析基准策略通过，而新策略拒绝的场景。

举例来说，客户在基准策略中通过了准入排查，在新策略中会在准入排查中被拒绝，则在此场景可以分析相应的逾期率变化，若逾期率降低了，则可以知晓新策略可以将原本准入后会存在逾期的客户在准入排查时便拒绝了，从而降低了整体的逾期率。但线下分析无法去衡量基准策略是拒绝，但新策略是通过的实验结果，因为客户在基准策略拒绝后，便失去了后续的表现数据，进而无法衡量新策略的实验结果。

--

04

风险实验平台架构演进挑战

①挑战一

小流量实验通过实验结果分析， 如何判断实验达到了预期效果，而不是样本正常波动带来的偏差？ 随着业务发函，需要同时开展的小流量实验较多，可供实验的流量有限，如何尽可能少的使用流量？

引入TEST的方法：

定性： 根据符合预期的实验A、B数据及给定的显著差异的置信度，计算实验A、B评估指标是否具有显著差异。

定量： 根据给定的指标预期差异及显著差异的置信度，计算至少需要多少样本量的实验能验证是否具有显著差异。

如实验指标为 ：用户授信3月户均余额，可接收置信度为0.95。

根据符合预期的实验A、B数据，计算两个实验A、B在用户授信后3月户均余额层面在可接收置信度为0.95时是否具有显著差异，举例，两个实验各放了100人进入授信实验中，三个月后，若实验样本户均余额不存在显著差异，则代表该次策略迭代无意义。

给定当前大盘户均余额10000，预期实验提升10%余额，可接收置信度为0.95，该方法可计算至少需要积累多少样本量，可以判断实验是否达成了预期结果，且结果具有显著差异，从而判断实验成功或失败。

②挑战二

策略迭代除规则或cutoff值迭代外，变量/特征也会迭代，也属于策略迭代的一部分。而历史样本不包含这类数据，不重新计算会导致结果不准确， 重新在线计算会存在“穿越”（样本重新计算时，使用了当前的一些变量），如何处理？

在实时决策链路中，进行样本的保存，使得离线环境做数据重新计算时，能引入在实时链路过程中保存下来的历史样本。并在实验中进行相关的变量取值或变量替换，来达到变量重新回溯的结果，以供离线分析使用。

在风控架构中，一般都是先有在线处理，再有离线处理，相较于业界标准的批流一体处理，度小满实现线上线下一体打通是使用技术角度相对简便，成本较低的方式，即将实时加工链路中的公共加工逻辑进行抽象后，在离线链路数据加工做进行扩展，以进行变量的回溯。

③挑战三

实验平台小流量实验对风控在线决策性能的影响： 小流量实验打标对风控决策性能的影响 。

风控实验中，一般某用户被标记为了实验对象，则该用户多次操作贷款审批或额度评估等操作，均需要保证一致性。此时通过后端服务进行分流，存储用户所归属的实验，则可以对其持续采用相同的策略，而进行状态的存储。但若存在实验层或实验较多的情况，则会影响风控决策的性能，会存在有百豪秒级别的开销。

度小满中使用了本地分来的方法，通过固定的哈希算法并取模来进行分流，可以确保实验分流的稳定性，但这种方法也存在实验流量比例仅可调大不可调小的限制

④挑战四

实验平台线下实验样本数较大，实验耗时较长。

当实验样本数较大，计算繁琐，决策路径较长，导致实验耗时长时，这便需要利用到离线计算，其是实现方式和变量回溯类似，优点便是实验计算中不影响在线服务的性能且可以根据相应的实验进行弹性的资源分配。通过将决策内容（策略、规则等）抽象成公共JAR包，在离线环境模拟相应的决策过程，可以通过弹性资源轻松完成数百倍与在线环境的计算。

--

05

如何设计一个风险实验

实验诉求： 已有信用类数据新增变量A加工，目标替换变量B，预期逾期率降低0.2%，确定有显著差异后全流量。

整体有如图5个步骤：

①样本准备 ：实验是已有的信用类数据新增变量，则需要通过变量回溯来进行样本的构造。

②规则编辑 ：策略人员编辑相应的规则，例如新增变量A为信用分小于500拒绝，并替换原有规则B。

③线下实验 ：配置相应的历史实验，并将已经回溯的样本数据输入，并通过线下实验进行验证，分析线下实验的结果，确认是否符合预期。其中用到了前述提及的SWAP IN & SWAP OUT方法，通过查看策略收紧及策略下探之后的逾期率变化与预期的偏离程度。例如原有用户为通过审核，但其在原有规则下一段时间后表现逾期，但在新规则下，用户被拒绝，则此策略的收紧是否正相关逾期率的降低。

④小流量实验： 配置小流量的实验，利用TTEST方法，设置观测指标，运行实验，在样本数符合一定数量后，进行小流量的实验结果分析，确认结果是否存在显著差异。

⑤转全 ：若存在显著差异后，可以确认实验成功，可进行线上流量转全。

今天的分享就到这里，谢谢大家。

｜分享嘉宾｜

｜DataFun新媒体矩阵｜

｜关于DataFun｜

专注于大数据、人工智能技术应用的分享与交流。发起于2017年，在北京、上海、深圳、杭州等城市举办超过100+线下和100+线上沙龙、论坛及峰会，已邀请超过2000位专家和学者参与分享。其公众号 DataFunTalk 累计生产原创文章800+，百万+阅读，15万+精准粉丝。

关键词： 实验结果 设计一个 进行实验