【小彬说数据化监管】在线采集监管数据的几种方式
时间：2020-05-15 来源：北京结算
数据采集是整个监管数据分析链条中的第一环，是根据系统自身的需求和用户的需要来收集相关数据的过程，是所有监管系统必不可少的部分。地方金融监管系统在非现场监管工作方面能否发挥作用，很大程度上取决于采集数据的数量和质量。非现场监管所需的数据包括两个主要来源：被监管机构的内部数据，以及来自众多渠道的外部数据。针对外部数据，目前已经有了很多基于互联网的、较为成熟的数据采集手段，此处不再一一赘述，仅针对内部数据采集方式进行简单的探讨。与外部公开数据不同，内部数据具有非公开和非标准化的特点。为了降低采集难度，最早的数据采集方式一般为手工报表或者手工平台数据上报，人工操作量大，数据的时效性和可靠性较低。随着技术的发展，数据采集的方式更为多样化，下面列举几种主要方式： 数据接口采集方式
这是目前监管部门普遍采取的方式。报送方和接收方共同协商出统一的数据接口，报送方按照接口规范，将数据通过接口格式（如xml、文本、json等）报送给接收方。优点：一是前期统一了数据标准，便于后期监管数据处理和统计分析。二是监管数据采集和业务系统耦合度低，不会影响业务系统运行，且业务系统有变更，数据采集系统也无需调整。问题：报送方根据接口规范开发相应数据抽取功能，报送方需投入系统开发成本。 数据库从库采集方式
通过数据库同步软件，将数据从生产库同步到从库（或查询库），采集系统读取从库。问题：一是如果从多个数据源（监管对象）采集数据，就会存在数据不统一的问题，后期还需要整合、规范、统一，监管端整合的工作量很大。二是监管所需数据与业务数据紧耦合，一旦业务有变更，数据采集系统也需要调整。三是如果监管所需数据超出从库的数据范围，还需要从其他途径补充数据。 日志采集方式
报送方将监管部门需要采集的数据输出到日志中，数据采集系统对接系统日志来异步采集数据。优点：数据采集不会影响业务处理主流程，且减少了新建数据从库的成本。问题：这种方式的风险在于报送方的日志输出代码如果被删除了，会导致日志数据无法采集。而且从工作量来说，监管端整合的工作量也很大。 客户端埋点采集方式
这种方式常见于移动端应用，主要通过在终端设备内嵌入埋点功能SDK，采集、保存并上传客户端的用户行为、业务数据到服务端。常见的埋点方式主要有三种：代码埋点、全埋点（无埋点）、可视化埋点。问题：一是网络环境不稳定容易影响数据的上报。二是如存在多个功能入口，容易漏掉埋点。 软件采集方式
监管部门向被监管行业推广使用统一的业务系统，该业务系统与监管系统直接对接。优点：这种方式更为彻底，保障了数据的真实性和时效性。问题：这种方式对统一业务系统的要求比较高，不光要满足业务的多样性，也要有足够的稳定性、安全性、兼容性和成长性。
