联系我们

数据采集交换

数据采集交换平台应用架构

概述

数据采集交换平台是一个承载企业内所有应用系统实时和批量数据交换任务，为企业日渐庞大及复杂的数据交换提供最优解决方案的技术产品，具有统一交换、统一调度、统一监控的产品特点。采用分布式、服务化部署结构，支持主流的数据库包括大量的信创分布式数据库；每个环节都有互备机制，保证系统的稳定性和高可用性。根据各模块功能特点，采用统一的服务化组件和配置化开发支持，通过配置实现实时/批量交换资源的开发上线以及任务运行时的调度，也能通过调度监控接口和数据交换组件供企业应用系统使用，且调度引擎和传输工具均可适应信创等多种部署环境。

我们的优势

全链路数据互通

打通行内分散的业务系统（核心、信贷、柜面等），实现跨系统定时/实时数据无缝流转，消除“数据烟囱”，为数据中台、报表分析、实时风控、客户画像等上层应用提供统一、可靠的数据通道。

场景化数据服务能力

入湖能力：将多源数据统一归集到数据湖贴源层，支撑批量分析、AI建模等数据密集型场景；

出湖能力：为下游系统提供ES、HBase、DWS等多介质的数据服务，满足实时查询、批量供数等不同诉求；

实时采集能力：数据库变更毫秒级捕获，支撑实时风控、实时营销等业务创新。

技术提效

标准化配置，降低开发门槛通过可视化界面完成数据源管理、作业配置、调度策略设置，业务人员/初级开发人员也可快速上手，开发效率提升60%以上。

异构数据源全适配，原生支持20+主流数据源（关系型数据库、大数据组件、文件系统、对象存储等），覆盖行内几乎所有数据载体，无需重复开发适配逻辑。

优越的传输效率

天阳科技数据采集交换平台在实践案例中的传输效率表现优异，具体体现在：

1、数据湖实时采集场景最快可以到达50M/S的采集效率

2、系统间的数据交换效率最快可以到达百兆每秒；

3、数据湖数据服务数据供给场景最快可以到达40M/S的效率；

应用场景

天阳科技数据采集交换平台，为商业银行提供全场景配套技术工具支撑，已形成多类成熟的标准化技术解决方案；所有场景下的账务核心、信贷核心、信用卡核心服务均由持牌合作银行独立运营决策，我方仅提供技术工具支撑。

行内数据交换场景

由目标系统提出数据交换需求，由数据交换总线提供数据交换支撑能力；数据交换总线提供批量交换和实时交换两种服务模式。

处理流程：

1、批量数据卸出组件将源系统数据批量卸出到对象存储上。

2、批量转载读取对象存储上数据批量装载到目标数据库中。

3、实时采集组件将源系统数据写入消息队列Kafka。

4、实时装载消费Kafka队列数据写入目标数据库表中。

5、实时订阅消费Kafka队列数据，向目标系统提供实时订阅服务。

我们是如何帮助客户成功的

头部城商行数据采集交换平台实践

天阳科技数据采集交换平台为国内万亿资产规模头部城商行提供服务，该行跨区域经营业态丰富、业务系统繁多，存在多源数据异构杂乱、实时数据链路缺失、数据对接周期长、运维压力大、监管追溯难等突出问题。依托天阳科技数据采集交换平台轻量化、可配置、高可用的核心能力，该行完成全域数据采集交换体系升级，针对性解决业务与数据治理痛点，落地后取得可量化、可落地、可复盘的专项实践成效。具体成效体现在：

1、数据对接效率大幅提速，业务迭代能力显著增强

2、全域数据互联互通，夯实精细化运营底座

3、实时数据能力落地，支撑实时风控与业务提速

4、运维极简可控，合规与自主可控能力全面升级

5、综合业务价值凸显，实现降本增效双向升级

FAQ/常见问题

数据采集交换平台支持哪些数据源类型？

支持关系型数据库（MySQL、Oracle、OceanBase、SQLServer、PostgreSQL、DRDS、Kingbase、通用RDBMS等）、阿里云数仓存储（ODPS、ADB、ADS、OSS、OCS、Hologres等）、阿里云中间件（DataHub、SLS）、图数据库（GDB、Neo4j）、NoSQL（OTS、HBase、Phoenix、MongoDB、Cassandra）、数仓（StarRocks、Doris、ClickHouse、Databend、Hive、Kudu、SelectDB）、非结构化存储（TxtFile、FTP、HDFS、Elasticsearch）、时间序列数据库（OpenTSDB、TSDB、TDengine）等。

产品是否支持国产化信创环境？

支持。天阳科技在多家试点银行不同基础环境上部署数据采集交换平台，实现从操作系统、中间件、数据库等的信创适配。

产品的实时采集和批量传输性能如何？

在某农商银行实测中，实时采集速率≥42M/s、时延<5s；实时入湖速率≥27M/s；批量交换单任务表到文件最高可达186M/s以上；批量入湖性能最高达74M/s；批量出湖到DWS、CK、HBase等也有具体实测数据。整体满足多种场景下的传输效率要求。

产品如何降低开发门槛？

通过标准化配置和可视化界面完成数据源管理、作业配置、调度策略设置，业务人员/初级开发人员可快速上手，开发效率提升60%以上。

产品有哪些部署特性？

采用分布式、服务化部署结构，每个环节都有互备机制，保证系统稳定性和高可用性；调度引擎和传输工具均可适应信创等多种部署环境。

合规声明

天阳科技为金融数字化技术服务商，无放贷、融资担保、助贷类金融牌照，仅向商业银行输出风控系统、AI尽调工具、普惠信贷运营技术支撑；全部信贷审批、授信、放款、利率定价权限由合作银行独立行使，我方不干预任何信贷核心业务，不承担信贷资产风险，不向借款企业收取融资相关费用。本栏目所有效能描述、案例相关表述，均为特定合作银行单一项目阶段性实测下的技术工具表现，仅用于说明技术能力维度，不代表普遍落地效果。受银行客群结构、区域市场环境、自主风控策略、业务运营模式等多重客观因素影响，不同合作项目的实际落地效果存在差异，相关表述不构成任何服务效果承诺与保证。银行开展信贷业务需严格遵守信贷七不准、《金融产品网络营销管理办法》、助贷业务监管等相关规定。

数据采集交换