金融数据工程平台

金融数据工程平台

数据工程平台是实现数据完整价值链的，众多数据技术的集成、工程应用、组织与管理平台，介于传统与大数据基础技术平台与终端应用系统之间。 数据工程平台是借鉴工业革命的经验，秉承以“工程化”的组织方式与技术手段，集成数据、技术、人才三种资源，实现大数据处理技术标准化、生产流水化、流程组合化、调度自动化、管理一体化，最终形成“工程化”的平台。数据工程平台可实现数据到知识的（半）自动转化的生产组织管理体系；通过数据获取，数据清理、处理、分析、知识挖掘与应用的技术工具，工业化生产组织方式及业务知识挖掘改变数据产品生产组织管理方式，帮助银行等金融机构提高基于数据进行的知识生产标准化、抽象化、流程化的逻辑设计、运行、组织、管理效率，大大降低银行运营成本，高质量响应个性化数据产品需求。

功能

• 全栈式解决方案
  从数据获取、清洗、处理、分析、挖掘到服务从开发、运行、管理到监控，实现数据完整的价值链。
• 标准化组件及灵活组合
  标准化自治的抽象组件，屏蔽技术细节，可灵活拼接预置输出/输出、清洗、转换、统计分析、机器学习等组件，开箱即用；支持Python、R、Java、Shell等语言的自定义扩展。
• 多层抽象数据处理流
  面向业务、数据、技术人员，提供不同层次的抽象视角，视角之间保持一致积木式搭建数据流，基于全员参与的合理逻辑设计，可灵活应对复杂处理需求抽象层次包括：模板化业务、具体业务、参数化技术实现、具体化技术实现、执行实现。
• 多种调度执行方式
  基于各种事件（时间、数据、命令等）灵活调度处理；自主通用分布式调度执行引擎，可委托开源框架执行（通过技术适配对接），也可自行执行。
• 透明对接技术生态
  通过统一、标准的逻辑抽象，利用自动适配技术，透明对接各种传统及大数据技术生态，实现数据逻辑抽象化、实现技术中性化，充分利用各种技术红利，同时降低应用门槛。