研华工业云WISE-DataInsight/DIS数据集成服务
研华WISE-DataInsight/DIS 数据集成服务是一个数据同步的工具，提供多源异构数据的采集、传输、导入功能，支持离线和实时等多种同步方式，实现数据的同步、迁移、融合等多种场景。简而言之，研华工业云WISE-DataInsight/DIS数据集成服务让您轻松收集、处理和分发数据，打破数据孤岛，让数据流动起来！
研华工业云WISE-DataInsight/DIS数据集成服务支持多种类型的数据来源，比如关系型数据库、NoSQL数据库、无结构化数据存储、实时流数据等。通过对这些数据源的数据进行抽取、转换、导入，将其同步到目的地数据源中。研华工业云WISE-DataInsight/DIS数据集成服务不仅支持同类型的数据源的数据同步，比如从一个MySQL数据库同步到其他的MySQL数据库，还支持异构的数据源之间的同步，比如MySQL数据库的数据还可以同步到其他的关系型数据库，像PostgreSQL、SQL Server等，也可以同步到NoSQL数据库或其他文件存储系统中。
产品架构图
研华工业云WISE-DataInsight/DIS数据集成服务的产品架构可以分为三层，自下而上分别是执行层，管控层以及运维层。
执行层，包含离线同步引擎和实时同步引擎。目前离线同步和实时同步是分开的。离线同步引擎包含离线执行器和离线插件库，实时同步引擎包含实时执行器和实时插件库，同步任务会被分配到某个执行器执行，然后执行器加载合适的插件来运行同步任务。DIS可以部署在Linux本地环境或者VM中，也可以以容器化方式部署在Docker或者K8s环境中。
在管控层，DIS提供项目管理，数据源管理，权限管理，执行器管理和任务管理。项目管理方便用户按照项目的方式来管理数据源、同步任务以及执行器。数据源管理用来管理各种数据源的连接。权限管理为用户访问提供安全管控。执行器管理方便用户添加私有执行器。任务管理主要帮助用户进行任务的构建、编辑、执行等操作。
在运维层，DIS提供了监控、日志、报警通知等功能。通过运维中心可以监控任务的调度和执行状况，以及执行器的资源使用情况。日志管理可以用来过滤和查看任务执行的日志，方便用户排查问题。任务执行以及资源使用的异常信息，可以通过各种报警渠道发送告警通知，比如常用的微信、邮件、电话、钉钉等。
另外，整个服务还做了多租户管理，可以将一套DIS服务提供给多个租户使用。数据源以及执行器等各种资源都是可以隔离的。
十大核心功能特性
研华工业云WISE-DataInsight/DIS数据集成服务拥有非常强大的功能特性。
01 简单易用零代码。首先是它的易用性，它提供了可视化的操作界面，用户通过简单的配置即可完成同步任务的创建，在大多数同步场景中，用户基本是零代码即可完成同步操作。
02 丰富的异构数据源。它支持丰富的异构数据源，比如关系型数据库、NoSQL数据库、文件存储、大数据存储、消息队列等20+种数据源。
03 离线、实时全场景覆盖。DIS覆盖了离线、实时全场景同步，既可以采集静态数据，也可以采集实时变化数据，一键完成全增量数据同步。
04 支持数据转换。同时它还可以在同步过程中进行数据转换，帮助用户轻松完成数据过滤、脱敏，补全等功能，并支持自定义函数，使得ETL作业一步到位。
05 星形同步链路。DIS采用星形同步链路，任意两种数据源都可以连通为一条数据同步链路。
06 开放可扩展性。它的每一种数据源都是采用插件的方式，不支持的数据源也可以通过开发插件的方式快速接入，这使得它具有高度的开放可扩展性。
07 错误控制和脏数据处理。另外，它还有错误控制和脏数据处理功能，可以设置错误记录阈值、错误占比阈值，使得数据同步任务在出错时及时停止，避免系统资源的浪费。还可以实现脏数据的采集和展示，方便用户排查问题。
08 精确的速度控制。DIS还可以控制同步速度，通过通道并发数、记录流、字节流来控制同步速度，避免过高的压力影响在线业务系统的使用。
09 精细的权限管控。为了保障数据源的访问安全，DIS也开发了权限管控功能，可以按照项目或者用户来分配数据源权限，任务权限，执行器权限等。
10 监控告警。DIS还具有监控告警的功能，可以监控任务的运行状况及执行器的资源使用情况，出现异常时可以通过多种渠道进行报警。
WISE-DataInsight工业大数据分析平台
研华工业云WISE-DataInsightgo工业大数据分析平台是研华最新推出的套件品牌，它主要用来进行大数据的管理与分析。WISE-DataInsight下面包含很多不同的子产品，比如DIS，Stream，DataLake，ETL，BI等。那么这些子产品之间，以及与其他品牌产品之间的关系是怎样的呢，下面我们通过这个逻辑图来为大家介绍一下这些服务之间的关系。
最左边是一些不同类型的数据源，比如ERP、CRM、MES等生产管理、企业管理系统，这些系统数据一般都是存储在数据库中，还有一些图片视频等非结构化数据，可能会被存储在各种文件系统中，以及来自消息队列的流数据，还有各种设备数据。
要进行大数据管理和分析，首先要把这些不同类型的数据都采集到大数据平台中。设备数据一般由WISE-IoTSuite中的IoT Edge进行采集，IoT Edge提供了数据转发功能，可以将采集的数据转发到消息队列或其他服务，比如要对采集的设备数据进行复杂的数据预处理，便可以将数据转发到WISE-DataInsight/Stream服务。Stream是一个实时计算服务，可以对流数据进行数据过滤、数据转换、插值补值、去重降噪等处理，也可以根据用户需求自定义算子。Stream处理后的数据会被转发到DIS，由DIS再转存到DataLake中。另外其他数据源的数据也都可以经由DIS采集、处理、再导入到DataLake。这样所有数据都会汇聚到DataLake建立一个数据中心。数据是一切分析的基础，有了数据，可以通过WSIE-DataInsight/ETL对数据进行二次清洗，并抽取到数据仓库，再用WISE-DataInsight/BI工具对数据进行自助探索和多维分析。除了AI，还可以通过WISE-AIFS对数据湖中的数据进行机器学习，更深度挖掘数据的价值。
应用场景
01 数据迁移上云
在传统业务迁移上云的过程中，用户不仅需要把服务迁移到云上，更需要把数据迁移到云上，DIS服务可以帮助用户完成数据的迁移过程。
02 异构数据源转换
用户在使用数据存储时，有时会遇到数据存储性能不能满足需求的情况，便会考虑更换数据存储类型，DIS服务可以帮助用户完成不同类型存储之间的数据迁移，实现异构数据源的转换。
03 数据融合分析
数据分析场景的数据经常来自多种不同的异构数据源，将数据汇集到一起是进行数据分析的第一步，DIS支持丰富的异构数据源，可以帮助用户将多种异构数据汇聚到一起，为后续数据分析做准备。
04 数据湖构建
传统的存储方式已经不能满足现代大数据的存储需求，通过DIS可以将数据库历史数据、IoT数据、Log日志等流数据转存到数据湖等大数据存储中，利用大数据存储的分布式技术满足数据日益增长的需求，并可通过压缩技术节省存储空间，也可起到数据备份的作用。
05 实时数仓构建
利用DIS可以将IoT数据、各种Log日志等流式数据进行汇聚，再结合实时计算引擎，完成实时数仓应用场景的构建。
客户成功案例
【案例分享1】：助力边云数据实时同步，实现IT和OT数据融合
此案例是通过DIS CDC同步方式助力边云数据实时同步，实现IT和OT数据融合分析。客户在边缘数据库存储了产品数据及工单数据，并希望将这些数据实时同步到云端，与设备数据进行关联分析，遇到的问题是边端和云端用到的数据库类型不一致，需要进行异构数据源的数据转换，另外，数据库实时更新需要用到CDC技术，Change Data Capture，即要实时捕获到数据的更新信息，并同步到云端，但现有的工具并不能满足需求。我们的解决方案是，先通过DIS将历史数据全部同步到云端数据库，再通过DIS CDC捕获数据库的实时更新同步到云端，所以整体的方案是，通过IoT Edge采集设备数据发送到云端，通过DIS采集数据库数据，当数据库数据有变化时，会将变化的数据同步到MQTT中，再通过Data Hub将变动数据更新到云端数据库，实现边云数据的实时同步。通过此方案，便可将产品数据和工单数据发送到云端，进而与设备数据进行关联，进行生产绩效管理、设备维护管理等，实现IT和OT数据的融合分析。
【案例分享2】：助力数据湖构建，提供AI规范化数据
此案例是通过DIS助力数据湖构建，提供AI规范化数据。这其实是一个数据湖+AIFS的机器学习解决方案，客户在进行机器学习时一般会面临几个问题，比如数据源多样，包含设备数据、各种业务系统数据、应用数据、Log日志等数据，要对数据进行AI机器训练，需要对接多种数据源，操作复杂，另外进行机器学习的数据格式不统一，数据质量差，影响机器学习的效果，所以需要对数据进行预处理。针对这些问题，我们采用DIS作为数据汇聚和清洗的工具，通过DIS将各类数据源汇聚到数据湖中，为AI机器学习提供数据基础，还支持在入湖时对数据进行清洗处理、标准化，方便后续使用机器学习模型分析。
【案例分享3】：融合多源数据，助力IT部门考勤数据分析
此案例中，客户想做一份员工考勤数据报表，但遇到了一些问题，比如因为疫情影响，员工经常会被安排在家办公，打卡系统不能全面分析员工考勤情况，考勤数据分析需要结合多个管理系统的数据进行综合分析，比如，这些数据源包含Excel表格，Rest API，数据库等多种类型。针对这些问题，我们采用DIS作为数据汇聚的工具，因为DIS支持多种类型的异构数据源，通过DIS可以将这些考勤数据汇聚到一起，汇聚过程中还可以进行数据过滤、字符串转换等操作，比如过滤到一些空记录，再比如将字符串类型的日期转换为时间格式，数据汇聚后再通过BI分析工具进行各部门平均工时统计，请假情况分析，以及明细汇总。通过分析考勤数据让领导了解各个部门的管理和工作情况，从而获得岗位设置、定员定编的可靠建议，员工考勤作为绩效考核的一部分，精准的考勤数据也可以为绩效考核提供依据。
【案例分享4】：汇聚离散文件， 助力企业销售业绩分析
此案例中，客户的数据分析部门要做一个销售业绩分析报表，但是因为权限问题，无法直接对接公司的销售管理系统数据库，能够获取到的数据只能从UI上下载CSV文件，一个月产生一个当月销售的明细文件，这样通过单个文件就无法进行跨月分析，离散的文件也不利于管理和再利用。我们的解决方案是将所有CSV文件放到数据湖中进行资料的统一存储和管理，为用户建立一个数据中心，方便之后重复利用。然后通过DIS将离散的CSV文件整合在一起，保存到数据仓库中，再通过BI分析进行各种指标的分析，比如客户销售业绩、部门销售业绩、员工销售业绩、产品销售业绩、按时间统计销售业绩等，通过销售业绩分析，帮助企业了解哪些是重点客户，更加准确定位客户，并帮助各部门了解业绩状况，促进业绩目标的达成，也可帮助分析某时间段内业绩过低原因，及时调整销售方案。
如果您有任何问题，欢迎在评论区留言讨论，也非常欢迎大家前来试用，打破数据孤岛，实现数据融合分析，挖掘数据更大价值。
#点击观看视频# 打破数据孤岛，让数据流动起来！研华工业云WISE-DataInsight/DIS数据集成服务让您轻松收集、处理和分发数据!
