大数据平台应用（林志鹏，侵权必究）

"智慧工会"是工会组织积极探索社会治理创新模式，为更好服务职工，顺应当前广大职工使用现代移动通讯技术和社交网络平台的潮流，结合智慧城市建设之智慧公共政务的发展和要求，全力打造的新型公共服务平台。充分利用工会现有基础数据，通过移动互联网及呼叫中心自动完成业务流程，实现服务信息化管理，既可提高业务处理效率，又能节约运营成本。

政策背景

　　十八大以来，党和政府对工人阶级和工会工作给予了高度重视，习近平总书记2015年4月28日重要讲话中强调指出："新形势下，工会工作只能加强，不能削弱;只能改进提高，不能停滞不前。"《中共中央国务院关于构建和谐劳动关系的意见》、《中华全国总工会2015年工作要点》、全国总工会《关于新形势下加强基层工会建设的意见》等政策、文件也对新时期新形势下工会服务转型，基层工会建设提出了纲领性的要求。

    随着大数据、人工智能、物联网等新兴技术的快速发展，无论是农业、医疗政府工作还是扶贫工作相继推出”大数据＋行业”的形式，并且起到显著作用,我们研究已有的行业案列,研究”智慧工会”的可行性.

农业方面，2018年1月中共中央 国务院发布《关于实施乡村振兴战略的意见》旨在要推进我国农机装备产业转型升级，加强科研机构、设备制造企业联合攻关，进一步提高大宗农作物机械国产化水平，加快研发经济作物、养殖业、丘陵山区农林机械，发展高端农机装备制造。优化农业从业者结构，加快建设知识型、技能型、创新型农业经营者队伍。大力发展数字农业，实施智慧农业林业水利工程，推进物联网试验示范和遥感技术应用。

当前对于智慧农业来说，各类大数据平台的构建实践效果和意义十分明显，根据我国农业大数据发展现状，农业大数据未来 发展需要特别关注的是平台与数据、需求与应用、交易与共享。

一方面大数据技术和人工智能技术的迅速发展,推动了智慧农业的发展,各种农产品也走上了各大电子商务平台,但许多高品质的特色农产品在智能营销中并未得到充分运用。这主要是由于移动互联网时代传统营销方式的局限性,大多农产品销售信息数据传递分散而多样,这种复杂性增加了农产品销售信息管理与分析的难度。以农产品智能化营销为基础,分析农产品产销的主要趋势,从供应链的角度进行大数据分析, 涵盖整个农产品生产和销售产业链,对各种农产品生产企业进行生产监管、农产品流通管理、小农户与大市场对接，这也是数字农业大数据平台的另一个重要优势。

另一方面在农业科技活动中，长期积累和整编的海量科学数据，具有重要的保存和开发利用价值，随着微生物组学数据的日益剧增，农业大数据的高效 管理与分析越来越受到研究者的关注大量的数据 本身是没有价值的，需要新的方法和方法来处理、构造、分析、可视化并将数据集成到模型中，通过农业大数据平台推动农业大数据产业发展。

例如对于农业土壤微生物设计的模型，对土壤微生物定制化分许与数据挖掘，Mapreduce分布式深度学习R语言动态运行，用户可以通R访问 HDFS中的数据，还支持访问存储在Inceptor分布式内存中的数据。在Discove中，用户既可以通过R命令行，也可以使用图形 化的软件执行 R语言程序来访问数据，易用性极高。Discover内置了大量常用机器学习算法的分布式实现，可以与R语言中的数千个算 法混合使用，配合TDH内置的高度优化的专有算法， 可高速分析现有平台中的海量数据。Discover 还集成了多个机器学习算法库，包含了统计算法、分 类算法、聚类分析、回归分析、频度关联分析和神经网 络在内的常用算法，方便用户快速构建大规模数据挖掘系统和方案,从而使大数据平台发挥效果。

目前，农业生物多样性大数据平台框架和数据库建设也取得了一定的成绩，当前农业大数据分析平台构建的关键技术1.数据采集处理分析。农业大数据分析平台的基础是为了实现多元化数据的收集与集成处理。对于数据采集，要确保 ETL 工具能提高数据采集效率，并且保证工作时该平台性能的稳定，确保编写的插件有高标准的可重用性，满足各种类型的数据源接入。只有这样，在农业生产过程中，最终使用者才能借助该平台轻松获取数据报告，不需要执行较为复杂的编程任务。对于数据库的设计，应考虑采用三级服务等级，即详细、摘要及应用集成。首先，将 ETL采集到的数据按照相应的提取规则建立临时存储数据库，并将其作为详细数据，从中提取出关键信息划入摘要数据中，根据业务的需要来调用相应的数据。其次，根据查询的需要，将详细数据信息与摘要数据展示给用户，从而实现农业生产和销售过程的多维数据体系。2.通过 BI 分析平台进行分析。BI 分析平台以其能有效处理复杂数据的优势在农业大数据分析平台中承担处理多维数据服务的角色，将不容易理解的专业数据或复杂的数据转化为较容易理解的图形；并借助其提供的多维分析工具，让用户直观地查看综合分析后的需求信息，对每个指标的动态与出现的变化进行分析和预测，借助数据报告显示功能，将获得的结果通过文本、数字及图形等农民容易理解的方式进行展示。

在政府服务方面，从近年来欧美等发达国家关于互联网信息服务的实践可以看出，大数据技术已普遍被应用到政府在网络大数据是随着人类数据量的剧增而产生的一种新 技术，不仅强调数据量之大、类型之多，更强调通过对 海量数据的深度挖掘和多维剖析，发现数据背后所蕴含的有价值信息。当下，如何利用大数据技术和理念，确保人民能够获取到更多、更好的政府信息服务，已成为 信息化条件下建服务型 政府，实现国家治理体系和治理能力现代化的重要内容。

例如就这次疫情而言，大数据在新冠疫情一体化治理中的应用,在事件开始阶段，得到了政府的响应，特别是国务 院联防联控机制对于政府各部门的信息公开、数据开放 和共享提供了基础。该次事件的治理主体除了政府之 外，全面发动了不同学科领域专家、企业和社会等多 方力量，汇集医护人员和应急医疗物资筹集、调度和 供应，针对病毒科研攻关、研发等。在2020年1月28日 央视“新闻1+1”节目中，国家卫健委高级别专家组成 员李兰娟院士连线白岩松时表示，专家正利用大数据技 术梳理感染者的生活轨迹，追踪人群接触史，成功锁 定感染源及密切接触人群，为疫情防控提供宝贵信息。 同时，国务院颁布的《近期防控新型冠状病毒感染的 肺炎工作方案》中指出，各地要充分应用“大数据+网 格化”等手段，抓好疫情监测、检测、排查、预警等工 作。针对本次疫情，以“大数据+网格化”等手段进行 流行病学调查，发现和控制隐性传染源，为各地精准防 控、精准施策提供了有效支撑。

运用大数据、人工智能、云计算等数字技术，在疫情监测分析、病毒溯源、防控治、资源调配等方面发挥支撑作用，做到早发现、早报告、早隔离、早治疗，使疫情防控关口前移，在实现疫情精准防控的同时提升社会运行效率。按照内防扩散、外防输出的防控战略要求，探索整合数字资源，不断提升大数据治理能力，在保护公民信息安全的同时，实现大数据治理统一指挥、多元实施、精准防控、快速反应。

运用大数据建立统一高效的领导指挥平台，实现在党中央统一领导下开展大数据精准防控，指导各级党委政府准确分析把握疫情和经济社会发展形势，制定分区分级差异化防控策略。各省市县根据相应的防控策略，结合大数据分析、研判和预警，精准防控。社区网格员逐条排查重点人员信息，充实系统数据，实时更新，实现记录精准、反馈及时。将信息进行整合分析，形成重点突出的防疫作战图，为决策联防联控提供精准的数据支撑。查找传染源、密切接触者以及人口流动特 征。如江苏、青海、云南等多地公安部门依托“大数据 应用+人工”手段开展地毯式排查，切实找准并切断传 染源，有效遏制了疫情扩散蔓延势头，确保输入性感染 隐患排查见底。同时，利用大数据技术追踪移动轨迹、 建立个体关系图谱等，在精准定位疫情传播路径、防控 疫情扩散方面发挥重要作用。目前，中国3家基础电信 企业根据疫情防控的需要，在得到用户授权的情况下， 基于电信大数据分析，向用户提供本人“14天内到访地 查询”服务。该服务可以帮助有关部门提高对流动人员 行程查验的效率，对重点人群进行排查，实施精准防 控。另外，追踪被感染者的疾病传播路径、定位感染 源，配合关系图谱更可锁定被感染者曾经接触过的人 群，以便及时采取隔离、治疗等防控措施，避免疫情更 大范围扩散。这些个体数据集合形成的群体数据，则能 够清晰显示重要疫区的人员流入及流出方向、动态及规 模，如百度、腾讯等互联网企业均已基于授权数据制作 此次春运期间的人口迁徙地图，可据此观察各城市的人 口流入、流出状况，尤其是重点疫区人口流出方向。这 些数据有利于定位疫情输出的主要区域、预测地区疫情 发展态势、预测地区潜在染病人群，为疾病防控部门及 地区政府分类制定春运返程计划、有针对性地出台交通 管制措施等提供决策支撑。

多元主体协同治理。大数据精准防控需要多元主体参与，协同完成大数据治理工作。各级政府利用大数据，精准掌握疫区信息，统筹部署防控工作。卫健委利用医疗监控疫情系统归集、汇总，对每日诊疗情况直报，同时收集医院、药店、诊所等关键信息。电商终端为人们提供应用通讯、社交、地图、电商等各种功能，利于开展大数据筛查，在追踪病例或疑似病例，或暴露于疫区、途经疫区，以及与已确诊病例有可能同时出现在某公共场所或接触(间接或直接接触)的人员列入相应的筛查名单。对社交平台发布的言论、信息进行关联分析，排查相关人员是否有潜在的发病或病毒携带的可能。与生活密切联系的数据，如电力数据等，也可以为社区的疫情排查提供数据支撑。在协同治理中，从大数据中提取有用信息，进行专业的处理技术，数据收集、清洗、抓取、建模，确定每个模型所需的数据资源、关键特征、衡量标准等，确保模型能够迅速投入实战。通过大数据协同治理，提升疫情防控的整体效能。

再者，检测、预测新型冠状病毒传染趋势。如浙江 采用“大数据+网格化”方法实时监测分析疫情动态、 跟踪排查高风险人员流向，“浙里办”(浙江政务网) 建立了新型病毒公共服务管理平台等举措，以政府大数 据开放应用带动了企业、社会大数据汇聚融合，也是浙 江政府数字化转型的制度优势转化为治理效能的充分体现。同时，在浙江杭州等地，利用大数据分析生成公众 健康码，亮绿码可正常通行，黄码和红码则要按规定进 行隔离并打卡, 截至3月2日12时，浙江全省累计发放健 康码6369.3万张，绿码率达98.5%。这种基于数字化实 现的动态管理，让城市管理者对整体疫情防控有一个 全盘统筹，有利于提升精准管控、精密智控的应用效 能。基于大数据的全国新冠病毒疫情实施动态监测地 图不断推广传播，方便大众及时了解疫情进展。人民日 报和丁香医生、凤凰新闻、网易新闻等媒体都陆续发布 了各自的实时疫情地图。百度地图慧眼百度迁徙、腾讯 迁徙、中国联通等运营服务商，以及信息科技公司城市 象限、位和科技等，运用掌握的基于位置端的人口分布 和迁徙大数据，开展疫情期间人口流动规律分析，并对 疫情可能的扩散趋势提出风险预测建议。大数据在政府领域的应用，已成为政府信息服务创新研究的主要热点。虽然大数据环境下政府信息服务创新还面临较多有待解决的问题，但大数据技术为政府信息服务创新带来了更多的发展机遇，对于用户需求的挖掘和掌握，将直接有助于政府信息服务中个性化信息服务的实现，为以用户为中心的政府信息服务提供了可靠的实现路径。

    当前大数据平台具有1.横向扩展：大数据技术出现之初所要解决的问题就是数据存储与计算，近年来随着数据量产生速度越来越快，传统平台存储与计算能力遇到瓶颈，而大数据平台是分布式架构，理论上是可以无限扩展的，所以其能更好的适应时代的发展。2.资源共享：企业通过使用单一集群，可以化零为整，整合所有可用服务器资源，并统一对外提供所有的能力，可以实现细粒度的资源调度机制。并且只需维护一个集群，降低运维成本。3.数据共享：使用单一存储架构，可以将企业内部所有数据集中在一个集群中，方便进行各种业务数据的整合使用，从而充分利用大数据技术全量数据分析的优势。4.服务共享：通过统一服务架构，可将一套统一服务设计规则应用到所有的服务实现上。5.安全保障：通过统一安全架构，在单一集群架构基础上实现细粒度的资源隔离，对不同人员进行不同程度的授权。等显著的优势。

　由当前大数据平台在其他行业的应用可以看出，利用大数据平台主要实现的功能可以总结为：1.集群监控与管理：毫无疑问集群是需要能够进行统筹的管理及监控的能力，否则运维团队在做运维时将无从下手。2.资源接入：数据是一个企业的核心资源，我们对业务模型的建立，分析，挖掘都需要建立在原始数据之上，而这些数据来源多（日志，关系数据库，爬虫等），类型杂（结构化，半结构化，非结构化数据），体量大，所以大数据平台需要能够对接各种来源及各种类型的海量数据。3.数据存储及查询：数据接入之后，就需要根据不同的应用场景进行存储，例如关系型数据模型，非关系型数据模型，文档数据模型，大数据平台需要能够提供不同的存储模型及不同的查询手段。4.数据计算：根据不同的应用场景会有不同的计算要求，简单的可以分为离线计算和实时计算，机器学习，多维分析。在数据对时效性要求不高且数据量大的情况下可以选择离线计算。例如报表之类的需求。但对于时效性要求比较高的场景，例如银行的风险控制，就需要选择实时计算模型。机器学习可以使用大数据平台的全量数据进行模型训练，常用于预测，预警，推荐等应用场景。例如今日头条。由于大数据平台数据的互通性使得可以从多个维度对某一事件进行分析，例如从商品，客户，价格，商品折扣，商品促销等多个维度进行分析，从而得出某一商品近期销售额是增加了还是减少了，商品的主要消费群体是什么年龄段的。5.大数据平台安全管理：需要具备用户管理与访问控制能力。6.任务管理及调度：我们开发的数据抽取，离线计算还是实时计算等都需要以任务形式提交到调度系统，可以进行任务追踪，日志查询key，执行周期性要求等。

   而智慧工会的主要需求是1.借助平台整合各方资源，建立与政府、其他群团组织和社会力量的信息化沟通渠道2.整合帮扶资源，借助网络平台形成全面覆盖、部门联动、社会协同的"大帮扶"格局。3.整合并优化维权工作资源和手段，简化职工维权流程，扩大维权服务覆盖面。4.在线整合社会力量，优化配置公会活动资源，打造职工活动发起和组织平台。

    这些服务首先都是基于数据利用数据分析，首先要考虑数据的准备，也就是数据平台的建设，一个数据平台的出现，不仅可以承担数据分析的压力，同样可以对业务数据进行整合，也会不同程度的提高数据处理的性能，基于数据平台实现更丰富的功能需求。由此可以看出，利用大数据平台建设智慧工会不仅可行，而且会极大的整合资源,方便群众并且提高工会的效率。

以当前比较成熟的智慧工会建设思路—山东智慧工会为例，“智慧工会”建设工程是一个庞大而且复杂的系统工程，不是一个部门或几个部门能够完成的，需要全省各级工会组织的群策群力；“智慧工会”建设工程不会一蹴而就，不可能通过一次建设一劳永逸，需要在已有的基础上随着工会事业发展、技术不断的完善提高、迭代升级，借鉴、总结基层的创新思维、亮点经验，不断充实“智慧工会”的内涵和实现形式。 “智慧工会”在工程的规划设计过程中始终坚持高起点、高标准、严要求，力争能够体现技术的发展趋势，符合省委、省政府、全总的工作要求，也能适应山东工会系统的工作实际。

山东“智慧工会”建设工程把握的几个主要原则1. 坚持定位超前。山东“智慧工会”建设工程在调研、谋划、设计等环节中借鉴先进省市在推进“互联网 + 工会”工作中的先进经验，始终瞄准全国、全省信息化建设的先进技术和全国工会系统的领先水平，即坚持在技术、功能、设计上具有一定的先进性、前瞻性，也充分考虑山东省工会系统的实际，得到了全总网络部相关领导和技术专家的肯定。2. 坚持理念超前。我们始终坚持要将山东“智慧工会”的普惠服务职工平台建成山东省“网上服务第一品牌”，按照这一理念，山东“智慧工会”从整体规划到模块设置等各个方面都进行了仔细的设计，让广大职工能在山东“智慧工会”享受真诚的服务，得到真正的实惠，找到持续关注的动力。坚持积极融入全省政务信息整合共享大局当中，整个“智慧工会”建设工程全部部署到省政务云平台上，可以共享开放的数据全部实现共享开放，为全省大数据战略的实施贡献力量。3. 坚持共建共享。山东“智慧工会”从设计之初就坚持全省各级工会组织共建共享的理念，省总工会将统一建设并在各市推广应用，各市总工会可在省总工会基础平台上进行个性化的定制和开发，力争在全省工会系统形成以山东“智慧工会”为主导，系统上下联动、门户分级维护、数据资源授权共享的“互联网 + 工会”工作格局。下一步，省总工会将加大对全省工会信息化平台的统筹和整合力度，各地新建、改建信息化建设项目都要在山东“智慧工会”工程的基础上进行开发，充分利用已有资源和系统，避免重复投资；实现标准统一、接口统一、资源共享，避免形成数据孤岛。4. 坚持党工共建。山东“智慧工会”设计之初我们就到省委组织部“灯塔 - 党建在线”进行了学习考察，并达成了下一步合作的意向。山东“智慧工会”将积极对接“灯塔 - 党建在线”，实现“党网”有工会的位置、工会媒体传播党的声音，努力建设党联系群众、服务群众的重要阵地。

山东“智慧工会”建设工程的主要内容1.“齐鲁工惠”普惠服务职工平台建设。“齐鲁工惠”普惠服务职工平台将通过网站和手机 APP版，搭建起山东省各级工会组织服务广大职工的网上平台。一是作为直接服务职工的软件，是工会系统网上服务职工的前端展示和核心应用；二是会员数据库的重要信息来源，在职工通过普惠平台获取服务的同时，平台完成对职工行为数据的抓取，而获得实时、准确的会员基础信息。这也将是“慧工会”建成后全省各级工会组织在工作理念和工作方式上的重大变革之一，职工行为数据的采集也是保持全省工会组织数据库、工会会员数据库实时更新的重要手段之一。“齐鲁工惠”普惠服务职工平台将部署在省政务云的互联网区域，面向全省广大职工提供服务，通过网站、APP 的形式对外展现，采用模块化的方式进行开发 , APP 将是一个多城市版手机应用，由省总工会和各市地工会频道组成一个普惠服务职工平台矩阵。省总工会将根据各部室（单位）服务职工的职能开发入会转会、惠工咨询、惠工活动、心理咨询、在线学习、职工书屋等基础模。广大职工在用“齐鲁工惠”软件时，能方便快捷地点击维权帮扶、在线学习等模块获取工会组织的服务，

2. 自动化办公平台建设。实现对省总工会自动化办公系统进行升级改造，同步开发移动办公系统，实现省总工会机关收发文件、公文交换、信息报送、移动审批、会议管理、邮件查阅、文件共享、实时沟通、移动办公等业务网上快速流转、无纸化办公。

3. 数据整合实施平台建设。该平台由数据整合实施系统、决策分析系统、集成门户系统组成是整个“智慧工会”的数据支撑系统，也就是平时所说的大数据系统。这个平台联通“智慧工会”其他所有平台和软件，是打通各平台间数据通道、现数据整合共享的中心枢纽，同时是基层组织数据库、工会会员数据库等核心数据库的“管家”。数据整合实施平台将对接省政务信息共享交换平台，对工商、税务、人社等相关外部厅局共享的数据进行加工利用和比对分析；使用目前最主流的大数据计算工具，实现对各类数据的抓取、清洗、整合、计算、分析，实现数据的资产化、标准化、服务化，为加强工会会员管理、精准服务、政务协同、宏观决策提供技术和数据支撑；通过平台即可以从关联的数据信息中进行舆情分析、发现问题、判断趋势，又可以针对各项工作进行实时排名、量化考核、实时调取各维度的工作数据。数据整合实施平台建成后，全省各级工会组织将实现“人在干、数在转、云在算”，初步建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理新机制，将为全省工会事业的更好发展提供有力的数据服务和技术支撑。除业务功能外，数据整合实施平台还将为 “智慧工会”建设工程提供政务云、软件、硬件等多方面的信息安全保障，确保工会数据的安全可靠。在四个平台的基础上，省总工会还将开发全省财务、经审管理系统，实现工会经费的网上监管和信息提取；原部署在莱钢集团的山东省职工网上习系统，将迁移到省政务云；省总工会各部门现有业务应用系统将在完善、升级的基础上逐步嵌入山东“智慧工会”工程相应工作平台当中。

随着相关工作的深入开展和平台不断的完善， “智慧工会”四个主要工作平台的功能将不断完善，工会网上工作平台和基础数据库的建成，将实现职工入会服务和工会管理网络化，网上网下深度融合，通过各级政府的信息共享平台，实时共享、全面准确掌握各级工会组织和会员信息，工会各项工作进展可实时通过图形、列表进行展示，领导决策更加精准，工会工作成效更加明显；网上职工普惠服务平台通过实实在在的优质服务，把包括农民工、灵活就业人员在内的广大职工最大限度地组织到工会中来，更好地维护职工权益，为职工提供全天候全覆盖的普惠性服务，把工会网络打造成培育和弘扬劳模精神、劳动精神、工匠精神，推进产业工人队伍建设改革的重要支撑；工会系统网上办公平台的建成，各级工会上下贯通、信息互联、资源共享，实现各级工会组织高效运转、精准服务、科学决策；工会系统新媒体矩阵的建成将产生强大的社会影响力，工会网上评论员队伍将发出工会组织的声音，实现网上涉工舆情的及时跟踪、准确测报和正确引导，弘扬积极健康、向上向善的网络文化。伴随着“智慧工会”的建设和发展，各级工会在组织体制、运行机制和活动方式等方面必将产生深远的变革和创新，“智慧工会”将成为新形势下工会工作新的发动机，各项工作线上和线下同步展开，彼此相辅相成、相得益彰；开展工作服务职工将更加精准、便捷；“网上职工之家”让职工触手可及；网上引领汇聚强大正能量，工会组织的旗帜将在网络空间高高飘扬，不断引领广大职工永远听党话、跟党走，为夯实党的执政基础做出工会组织更大的贡献。