安承悦读

数据治理精选案例集范文(4篇)

admin
导读 [1]涂子沛.大数据:正在到来的数据革命[M].桂林:广西师范大学出版社,2012.上世纪九十年代以前,国外企业在数据治理方面也存在很多问题,IBM和摩托罗拉就是典型代表。在对台区线损超大的治理过程中,在多年实践的经验基础之上,总结治理过程中的步骤:

数据治理精选案例集范文 第1篇

数据治理工作是“一把手”工程,需要全校参与。党政办公室推动力、协调力强,但是在技术层面理解不深入;信息化推进办公室对学校整体数据了解深入,但是技术能力存在局限性;网络信息中心有很强技术能力,但是其协调推动能力不足,与数据决策的结合不够紧密。

目前,信息化推进办公室是数据治理的主要责任部门,统筹全校数据资源整合和共享;规划发展处负责全校统计数据统一归口管理,梳理各级各类数据应用需求;网络信息中心支持各单位梳理数据资源目录,开发数据共享应用,为数据治理提供技术保障。三部门互相配合,协同推进全校数据治理。这种组织架构将统筹推进、部门协调、技术能力有效结合在一起,以提供数据应用为出发点开展数据治理,推动全校数据资源整合共享。

数据治理精选案例集范文 第2篇

关键词:大数据;数据治理;网络安全

1大数据的产生与发展

目前,人们对于大数据的理解还不够全面,对于大数据也没有统一的特定概念。大数据是大量数据与复杂数据的组合,以及在现有数据库中无法处置的一组数据[1]。大数据的特征是对于海量数据的发掘与分析。单台电脑处理数据非常困难,必需采用数据库技术处置云计算。大数据研究受到了国内外学术界与产业界的普遍关注,成为当今世界信息时代的热点话题。2011年10月,工信部把北京、上海、深圳以及杭州等城市确认为“云计算中心”试行城市,并且举行大数据报告研讨会。目前,大数据已经渗透到人们生活、工作的各个领域,影响着各个领域的变革,推进了各个企业、各个行业的快速发展。

2大数据环境下数据治理的特点

目前,数据治理的研究受了社会各界的普遍关注,国内外的学者在数据治理的研究上获得了很多成果。但是,从金融行业与通信行业的数据治理实践来看,传统数据治理存在一定的缺陷。数据治理委员会是与传统数据治理系统有关的关键部门。数据管理委员会的职责是制订科学合理的数据管理计划,调整数据管理过程。数据治理委员会要重视数据治理的总体质量,强化数据治理的安全性管理、准备数据分析和统筹管理,充分体现数据所隐含的业务价值[2]。在大数据环境下,数据的种类多样,数据来源范围大,数据急速增长,数据价值极大。以往的数据存储类型难以符合大数据的存储需求。数据整合分析中,数据是可操作的。这个过程需要数据治理急速变更策略。在大数据环境下,数据管理工作的重点与难点重要包括以下几个方面。第一,企业不同部门,数据的收集方法与数据源也不同。此外,不同的部门可反复搜集相近的数据,但数据标准与数据可能不同,留存位置也可能不同,严重影响数据的精度与数据的共享。第二,数据质量。大数据环境中的数据治理不但要求实时性,而且提出了精度要求。因为数据标准的不同,经常会发生一些冗余与反复的数据。企业中不同部门对于数据改版一般非常容易符合实时需求,这对数据质量的正确性与实时性影响极大。第三,数据隐私保障。在对外开放与共享数据的过程中,可实现数据的充分利用,但是可能会造成数据泄漏或数据侵害。所以,数据安全性与隐私保障面临挑战。

3大数据背景下网络数据受到侵害的具体状况

大数据便捷了人们的生活,但是也存在各种安全隐患,因此数据治理十分重要。在大数据时代,侵害隐私主要包括四个方面。第一,存储数据时侵害隐私。由于用户不明白数据子集的时间、位置与内容,因此不明白数据是如何被储存的。第二,数据传输过程中侵害隐私。在信息技术时代,大部分数据传输均是通过网络传送的,使监听、电磁泄漏等信息安全事件的发生频率越来越高。比如,_登2013年披露的一份美国“棱镜计划”文件表明,美国可暗中监控网民,并且侵略多个国家的网络获取信息。第三,在处理数据时侵犯隐私权。处理信息时,人们大都使用虚拟技术,而处理硬件落后或者处理技术不过关都有可能造成信息的丢失。以图书馆为例,图书馆一般使用的是比较落后的信息处理系统,图书馆的档案文件和用户的使用情况很容易被某些别有用心的人盗取。第四,在数据被毁坏的过程中侵害隐私[3]。随着各种云技术的发展,直观的数据移除手动不能全然毁坏数据。服务提供商重视备份数据,以期取得越来越多的数据信息,了解用户的爱好。即使有些国家规定了数据销毁时间,但是按照规定操作的服务商很少。

4大数据背景下数据治理中网络安全存在的问题

网络黑客攻击

网络黑客是大数据下网络安全性最关键的潜在危险之一。一般黑客攻击的主要目的是毁坏计算机的内容并且展开盗窃,一般是集体作案。他们通过数据漏洞进入计算机外部。黑客毁坏相关数据与关键内容,反击服务器,导致用户难以正常使用,从而给企业造成巨大的经济损失[4]。大数据的网络环境具有一定的开放性,是每个人获取大量参考内容与共享资源的地方。网络反击压制了网络数据的安全性,妨碍了网络整体的通畅,严重影响了企业发展和社会转型。

用户数据网络安全防范意识不到位

人们的网络安全性应对观念薄弱。通常,通过网购、邮件传送、用户指定帐户等输出的各种信息,会在不留意周围环境或是网上借阅时留下痕迹,从而可能使用户的秘密信息遭到泄露。此外,一部分用户使用网络时浏览弹出的连接或是对话框,易被恶意网站或是欺诈犯反击或是受骗。所以,很多用户因为不具备专业的网络安全性保护技术,即便信息数据被毁坏也难以维修,给自己的生活与工作造成不方便。

防火墙技术应用率较低

在大数据时代,防火墙技术的精确应用成为保障网络安全性的手段之一。精确运用防火墙技术可大幅度减少网络安全性问题爆发的概率。但是,他们却无法掌握该种系统的应用要点,导致网络安全问题一直无法得到有效解决。

5大数据背景下数据治理中加强网络安全的策略

加强攻击溯源技术的应用

网络安全性体系建构中,网络攻击源追踪技术十分必要。稳定情况下,网络信息安全性系统展开攻击分析时,从多个关键内核结构诊断、文件、程序等层面展开分析,并且初始化系统与网络流量展开辅助分析。同时,通过监理统一的、多层次的网络安全攻击描述模型,严格按照相关规则进行海量日志攻击信息的关联性分析,从而更快更精准地找出计算机系统中可能存在的攻击问题,为后续的网络攻击溯源工作开展提供可靠的数据依据。但是,网络安全攻击溯源技术应用过程中,还存在一些不足之处亟待改进。一方面,在异构数据源的处理上,包括数据库和文档数据库的处理。另一方面,在海量数据的处理上,随着经济全球化的发展,互联网与物联网之间相互联合,知识网络数据信息量成倍增长,而针对海量网络数据溯源处理技术执行效率的提升还有很大的进步空间。

认证与授权机制

认证是证实信息真实性的过程,通常分成3个部分——信息认证、身份认证和认证协议。

消息认证

消息认证就是验证消息的完整性。消息认证时,要确认消息是认证目标发送的,发送的消息与要求不存在出入,消息发送的时间、顺序等都有明确的数据。但是,这种消息认证模式存在较大漏洞。比如,网易云音乐的手机注册验证码的有效时间是1min,有些用户可以使用身边的朋友手机号进行注册。

身份认证

身份认证一般是即时展开的,需输出ID号码、学校、学分等详细信息。目前,网络的身份认证存在两种形式,一种是输入身份证号等相关信息的形式,另一种是输入身份证号等相关信息之外再本人手持身份证的照片进行认证。第一种身份认证方法存在较大纰漏,主要是由于大多数用户对身份证号码的保密意识不强,易被他人盗用,骗取身份信息。所以,近年来,注重用户个人信息的服务提供商一般装载身份认证进行验证[5]。

认证协议

网络世界中,除消息认证与身份认证之外,需建立相关协议以保证消息的可靠性,以避免节点误导或是病毒欺骗。协议的内容愈确切,条款愈清楚,信息便愈能获得保障。

授权是授予一个个体或者拥有能够对某些资源进行某种操作的权利。通常,安全性要求愈严苛,许可建议愈严苛,许可等级分类愈详尽,隐私保障愈好。例如,SSL协议,用户可安全证明网络节点的身份并且容许对于用户信息的访问。

数据治理精选案例集范文 第3篇

【关键词】电网 电力大数据 治理 大数据管理

1 引言

2013年至2014年,国网公司信通部就逐步开展大数据研究与应用推进工作,完成编制《大数据应用研究报告》、《公司大数据典型应用需求分析报告》,组织中国电科院、南瑞集团等完成省公司大数据平台总体设计,编制形成《公司大数据应用指导意见》。2015年正式启动大数据平台建设、应用试点工作。

目前,国网公司范围内各单位陆续开展了一系列大数据的研究试点工作,但大多是集中于大数据平台的技术研究实现,在应用方面多数是基于营销系统、用电信息采集数据的相关应用业务探索和尝试,而在大数据应用机制以及基础数据治理上开展的研究工作较少。在进行数据综合应用和智能分析的过程中,发现数据质量问题从表象看是数据不完整、数据质量差,但从深层次看是欠数据标准、缺数据管理职责、无数据考核机制等等。

2 数据治理的发展

上世纪九十年代以前,国外企业在数据治理方面也存在很多问题,IBM和摩托罗拉就是典型代表。

1992年之前,IBM在数据治理方面存在很多问题,没有明确的可依赖的数据源,没有明确的数据所有人,数据质量差。1995年,IBM梳理并制定了业务数据标准,定义了15大类业务标准、79个分类子业务标准,这样全公司看到的是一个统一的业务定义;2004年,IBM制定了数据责任人体系,并联合业界多家公司和学术研究机构,成立了数据治理论坛,制定包括四大领域11个要素的数据治理框架和方法,来指导数据治理工作的开展。2005年成立了数据治理委员会,之后又成立数据审核委员会。通过数据治理,IBM简化了基础架构,并降低了管理的复杂度。

同样在上世纪末,摩托罗拉提出了六西格玛管理策略,包含定义、测量、分析、改进、控制的DMAIC流程,初期用于解决产品/服务质量问题,后来也在解决数据质量方面得到很好的应用。

近几年,IBM开展大数据治理研究,提出了18步大数据治理统一流程模型,并应用于电信、零售、金融和公共交通等行业。

2014年,中国出现了专门的数据治理研究组织ITSS WG1,并向ISO正式提交和了数据治理研究白皮书。

目前,国内电力行业开展的数据治理工作主要包含两大类,一类是处理现有业务环节的数据质量问题,如营销稽查;另一类是针对业务主题应用的数据治理,如营配贯通、运检中心的数据质量评价。目前的数据治理工作没有形成体系,缺少统一的标准、组织架构、管理考核机制,难以持续有效开展。

随着对数据资产认识的不断清晰,电力行业数据治理的目标也在发生转变,国家电科院也已经开始着手数据治理体系的研究,但暂未涉及包含数据、应用、技术和管理的数据治理体系建设和应用。

3 电力大数据治理方法论

国网合肥供电公司在此背景下,制定深化大数据应用工作方案,以市县公司实体业务为切入点,推进大数据应用方法在供电企业应用实践,打造大数据应用环境,同r从以下几个方面定义合肥供电公司数据治理的方法论:

(1)理解数据治理的职能;

(2)把握数据治理的核心;

(3)明确数据治理的目标。

通过执行数据治理,对电力企业数据的管理和利用进行评估、指导和监督,提供不断创新的数据服务,为企业创造价值。

4 电力大数据治理体系探索

国网合肥供电公司经过不断的在营销系统、用电信息采集数据的相关应用业务探索和尝试,在大数据基础数据治理上的研究也在不断加深,电力大数据治理体系建立需要明确的工作至少包含以下几点:

(1)需要在哪些业务领域或应用场景作出电力业务数据治理的决策;

(2)需要哪些角色的人,以及如何参与到决策过程中;

(3)明确、完善电力大数据治理的最终目标。

数据治理原理研究

六西格玛(Six Sigma,6σ)管理及其数据管理延伸

六西格玛(Six Sigma,6σ)是一种能够严格、集中和高效地改善企业流程管理质量的实施原则和技术,以”零缺陷”的完美商业追求,带动质量成本的大幅度降低,最终实现财务成效的提升与企业竞争力的突破。实施步骤包括:定义、测量、分析、改进、控制。

六西格玛管理延伸到数据质量管理方面,一般采用十步数据质量管理方法。

(1)定义和商定问题、时机和目标,以指导整个数据质量管理的工作;

(2)收集、汇总、分析有关形式和信息环境。设计捕获和评估的方案;

(3)按照数据质量维度对数据质量进行评估;

(4)使用各种技术评估劣质数据对业务产生的影响;

(5)确定影响数据质量的真实原因,并区分这些原因的影响的数据质量的级别;

(6)最终确定行动的建议,为数据质量改善制定方案,包括数据级和组织级的;

(7)建立数据错误预防方案,并改正当前数据问题;

(8)通过改进组织管理流程,最大限度控制由管理上的缺陷造成的数据质量问题;

(9)对数据和管理实施监控,维护已改善的效果;

(10)沟通贯穿管理始终,循环的评估组织管理流程,以确保数据质量改善的成果得到有效保持。

依据六西格玛(Six Sigma,6σ)管理的原则和技术,借鉴十步数据质量管理方法,以业务驱动,用数据说话,进行数据治理体系的研究和典型实践,开展长效数据治理工作,为业务应用和决策分析提供优质数据。

数据治理关键点研究

识别数据质量关键要素

依据特定的业务需求或完整的业务场景,明确需要进行数据治理的关键要素。数据要素的涉及范围广,业务逻辑复杂,同时也就牵涉到的数据内容较多。

以供电公司统推PMS系统、营销MIS系统为例,其中数据质量关键要素包括电网设备台帐和参数:营销系统中的用户档案、计量台帐和台户关系,电能量采集系统中开关台帐和电量数据,调度技术支持系统中负荷数据、电网电压、停电等运行数据,用电信息采集系统中负荷、电量和停电等运行数据。例如PMS系统中线路设备的编号、名称、电压等级、所属变电站、运维单位、运行状态等信息,调度技术支持系统中线路的电流、电压、有功功率、无功功率、功率因素、运行状态、状态切换等数据。

数据标准的制订

制订数据标准是一个非常系统和复杂的工作,但它是开展数据治理工作的基础。根据数据质量定义,制定数据度量规则,包括完整性、唯一性、一致性、精确性、合法性、及时性等,这是一个反复迭代的过程,度量规则需要进行实践验证并不断补充和完善,这是开展数据质量度量的关键。

数据治理管理责任研究

国网合肥供电公司在大数据应用项目中,经过不断的摸索,梳理出关键性基础数据的责任分解,大致如图1。

数据治理考核研究

(1)设立数据治理M织机构,明确工作权责,建立部门间管理协同和业务统筹协调机制,推动数据治理工作长效开展。

(2)制订数据治理考核制度,明确考核指标、考核周期、考核范围、考核标准等,落实数据认责,以绩效考核的方式促进数据质量的提升。

5 总结

供电公司已经进入大数据时代,数据治理面临着多重问题,因此,合肥供电公司不断在大数据应用过程中加强数据文化意识,推行数据治企的理念。摸索建立数据治理组织机构、培养大数据人才、学数据质量治理技术、制订数据标准,同时加强数据安全,保护供电公司个人隐私,建立数据责任人认责体系。最后,持续不断进行质量改进,为合肥公司电力大数据应用提供坚实的高价值数据基础。

参考文献

[1]涂子沛.大数据:正在到来的数据革命[M].桂林:广西师范大学出版社,2012.

数据治理精选案例集范文 第4篇

关键词:营配贯通;台区;数据治理;分析

DOI:

营配贯通通俗的来说就是通过电力人员对现场(包括配电变压器、开关、线路、电表以及电网设备等)进行数据采集,然后将收集到的数据通过PMS和GIS系统对其进行建模和台账数据录入等,与此同时还要把数据与营销系统互通。它不但能够共享营配数据,而且还能够对业务流程化进行协同运作。只有对台区线损异常数据及时进行治理,才能够使营配贯通发挥出它最大的价值。然而在实际的治理过程中,对台区线损异常数据进行收集是非常繁琐复杂的,需要耗费大量的人力与财力。因此,探索出一套对台区线损异常数据治理的高效、可靠的方法对于发挥营配贯通的最大价值是至关重要的。

1 造成配电变压器台区线损异常的原因

在台区正常的运行过程中,由于受到营销、配电网络设备的维护以及计算等因素的影响,往往会造成台区线损异常现象的发生[1]。经过大量的实践证明,主要有以下几点原因会对台区的正常运行造成损害:

(1)对于用户共同使用的变压器,当其对应的关系不恰当以及与用户的关系不正确的时候就会造成台区线损异常。

(2)当关口的考核表计量存在误差的时候,就会导致接线出现错误、变压器中的互感器变比相应的也会出现错误,与此同时还会使与之对应的逻辑地址出现错误。

(3)在实际的运行过程中会出现用户的表计与配电变压器的对应关系发生错误,比如说用户的表计和与之相关的台区公用变压器没有关联到一起。

2 台区线损异常的处理措施以及存在的技术难点

治理措施

对于配电变压器台区的线损异常,是可以通过一些手段及措施来进行治理的。比如说对于关口考核表计量的不准确、与公用变压器所对应的关系不正确以及用户表计电量问题造成的台区的线损异常能够通过下面的几点措施来进行整改的:

(1)对于关口考核表计量的准确性要定期的进行检测。在检测的过程中首先要检查一下关口考核表所有的接线是否出现松动或掉落,同时还要对其终端、互感器等主要组成部分进行检查,看一下有没有出现故障;其次检测现场互感器与采集系统互感器的倍率有没有保持一致以及考核表的逻辑地址与所用系统的逻辑地址有没有一一对应。最后如果发现存在问题要及时的通过合理科学的方法进行调整,使关口考核表计处在一个最佳的工作状态[2]。

(2)当公用变压器与用户之间的对应关系发生错误进行调整维护的时候,要以配电变压器的信息为准则来进行调整维护。

(3)工作人员对用户表计的准确性定期的进行检测可以有效地解决用户表计电量存在的问题。

存在的技术难点

要想保证台区线损可算率的准确性,必须要提高配电变压器和用户表计之间的对应关系的准确率。但是在实际的操作过程中,用户与配电网之间存在着专业性的障碍,如果配电变压器和用户表计之间的对应关系出现错误的时候,就必须要去配电变压器的现场进行检测整治。

3 台区线损异常数据的治理

在对台区线损超大的治理过程中,在多年实践的经验基础之上,总结治理过程中的步骤:

(1)对用户与公用变压器之间的对应关系进行检查,如果对应关系不正确,要以公用变压器为准进行调整。

(2)对用户以及台区的总电量等与之相关的信息进行收集,并且将收集到的信息通过科学合理的方法对台区的线损进行计算。

(3)检查台区对用户表计是否都全部采集了,如果存在部分户表没有被采集到的现象,可以在营销系统中对缺失的部分用户所用的电量进行采集,与此同时还要对台区线损进行估算,目前采用的最广泛的估算公式是:,其中就是估算线损:代表的是在一个计量周期内台区关口考核表的电量;则代表的是一个周期内台区所采集的用户的用电量;代表的是一个周期内对于台区没有采集到的用户的用电量。

(4)对估算的线损进行检测,判断计算的结果是否正常。如果正常的话就可以基本上确定台区线损超大是由户表的采集所造成的,要及时的对采集设备进行维护。

(5)当对户表采集因素排查之后,接下来就要去台区设备的现场进行核查。核查的主要对象包括逻辑地址、连接线、互感器的倍率以及关口考核表等。当连接线、逻辑地址等出现错误的时候就要及时的对系统以及考核表进行维护;当互感器的倍率与所用系统之间不能够对应起来的话就应该按照以下的式子对台区线损进行估算。

(6)接下来再对对估算的线损进行检测,判断计算的结果是否正常。如果正常的话就可以基本上确定台区线损超大是由现场互感器的倍率与系统互感器的倍率不对应造成的,此时应该对系统互感器的倍率进行调整直到对应为止。

(7)当对考核表计量因素排除之后就可以基本上确定台区线损超大是由于配电变压器与表记之间不能够正确的对应造成的。在对它俩之间的对应关系进行调整的时候依据的是台区周围负线损的情况以及台区系统缺失表资料来进行调整的,调整完之后要及时的把缺失表进行整治维护。

4 结语

营配贯通台区线损异常数据及时的进行治理对于整个配电网的正常运行时至关重要的。在整个治理的过程中一定要按照科学合理的方法进行,切记不要进行盲目的治理。对于台区线损超大这一现象,采用排除的方法,把一切影响因素排除以后找到台区线损的根源有针对性的进行治理。

参考文献:

[1]张波,朱泽厅,卢鸣凯,金超。营配贯通台区线损异常数据治理方法探讨[J]. 浙江电力,2015(02):9-11+19.

[2]郑盈。基于营配贯通深化应用的低压台区线损治理[J].管理观察,2015(25):113-116.