您的位置:银河至尊娱乐注册>>业界动态

用友UAP冯振华:精准分析前如何保障数据质量

发布时间:2014-07-14 15:37:29  来源:互联网    背景:

  摘 要:数据质量是所有数据处理和分析的前提,否则,基于一个不可靠数据的分析结果必将是南辕北辙。用友UAP数据质量管理方案,可帮企业探索识别隐藏在企业各个地方的数据质量问题,并汇总分析,直至清洗处理完成,使企业的数据保持清洁。

  从2011年麦肯锡首次提出大数据的概念,到今天,已进入大数据盛行的时代。数据成为一种全新的资产类别,数据的有效管理和顺畅分析成为企业与组织成功的关键。零售业可以利用大数据提高运营利润,医疗业使用大数据,可保障医疗系统安全有效运行,服务业利用大数据机分析个人行为信息可以刺激消费。随着大数据技术的成熟和应用的发展,企业开始真正重视如何有效利用这些数据来产生更大的智慧和价值。

  大数据时代,数据不再是单纯的存放在关系数据库中的交易记录,包括文档、位置、社交等各种形式的外部信息都是数据,都可能对企业的发展产生影响。这一切对企业来说既是机遇,更是挑战。机遇在于催生了更多的业务机会,将促进企业发展的跨越;挑战则在于管理和运用大数据,企业IT部门积累的传统数据管理和治理经验将完全无法满足需要。关于企业面临的挑战,大家都关注到了存储管理、集成整合、分析计算,而且在这些方面,基本都已经有了一些相关的产品和技术。但是这一切的前提是——你的数据必须可靠、可信、可用,这就是说,首先要保证数据的质量。数据质量是所有数据处理和分析的前提,否则,基于一个不可靠数据的分析结果必将是南辕北辙。

  企业需警惕的五大数据质量问题

  目前市场大多数数据质量产品,都是在数据集成产品套件中,开发了一些数据清洗规则校验的工具,并宣称为数据质量产品。这在很大程度上误导了大家对数据质量管理的认识,认为数据质量管理就是修改数据中的错误、并对错误数据和垃圾数据进行清理。这的确是数据质量要解决的问题,但跟全面数据质量管理还有相当大的差距。导致企业数据质量问题的原因是涉及企业信息技术和管理的多个方面,要想全面系统的解决企业数据质量问题,仅凭数据清洗和校验处理是远远不够的。实际上,数据质量管理,是指对数据从建模、采集、存储、共享、管理、应用、归档整个生命周期的每个阶段里的各类数据质量问题,进行综合管理的活动。

  对企业来说,数据质量问题主要反映在以下几个方面。

  一,数据缺失:这个问题典型的情形是在进行数据分析和挖掘时,突然发现某些重要的属性,数据记录值缺失,导致分析建模和分析结果误差较大。比如对客户购买预测分析其中年龄是一个重要的分析变量,但是原始客户记录数据的年龄字段绝大多数记录为空。这类问题产生的由于业务系统数据模型设计或者应用校验做的不到位导致,比如数据模型没有对该字段进行强制约束或者数据采集应用未做校验。

  二,数据不完整:比如在户购买分析中,发现有的客户没有产品购买记录,有的客户的购买记录找不到对应的客户信息。这类问题产生的原因在于业务系统数据模型没有进行外建约束设计,或者应用校验做的不到位导致。比如数据模型没有对该字段进行强制约束或者数据采集应用未做校验。

  三,数据不合理:比如客户年龄200岁,省份证号码位数不正确,造成这类数据质量问题的主要原因是数据采集应用程序没有进行合法性校验。

  四,数据冗余:同一数据有多个版本和入口。这既浪费了存储同时产生了不一致。产生这个问题的主要原因是数据模型设计不合理。

  五,数据冲突:同一数据有多个系统中有多个不同的内容,莫衷一是,产生混乱。造成这类数据质量问题的主要原因是没有一个统一的规划和冲突解决方案。

  深究影响企业数据质量的两大因素

  上面的种种问题,都是企业数据质量问题的具体表现,究其原因,影响数据质量的因素概括来说有两个方面:技术和管理。其中,技术又可分为定义、采集、和应用三个部分;管理又可分为标准、流程、机制。

  首先来看技术因素:

  定义因素:数据定义就是规划建模,就是产生元数据,由于这部分因素导致的数据质量问题的原因主要有:元数据描述及理解错误、元数据的规格无法保证统一等。

  采集因素:主要是指由于具体数据采集环节造成的数据质量问题。比如信息系统应用程序录入校验不完善导致的数据质量问题,数据录入关系约束不当产生的数据质量问题,手工采集产生的数据质量问题等。

  应用因素:主要是指由于数据应用过程中,由于处理的各技术环节的异常而产生的数据质量问题。比如数据获取、传输、装载、使用等方面的异常导致的数据质量问题。

  然后再看管理因素:

  标准因素:数据质量标准体系是企业数据质量管理的基础。标准因素是指由于企业数据标准缺失或不当导致的数据质量问题。比如客户信息,在企业中有多个产生渠道和方式,如果没有统一标准,则会导致大量的数据质量问题。

  流程因素:是指由于各种各样产生数据的系统作业流程和人工操作流程设置不当造成的数据质量问题。比如数据交换流程,业务流程等。

  机制因素:是指由于人员技能及管理机制 方面的原因造成的数据质量问题。如人员培训 、人员管理 操作规范等。

  因此,要持续改进企业的数据质量,必须按照一个循环的闭环数据质量管理过程推进工作,最终使企业通过可靠高质量的数据进行精准分析,为企业创造经济效益。数据质量管理,不仅包含技术方面的因素,同时还包含管理方面的改进。从技术方面来说,主要包括探索、识别、评估、检核、处理、监控、预警等;从管理方面来说,主要包括制定企业数据质量标准规范,确定数据质量改进 目标,制定数据质量评估组织流程 ,制定企业数据共享交换规则和流程,明确数据冲突处理方案,制定审核机制等多个方面。

  数据质量管理是一套完整的解决方案

  在一个组织中,数据质量管理不是一个孤立的系统和平台,而是要和企业其他专业领域的技术和产品配合,共同完成企业数据质量的管理。比如有的企业有数据标准管理系统,数据质量标准及其规则放在数据标准管理系统进行管理。另外,数据质量管理的落地主要是基于元数据技术进行,所以企业数据质量管理需要元数据管理的支撑,目前,一些信息化水平较高的企业也有专门的元数据管理系统,所以数据质量管理企业也要与企业元数据管理系统协同工作。

 

  用友UAP结合其在企业数据处理和治理方面的经营积累,形成了一整套完善的数据质量管理解决方案,并形成了一套体系完备,行之有效的管理流程,为企业进一步的精准分析奠定基础。

  定义,指定义数据质量目标,以引导整个数据质量管理工作;检核,指按照设定的规则检查捕获数据质量问题;评估,指按照评估的方案的评估指标,并对数据质量进行评估;分析,指详细分析数据质量对业务产生的影响;定位,指确定引起数据质量问题的原因;整改,指对数据质量问题制定解决定方案,并从数据和管理两方面进行整改;预防,指建立数据错误预防方案,并检查实行;管理,指通过改进管理流程,全面管理数据质量问题;监控,指对数据和管理实施监控,维护已改善的效果。以上九个方面循环往复,反复实行,持续改进,形成一个良性循环。由于数据质量涉及企业的各个系统、各个业务和各级组织,上面的九个步骤必须在所有相关方面的有效沟通和充分协同的基础上才能真正的发挥效用。

  用友UAP为满足企业数据质量管理需求,提供了一些列的产品和技术,解决企业数据从定义、产生到应用的全生命周期的数据质量管理能力。首先提供统一建模产品套件,从数据定义阶段保证数据质量,一个产品涵盖从业务模型创建到关系数据库模型再到数据仓库模型和分析模型,并可定义各种数据质量规则;另外用友UAP还可提供数据标准管理、元数据管理、数据清洗等产品和解决方案,满足企业数据质量管理的全面需求。

  用友UAP数据质量管理方案,可帮企业探索识别隐藏在企业各个地方的数据质量问题,并汇总分析,直至清洗处理完成,使企业的数据保持清洁;用友UAP数据质量管理方案可改进企业的业务工作,使企业中的每个人都可以完全信赖满足各类业务用途的数据。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经银河至尊娱乐注册证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性银河至尊娱乐注册不作任何保证或承诺,并请自行核实相关内容。银河至尊娱乐注册不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系大家,银河至尊娱乐注册将会在24小时内处理完毕。


返回银河至尊娱乐注册 本文来源:互联网

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
百度Q2财报净利24亿 李彦宏要求内部不忘初心
北京时间8月20日,百度发布第二季度财报,其季度总营收为263亿人民币(约38.4亿美金),远高于华尔街...
日期:08-20
Q2再夺国内第一,“出海之帆”小度剑指GOOGLEAMAZON
小度在2019年一季度首拿中国智能音箱市场出货量第一,行业有一种看法是:小度一季度登顶与百度春晚...
日期:08-20
2019深度学习框架排行榜(从TOP 10到TOP 3)
1.写在前面
  5G可以说是2019年上半年十分闪耀的那颗“星”了,美方还不惜代价地...
日期:08-20
百度Q2财报逆势上扬 李彦宏的AI成绩单战功显著
8月20日,百度发布2019年第二季度未经审计的财务报告:实现总营收263亿元人民币,净利润24亿元人民...
日期:08-20
iFLYTEK星球大展前,有些故事想说给你听
纵横交错的空中轨道、斑斓色彩的街边招牌、云雾与阴雨包裹的高耸大楼、人声鼎沸的火锅小店…&...
日期:08-20
消息称网易阿里谈崩 考拉不再卖身
最新的消息是,双方的谈判已于下午结束,网易企业董事局主席兼首席实行官丁磊最终否决了该收购案。
日期:08-20
招募!与世界顶级大师面对面
25年前,摄影师Steve McCurry(史蒂夫·麦凯瑞)在印度斋普尔的一条街上拍了位补鞋匠。今年,他重...
日期:08-20
第八届中国双创大赛新乡分赛:报名和晋级数创新高,8强挺进省决赛
8月16日,第八届中国创新创业大赛河南新乡分赛区暨2019新乡市创新创业大赛决赛及颁奖仪式,在高新区...
日期:08-20
来电科技与梦次元达成深度合作 联合举办动漫游戏展览
近日,第二十二届(M22)梦次元夏日祭动漫游戏展在北京落下帷幕,展览日吸引2万余人参加,来电科技作...
日期:08-20
无惧禁令影响,HUAWEI上半年太阳能逆变器出货排名第2
芯科技消息(文/罗伊)集邦科技绿能研究(EnergyTrend)最新《台湾地区电站项目整合报告》指出,台湾今...
日期:08-20
realme XT宣布:6400万AI四摄加持 9月亮相
红米预计在本月底首发6400万像素,realme 6400万紧随其后亮相。
日期:08-20
外国媒体曝光第五代Apple Watch渲染图:陶瓷版回归
随着苹果发布会的日益临近,越来越多有关苹果今年即将发布的新品信息被曝出。近日有外国媒体再度泄露了...
日期:08-20
HUAWEI反击 谁先坐不住?
  (原标题:HUAWEI反击,再向前迈进一大步!但这次,先坐不住的竟是“联想”? )
日期:08-20
江山代有IP出 2019超级IP生态大会路演·北京站6强诞生
8月的北京骄阳似火,比气温更火爆的是一场具有学问气息的“炫技”活动。由网赢天下网主办...
日期:08-20
魅族UR模块化定制手机计划曝光 由内到外皆可定制
模块化手机在大家的视线中已经消失很多年了,近日,外国媒体曝光了魅族一张官网页面照片,显示为魅族新...
日期:08-20
苹果 11系列邀请函疑似曝光,曝光消息大盘点
今日有知情人曝光疑似苹果 11系列发布会邀请函,根据邀请函内容显示,苹果 11系列将在9月10号上...
日期:08-20
杰和科技GDSM——支撑多种媒体格式的信发平台
在智慧商显浪潮的席卷下,多媒体信息发布系统得到迅速发展,这一切使得信息流通更加便捷,同时也意...
日期:08-20
向“超人”进化,优友“小哪吒”刷新服务机器人下肢运动发展史
这个炎夏,国漫《哪吒之魔童降世》燃爆了影片市场,40亿+的票房堪称奇迹。装备混天绫、风火轮的吒儿红...
日期:08-20
富士施乐Versant? 180 Press双色按需印刷系统 助力“红头文件”专业印制
在今年广东印刷展上,富士施乐展区每天都吸引了大量参观者驻足,这不仅因为业界首款一次成像6色的数...
日期:08-20
拥有创新基因的Ta,如今又手握BIRTV奖项
一年一度的BIRTV 评奖活动已于8月20日上午在北京落下帷幕。中影光峰凭借中国自主研发的激光数字影片...
日期:08-20
  专栏先容
即时资讯 的专栏
即时资讯发表的文章
积分:
自我先容 :
 

微信扫一扫
下载ITBearAPP

XML 地图 | Sitemap 地图