《华为数据之道》经典读后感有感
《华为数据之道》是一本由华为公司数据管理部著作,机械工业出版社出版的精装图书,本书定价:89.00,页数:320,特精心从网络上整理的一些读者的读后感,希望对大家能有帮助。
《华为数据之道》读后感(一):数据治理小思
数据治理的过程,实质是梳理数据内部关联的过程。实际能够记录数据关联关系的都是元数据。可以说,数据的ER建模、数据血缘分析、数据的消费,都离不开元数据。从技术角度看,对于元数据的处理分析能力也是一个差异化要素。
数据治理、数据中台的发展目标,一定是实现企业内外部数据的共享,数据的开放性会成为企业的趋势。但数据开放,带来的问题会是数据的合规和安全性。所以,在做公司的对比的时候,可以对比下几家公司在数据安全领域的差异化,数据安全可以构成公司比较分析的一个核心商业化要素。
业务即行为,行为即记录,记录即数据。业务产生数据也应用数据,脱离业务人员的数据治理工具可能导致产品和应用脱节的问题。华为数据治理过程的最大经验是:建立业务负责制的数据管理体系。所以,数据治理公司提供的产品和服务是否能够将业务人员纳入进治理体系,提供从数据建模到数据消费的一体化服务,同样很重要。后续对比商业模式,重注下不同公司的产品和服务,是如何与业务人员联系的。
《华为数据之道》读后感(二):一本难的业务入门好书
2021.06.14 这本书应该早些读的,昨天读完,虽然有些迟,希望不算太晚。从研发工程师的视角讲,这是本难的业务好书。通过这本书,可以让人对数据治理业务有一个基本的认识。自己参与公司数据中台产品研发累计三个月有余,却对数据治理没有一个整体概念的理解和把握,这是一种不专业的体现。“知不足,然后能自反也”,对大多数程序员来讲,技术是服务于业务的,了解业务,熟悉业务,服务业务,是专业程序员的基本素养。[《程序员的职业素养》](https://github.com/jiweiyuan/blog/blob/master/blog/articles/be-a-professional-programmer.md)讲,**开始一个新领域的项目时,应当读一两本该领域相关的书。**此书作为学习业务的开始。 自己做数据中台产品研发,差不多只有三个多月,并且只是前端开发的角色。所以对于数据治理没有真正业务实践的经历,对业务的内容思考有限,仅谈一谈自己读这本书时的一些感受。 读这本书最大的目的是,了解数据中台和数据治理的一些基本概念。比如:元数据、ETL、数据治理、数据仓库、数据湖、数据标准、数据质量......这些名词是什么意思。如果不了解业务背景,没有业务或产品话语权,开发便会被业务/产品牵着鼻子走,技术评审也无从谈起。所以技术研发人员要了解、熟悉业务。最基础的,先了解业务中的一些基本概念。 这本书聚焦于数据治理整体的理论框架和实践纲要。我看这本书的时候,对书中提及的一些重要概念,如果书上没有做很好的解释,自己便搜索查一查看。这个过程中,看到一些比较通俗易懂的文章,来解释这些业务概念。比如[知乎-大溪:什么是数据湖?](https://www.zhihu.com/question/279097731/answer/1236301046) 这篇文章以漫画讲解,通俗易懂,很好的解释了数据库、ETL、数据仓库、数据湖这些概念。[豆瓣-野生盆栽:用周杰伦理解元数据是个啥](https://book.douban.com/review/12415518/),通过周杰伦歌曲的例子,阐述元数据的一些概念。 数据治理中“治理”,这个词汇,不是技术的概念,更多是一个抽象的业务概念。可以从“国家治理”,“环境治理”,“淮河治理”......体会治理一词的含义。数据治理,乃至数字化的核心目标,是对于“业务对象,业务流程,业务规则的系统性建模”建立一个业务上的“数字孪生”世界,这一点很有想象力。 此外,在公司研讨会上听到数澜科技这家公司,一家技术产品做的不错的竞品公司,看到他们在豆瓣出了本书,数澜科技:《数据中台:让数据用起来》,如果对于数据中台,数据治理感兴趣,或许进一步可以阅读。 技术人员,读一读业务的书籍。不仅能更好理解业务,也能从业务的视觉看技术。了解哪些技术对业务更重要,自己平时学习技术也更有针对性。举个例子,数据质量是数据治理的基础。对于一些人工产生的数据,提升数据质量需要在数据产生的时候,根据数据属性进行规则校验,比如前端页面表单校验。而表单校验乃至基础的数据规则校验十分依赖正则表达式,因此正则表达式具有重要作用,应该考虑把正则表达式纳入自己的技能树。
从这本书,可以窥见大企业的做事方法。“章程”和“政策”这些文本性的东西发挥了很重要的作用。另外,也可以窥见业务之深,数据治理这一业务,是很系统、复杂的,一本书仅能讲个大概。以后有机会,也考虑深耕某项业务。自己做一名职业的程序员,开始便是做ToB的应用系统,现在还不知道这个因缘后续有什么发展,边走边看吧!
公众号:袁继伟
《华为数据之道》读后感(三):优秀的数据管理实践教材——部分内容摘录
这本书,特别是序言部分,站的角度非常高;读得出来作者有水平,有激情,涉猎广。感觉边实践边看会更加清晰。以下为简单的阅读笔记:
序言一:华为董事-质量与流程IT总裁、CIO-陶景文
序言三:华为云首席数字化转型官-苏立清
第一部分:宏观上华为数据实践的框架和体系 ch1数据驱动的企业数字化转型:理念,华为的数据治理框架
ch2建立企业级的数据综合治理体系(整体体系如何构建实施)
ch3差异化的企业数据分类管理框架:不同类型数据的不同管理方式
第二部分:数据治理中的三项重点建设任务:信息架构、数据底座、数据服务(面向技术:是怎么做的)
ch4面向业务交易的信息架构建设:信息架构的四个组件,引出业务对象、过程、规则
ch5面向联接共享的数据底座建设:整体框架,建设实践:数据湖+数据主体联结
ch6面向自助消费的数据服务建设:对数据搜索、加工和分析的消费过程管理方案
第三部分:数据治理的三项关键能力:数据全量感知、综合质量提升、可控共享(面向业务:能怎么样) ch7数据硬感知与软感知:打造数字孪生的数据全量感知能力
ch8打造清洁数据的质量综合管理能力:业务数据异常监控,助力数据质量综合水平提升
ch9打造安全合规的数据可控共享能力:构建数据安全隐私保护框架
第四部分:总结与未来思考 ch10未来思考:AI治理、数据主权与数据生态建设数据成为企业核心竞争力:数据要进入资产负债表,数据也是生产要素数据资产的价值由市场决定大规模交互的数据是战略资源,数据主权是自然人或公司实体对其数据进行排他性自觉的权利数据主权+云主权+数据采集组件的主权==生态主权欧盟-GDPR通用数据保护条例国际IDS协会:IDS架构只是提供身份提供者和经过认证的连接器组件,在经过认定的通信伙伴之间建立安全交换。相当于只做连接,不做存储类似b2b的互联网结构,是基于公钥基础设施的数据共享联邦学习:用多个不同机构的数据和计算来得到模型的分布式框架(那么多个银行可以共同开发学习模型)梅特卡夫定律:描述网络价值智能数据管理是数据工作的未来,要抵制算法歧视人类认知世界,认知能力和认知视角是不一样的。数据治理的核心是在企业内部对如何描述业务的数据语言形成统一的认知,这样可以大幅降低企业的数据处理成本,提升沟通效率。制定标准,统一认知,形成共识四个世界:物理世界,人类认知世界,数字世界,机器认知世界
《华为数据之道》读后感(四):《华为数据之道》的启发与创新
数据作为生产要素已经逐渐进入大众视野,《数据安全法》的公布,《深圳特区数据条例》的出台,放大了社会的关注热度,吸引了资本市场,热点概念如何实践落地,是个值得探讨的问题。《华为数据之道》作为华为数字化转型中数据应用于治理的经验总结,具备深刻的理论抽象以及实践指导价值,耗时两个周末,终于细读并做了相应的摘要分析,针对一些关键启发和创新方面的思考,做简单总结。
一、基本概念:
华为提到的第一个关键概念,就是非原生数字企业,作为一个科技企业,华为在产品研发和制造领域具备丰富的运营经验和技术能力,但本质上2B的企业性质,企业的运作模式更倾向于传统制造业于产品研发销售型企业,整个业务流程依赖于线下的实践运作,相对于电子商务等互联网企业,谈不上是个数字化原生企业,当然,华为的IPD建设和信息化,流程建设,在信息化层面具备了长足的实力于经验,支撑系统的信息化达到新的高度,要实现数字化,本质上是业务的数字化,即使对华为,仍然是一个挑战。图1-4的数字化转型全图,给出了数字化转型的路径。
数字化转型的一个基本概念就是数字孪生,相当于对真实物理世界的数字化镜像,建立了数字孪生的能力,才具备数字化转型的基础能力。而数据孪生的建设能力,依赖于数据感知能力。
二、数据
华为在数据感知层面提出了软感知和硬感知的概念,软件的埋点、日志、爬虫,给出了软件定义世界中SDX的数据产生能力,硬件感知能力,主要是通过电磁设备,传感器等物联网相关设备实现了数据的产生,这在物理世界的感知,监控,控制方面提供了数字化的基础。
而在数据感知层面,元数据的产生,治理至关重要,作为数据的数据,元数据在数据生命周期的情景描述,数据监控管理,发挥着不可替代的作用。华为为了规范元数据的管理,定义了元数据的模型,指导对数据的数据统一管理和控制。
元数据中心为基础的管理方案,通过流程于规范对元数据的产生,采集,注册,管理运营以及使用,提供了框架,为数据的数据的治理提供了控制的方案与手段。相对于数据本身的治理而言,元数据在治理数据的同时,本身作为数据系统,同样需要遵循相应的规则,需要治理的工具与平台,保障元数据的可用性,以及性能和效率。
数据的产生和采集,形成数据资产,分类分级,标签管理,是实现数据治理的关键措施,相对于常见的数据分类分级模型,华为对数据的划分,比较有实践指导意义,主数据作为实体核心,其着不可或缺的关键作用,对业务的运作有支撑价值的基础数据,业务运作流程产生的事务数据,在汇总分析过程中产生的报告数据,业务运营中规则的规则数据,实现业务流程的检查,监测的观测数据,以结构化的模式支持业务的运作,非结构化数据是业务运作过程中的音视频和文本数据。相对于传统观念数据的分类方式,增加了数据数据用途和特征的分类模式,对场景,技术相关的处理规则的利用,具有指导意义。
从数据资产的的角度来看,数据分层结构,建立数据的逻辑关系,为数据资产的语义和逻辑分析的标准化和自动化提供了基础。
数据的组织依赖于企业级信息架构的逻辑支持,数据资产目录按照数据标准做好规范化和标准化,保障数据质量,通过数据模型建立逻辑关系,支持业务建模,通过可视化实现信息链,数据流,数据源的数据分布展示。
三、华为数据工作实践
华为的数据治理体系,从数据工作的体系化建设开始,关注数据源的建设,建设一数据中台和数据湖为基础的数据底座,实现数据管理运营能力和数据服务,开放给企业各业务单元完成数据消费,并通过数据治理保障全数据生命周期的安全,质量与效能。
华为作为复杂的组织架构,对数据工作的开展需要纵向贯穿各业务单元,横向拉通各支撑机构,实现数据的全面接入与管理,组织形式至关重要,公司级的数据管理部,通过数据owner,it管理部,建立联合团队,实现数据工作的全局统一。
华为的数据底座是华为数据工作的核心,实现数据源的集中接入,数据入湖的标准化,规范化,自动化管理,通过物理入湖和虚拟入湖的方式进入数据湖,数据中台对数据湖中的数据按照主题的逻辑结构的多种模型处理,提供数据服务。数据湖和数据中台的建设是数据底座的技术实现。
数据主题联结作为数据中台的核心功能,聚焦业务流的事件,对象主体链接,智能标签,指标数据,算法模型通过多维模型,图模型等标签与指标,算法与模型的角度抽象数据服务,支撑数据的消费场景。在消费场景层面,多角度,关联,特定范围,结果质量效率度量,智能分析等关键场景对业务运作的监控,预测,预警,协调,调度,决策,指挥提供依据,实现数字化转型驱动业务的核心业务运作能力。
华为通过数据底座能力建设,在数据的标准化,统一化的前提下实现应用于数据的解耦,为数据的消费提供了强大的支撑能力。
四、数据治理
华为的数据治理符合标准的治理模型,政策指引下通过架构和质量的标注化管理,对主数据与维度数据按照业务流的信息价值链由数据,流程,IT通过纵横打通和数据清洁实现治理。
华为一价值流为主,在数据产生,整合服务,数据搜索,数据消费等层面根据业务感知,信息架构,元数据管理,数据底座相关,服务,报告,自助服务,隐私与安全层面制定了详细的规范,标准和实施指南。
其中,主数据作为关键基础数据其着贯穿业务逻辑,支撑业务模型的作用,相对于2C的个人数据,华为主要展现的是客户数据以及其他实体数据。主数据作为核心数据,其治理是数据治理核心关注环节,需要贯穿整个数据治理流程。
针对主数据治理的策略,华为提出了唯一性,联邦管控,单一数据源,数据、流程、IT协同,事前的数据质量5大策略,具备主数据治理的参考意义。
五、隐私与数据安全
隐私与数据安全是当下热点问题,数据安全强调数据机密性,完整性,可用性的保护,隐私关注的是个人人身权利相关的数据权利,知情同意,最小可用,权利主张和企业的数据可用性安全属性存在冲突,因此,综合考虑隐私与安全的框架至关重要。华为的两个体系关系的阐述可以作为有益参考。
华为提出的数据安全与隐私保护能力框架,集中在事前预防,事中预警,事后追溯的能力,事前预防关注风险评估,以及基于风险的保护策略,通过访问控制和授权控制落实管控策略,在事中提出了探针对数据泄漏,流量监控,行为分析等提出预警策略,这部分的设计稍显薄弱。事后的追溯能力也属于常规操作,具有一定的改进空间。
落实到数据底座具体数据的保护措施上,对于涉及个人敏感和企业绝密数据的,重点落实存储,访问,追溯的控制措施,在存储层面从表级的隔离和透明加密上着手,在字段级支持静态脱敏和对称加密,实现性能与安全的平衡。访问控制主要是基于用户权限的动态脱敏机制实现保障,追溯环节依据的事伪列与伪行的数字水印,但在这个环节,元数据的使用并未体现。
其实,华为提出了元数据在安全隐私保护中的作用,通过元数据的定义和管理,实现数据的全生命周期管控和监管,对数据安全问题的追溯可以起到更加重要的作用。
数据底座的安全隐私保护方案,在入,存,出,用四个环节建立按照分类分级的原则进行管控,设定了13项交付件,指导隐私安全保障措施落地。
数据底座的隐私保护中,首先对隐私数据建立分类标准,对于敏感数据的特殊种类严禁入湖,对于其他个人敏感数据入湖需要PIA的分析以及数据Owner的同意,并且采用脱敏和加密手段保障安全。
数据底座的安全管理中,按照信息安全对数据分类分级,对绝密数据采取不入湖的基本原则,入湖按照个人特殊敏感数据处理的规则处理。对数据密级的使用审批,按照流程处理。