-
读数据自助服务实践指南:数据开放与洞察提效08数据湖管理服务
1. 数据湖管理服务1.1. 数据聚合在数据湖中,数据湖已经成为聚合PB级数据的中央数据存储库,这些数据包括结构化数据、半结构化数据和非结构化数据1.2. 痛点1.2.1. 原始的数据生命周期任务没有自动化的API,需要工程专家来实现可重复性和回滚、提供数据服务层等...
05月02日[精选文章]浏览:10
-
什么是RPC?什么是Restful?它们有什么区别?
RPC远程过程调用(Remote Procedure Call,RPC)框架作为架构微服务化的基础组件,能大大降低架构微服务化的成本,提高服务调用方与服务提供方的开发效率,屏蔽跨进程调用函数(服务)的各类复杂细节,其调用原理如图6-13所示。让服务提供方像实现本地函数一样来实现分布式服务,开发人员不...
05月02日[精选文章]浏览:8
-
-
看完这一篇数据仓库干货,终于搞懂什么是hive了
一、Hive定义Hive最早来源于FaceBook ,因为FaceBook网站每天产生海量的结构化日志数据,为了对这些数据进行管理,并且因为机器学习的需求,产生了Hive这们技术,并继续发展成为一个成功的Apache项目。1、定义Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映...
05月02日[精选文章]浏览:6
-
-
10分钟零基础就可搞懂的Hadoop架构原理,阿里架构师详解
我今天花了大半个下午的时间,写了这篇hadoop的架构,全篇都是以大白话的形式,也算是为后面更加详细的每一部分开了个好头吧,如果喜欢请点转发和关注,如果有疑问,直接在评论里说出来,大家一起解决,才能进步。一、概念Hadoop诞生于2006年,是一款支持数据密集型分布式应用并以Apache 2.0许可...
03月30日[精选文章]浏览:14
-
-
浅谈几种常见的分布式ID
在分布式环境下,如何对某对象做唯一标识是个很常规的问题。本文讨论几种常见做法,供大家参考。1. UUIDUUID是可以生成时间、空间上都独一无二的值,其本质是随机+规则组合而成的。即使在两个独立的服务器上生成UUID,其预期值也是不同的。以MySQL为例,说明下UUID。 格式在MySQL中,UUI...
03月30日[精选文章]浏览:11
-
-
数字证书常见格式整理
数字证书常见标准符合PKI ITU-T X509标准,传统标准(.DER .PEM .CER .CRT)符合PKCS#7 加密消息语法标准(.P7B .P7C .SPC .P7R 符合PKCS#10 证书请求标准(.p10 符合PKCS#12 个人信息交换标准(.pfx *.p12)X509是数字证...
12月19日[精选文章]浏览:15