18910140161

人大金仓KINGBASE分布式数据库助力“数据大脑”建设

顺晟科技

2021-08-23 10:21:12

92

随着城市建设的快速发展,市政行政服务中心已成为政府对外形象的更佳窗口。建设服务型政府,为市民提供精准高效的服务,离不开大数据、人工智能等先进技术的支撑。在某市政务服务数据管理局协同的“数据大脑”建设中,金仓分析数据库系统KingbaseAnalyticsDB(以下简称“KADB”)通过提供高价值密度的结构化数据存储和分析,为平台日常运营提供关键决策依据。

C:\Users\caiyq\AppData\Local\Temp\WeChat  Files\14e5647bf91dbb0a4bdcedc9a3c9558.png

项目总体结构图

注:“一湖四平台”:数据湖、大数据基础设施平台、大数据融合平台、大数据治理平台、大数据服务平台

这座城市的“数据大脑”已经收集了6000个政府数据资源目录,总共有1000亿条政府数据。在“数据大脑”的支撑下,全市完成了一站式综合服务平台创建和“一窗一办”政务服务的实现。KADB作为“数据大脑”大数据基础支撑平台中的重要角色,通过2个0节点的集群部署,提供多节点并行计算、快速响应各种查询、统计分析、机器学习、行列混合存储、高压缩比算法等手段,为当前100 TB数据容量下的数据大脑提供精准决策依据。

此外,与传统的关系数据解决方案相比,KADB具有以下优势:

无共享MPP架构,水平可扩展性:它提供的计算能力远高于传统数据库,如ORACLE。数据分布在所有并行节点上,每个节点只处理一部分数据,所有节点同时进行并行处理。同时,由于所有节点之间没有共享和I/O冲突,因此可以优化I/O处理。随着数据量和计算需求的不断增加,可扩展节点能够满足计算能力需求,查询性能具有水平扩展的准线性提升能力

的空间数据(GIS)/遥感数据管理分析能力:集群对空间数据进行管理和分析,为城市空间数据和产业业务数据的统一管理和分析提供支持,如热点可视化分析、区域内统计分析、基于地理位置的服务等。

行列混合存储提高了海量数据的分析效率:可定义的行列混合存储在行存储分区表中保存主动交互数据,在行存储分区表中不保存主动仓库数据,空间使用和性能优化都能满足要求。支持多种压缩方式,列存储支持为不同的列指定不同的压缩方式和压缩级别,支持zlib、生石灰z、zstd、RLE等高效压缩算法。压缩比可达13,336,020;支持用户为数据选择最合适的存储方式,以获得更佳的存储效率。满足业务系统海量数据下的秒级、毫秒级查询响应。与传统的行存储相比,它可以实现一个数量级的性能提升

高可靠性和高可用性:集群部署副本冗余机制,每个节点上的数据都将具有冗余。分析主节点日志后,通过基于日志的数据同步,保证主节点与数据节点主/备份之间的数据一致。如果相关主节点出现故障,备件会自动接管主节点,继续提供服务,无需人工干预

内置AI支持机器学习:集群机器学习算法库,数据库内置复杂AI分析,系统可通过SQL实现聚类、线性回归等分析能力,简化机器学习难度,为数据大脑提供图计算、机器学习、数据处理、统计分析、模型评估等常用算法;在系统中,调用数据库中构建的挖掘算法来创建用户定义的函数,以便在数据库中进行并行分析。这些算法包括t统计、p值、朴素贝叶斯等。

除了产品能力的“硬核”之外,KADB团队始终坚持以客户为中心的服务理念,即时响应客户需求,得到了客户的充分认可。在国产化浪潮下,KADB产品广泛应用于政务、能源、军工、金融、公安、卫生等关键领域,产品和服务能力得到充分证明。未来,NPC金融仓将继续打磨产品能力,优化服务质量,为更多客户决策提供精准依据。

特别声明:以上内容(包括图片或视频)由站长媒体平台用户上传发布,站长媒体平台仅提供信息存储服务。

相关文章
我们已经准备好了,你呢?
2024我们与您携手共赢,为您的企业形象保驾护航