百度飞桨人工智能产业赋能中心 顶级全球最权威AI性能基准 百度飞桨为分布式训练树立了标杆
大模型时代,飞桨产业级平台的优势开始显现。从问答、翻译、作画再到写论文,最近一段时间,实现各种神奇能力的 AI 总有个「大模型」的称号。在工业界,大模型也被视为重要的发展方向,它既可以减少机器学习训练
顺晟科技
2021-08-23 10:21:12
92
随着城市建设的快速发展,市政行政服务中心已成为政府对外形象的更佳窗口。建设服务型政府,为市民提供精准高效的服务,离不开大数据、人工智能等先进技术的支撑。在某市政务服务数据管理局协同的“数据大脑”建设中,金仓分析数据库系统KingbaseAnalyticsDB(以下简称“KADB”)通过提供高价值密度的结构化数据存储和分析,为平台日常运营提供关键决策依据。
项目总体结构图
注:“一湖四平台”:数据湖、大数据基础设施平台、大数据融合平台、大数据治理平台、大数据服务平台
这座城市的“数据大脑”已经收集了6000个政府数据资源目录,总共有1000亿条政府数据。在“数据大脑”的支撑下,全市完成了一站式综合服务平台创建和“一窗一办”政务服务的实现。KADB作为“数据大脑”大数据基础支撑平台中的重要角色,通过2个0节点的集群部署,提供多节点并行计算、快速响应各种查询、统计分析、机器学习、行列混合存储、高压缩比算法等手段,为当前100 TB数据容量下的数据大脑提供精准决策依据。
此外,与传统的关系数据解决方案相比,KADB具有以下优势:
无共享MPP架构,水平可扩展性:它提供的计算能力远高于传统数据库,如ORACLE。数据分布在所有并行节点上,每个节点只处理一部分数据,所有节点同时进行并行处理。同时,由于所有节点之间没有共享和I/O冲突,因此可以优化I/O处理。随着数据量和计算需求的不断增加,可扩展节点能够满足计算能力需求,查询性能具有水平扩展的准线性提升能力
的空间数据(GIS)/遥感数据管理分析能力:集群对空间数据进行管理和分析,为城市空间数据和产业业务数据的统一管理和分析提供支持,如热点可视化分析、区域内统计分析、基于地理位置的服务等。
行列混合存储提高了海量数据的分析效率:可定义的行列混合存储在行存储分区表中保存主动交互数据,在行存储分区表中不保存主动仓库数据,空间使用和性能优化都能满足要求。支持多种压缩方式,列存储支持为不同的列指定不同的压缩方式和压缩级别,支持zlib、生石灰z、zstd、RLE等高效压缩算法。压缩比可达13,336,020;支持用户为数据选择最合适的存储方式,以获得更佳的存储效率。满足业务系统海量数据下的秒级、毫秒级查询响应。与传统的行存储相比,它可以实现一个数量级的性能提升
高可靠性和高可用性:集群部署副本冗余机制,每个节点上的数据都将具有冗余。分析主节点日志后,通过基于日志的数据同步,保证主节点与数据节点主/备份之间的数据一致。如果相关主节点出现故障,备件会自动接管主节点,继续提供服务,无需人工干预
内置AI支持机器学习:集群机器学习算法库,数据库内置复杂AI分析,系统可通过SQL实现聚类、线性回归等分析能力,简化机器学习难度,为数据大脑提供图计算、机器学习、数据处理、统计分析、模型评估等常用算法;在系统中,调用数据库中构建的挖掘算法来创建用户定义的函数,以便在数据库中进行并行分析。这些算法包括t统计、p值、朴素贝叶斯等。
除了产品能力的“硬核”之外,KADB团队始终坚持以客户为中心的服务理念,即时响应客户需求,得到了客户的充分认可。在国产化浪潮下,KADB产品广泛应用于政务、能源、军工、金融、公安、卫生等关键领域,产品和服务能力得到充分证明。未来,NPC金融仓将继续打磨产品能力,优化服务质量,为更多客户决策提供精准依据。
特别声明:以上内容(包括图片或视频)由站长媒体平台用户上传发布,站长媒体平台仅提供信息存储服务。
23
2023-02
22
2023-02
21
2022-11
19
2022-10
19
2022-10
19
2022-10