新闻资讯

我国实物地质资料信息率先进入大数据在线服务时代

作者:姚聿涛 周游 发布时间:2016-6-21

近日,地调局实物资料中心与西安地调中心大数据团队联合攻关,搭建了全国实物地质资料大数据框架,形成了具有多节点水平扩展能力的分布式互联数据中心资源池,实现了海量实物地质资料图文一体化聚合存储、异构数据高速解析、行业级跨平台无缝对接、用户桌面和移动端无障碍浏览等多项关键技术与实用服务功能。

随着全国重要钻孔数据库项目工作在“十三五”时期全面铺开,国家级馆藏机构和省级馆藏岩心、薄片、标本等资源数字化工作成果日积月累,产生的非结构化图件类数据经切片处理后已达到数百万级。同时需要考虑如何发挥国家馆引领示范带头作用,支撑“十三五”国家馆和省级馆藏机构联合开展数据服务,以及实物资料如何与原始、成果地质资料实现集群服务。信息化服务归结为面临的挑战来自于三个方面,一是数据管起来,如何有效汇聚与管理全国实物资料非结构化数据;二是数据用起来,提供非结构化智能快速检索、浏览和交互服务;三是数据能共享,提供跨行业应用提供系统调用底层接口。

根据全国实物地质资料管理与服务的需求,解决信息化服务面临的三个挑战,按照国土资源部实物地质资料分散保管、集中服务的管理原则,地调局实物中心和西安地调中心科研人员集中攻关,试验多种大数据服务框架是否适用于实物地质资料信息化服务,框架能否同时满足支持分布式架构、多元异构数据一体化管理、基于地理信息位置的空间服务和个性化网页服务界面定制,经过反复多次试验和对比研究后,在大数据服务框架应用取得了突破。全国实物地质资料大数据平台服务框架实现了图件类非结构化数据以编码流的形式推送到数据库统一管理,对外服务由Windows门户提供交互接口服务,并支持门户页面定制和数据共享,对内数据管理由基于Linux系统集群环境支撑,所有结构化和非结构化数据推送到Nodes节点上,数据的查询调度由充当全局交易检测(GTM)和协调员(Coordinator)角色的服务器实现,框架具备灵活的增删节点横向扩展能力。

目前,全国实物地质资料大数据平台框架内已推送了1:3500万比例尺世界地质图数据库、1:250万比例尺中国地质图数据库和全国重要钻孔数据库目录及柱状图影像数据,信息检索效率已达毫秒级。为地质大数据工程发挥了落地应用和示范作用。

实物地质资料数据服务
全国重要地质钻孔数据库管理服务平台 全国重要实物地质资料图像服务系统 全国实物地质资料集群服务系统