计算机系统应用
ISSN
1003-3254,
CODEN
CSAOBNE-mail:
csa@
Computer
Systems
Applications,2022,31(9):319?323
[doi:
10.15888/ki.csa.008683]
?中国科学院软件研究所版权所有.Tel:
+86-10
面向决策分析的海量气象数值预报数据快速提取①
李永生,
张金标,
张敏,
陈冰怀
(广东省气象探测数据中心,
广州
510080)
通信作者:
李永生,
E-mail:
879976993@
摘要:
以海量半结构化的气象数值预报数据产品为研究对象,
针对传统数据抽取方法效率不高的问题,
基于多进
程处理技术,
设计了一种基于精准位置寻址的快速数据块定位算法,
实现了数据块的精准定位;
设计了可按需在空
间范围内进行裁剪的截取算法,
可按需根据数据的属性维度、经纬度范围等信息实现数据按需抽取;
基于上述算法
实现了全流程统一控制的多进程数据读取的业务流程.
并以单平面耗时为主要考核指标,
分别采用1进程,
4进
程、8进程以及16进程进行数据处理,
实际测试结果表明,
采用16进程处理比单个进程处理的速度由257
ms提
高到37
ms.
该方法有效的提升非结构气象数值预报产品数据的抽取效率,
已在面向城市治理等气象决策分析业务
中业务化应用.
关键词:
非结构化模型;
数据抽取;
数据分析;
决策分析;
可视化分析
引用格式:
李永生,张金标,张敏,陈冰怀.面向决策分析的海量气象数值预报数据快速提取.计算机系统应用,2022,31(9):319–323.
http://www.c-s-
/1003-3254/8683.html
FastDataExtractionforNumericalWeatherPredictionBasedonDecisionAnalysis
LI
Yong-Sheng,
ZHANG
Jin-Biao,
ZHANG
Min,
CHEN
Bing-Huai
(Guangdong
Meteorological
Observation
Data
Center,
Guangzhou
510080,
China)
Abstract:
Traditional
data
extraction
methods
are
usually
inefficient.
To
address
this
problem,
we
first
design
an
exact
position
addressing-based
algorithm
with
multi-processing
methods
to
achieve
the
accurate
positioning
of
data
blocks
by
taking
the
massive
data
generated
from
semi-structured
numerical
weather
prediction
(NWP)
products
as
the
research
object.
Then,
an
extraction
algorithm
is
designed
to
extract
data
in
the
spatial
range
on
demand,
namely,
to
realize
on-
demand
data
extraction
according
to
attribute
dimensions
as
well
as
the
latitude
and
longitude
of
data.
As
a
result,
the
multi-process
data
reading
under
unified
whole-process
control
is
achieved
on
the
basis
of
the
above
t