|本期目录/Table of Contents|

[1]缪佳辉,包先雨,黄孙杰,等.海关数据湖的构建与应用[J].武汉工程大学学报,2022,44(05):572-577.[doi:10.19843/j.cnki.CN42-1779/TQ.202203011]
　MIAO Jiahui,BAO Xianyu,HUANG Sunjie,et al.Construction and Application of Customs Data Lake[J].Journal of Wuhan Institute of Technology,2022,44(05):572-577.[doi:10.19843/j.cnki.CN42-1779/TQ.202203011]
点击复制

海关数据湖的构建与应用

(/HTML)
分享到：

《武汉工程大学学报》[ISSN:1674-2869/CN:42-1779/TQ]

卷:
44
期数:
2022年05期
页码:
572-577
栏目:
50周年校庆特刊
出版日期:
2022-10-31

文章信息/Info

Title:
Construction and Application of Customs Data Lake
文章编号:
1674 - 2869（2022）05 - 0572 - 06
作者:
缪佳辉1; 包先雨2; 黄孙杰1; 邢 军*2

1. 深圳海关信息中心，广东 深圳 518045；
2. 深圳市检验检疫科学研究院，广东 深圳 518045

Author(s):
MIAO Jiahui1; BAO Xianyu2; HUANG Sunjie1; XING Jun*2
1. Shenzhen Customs Information Center， Shenzhen 518045， China；
2. Shenzhen Academy of Inspection and Quarantine， Shenzhen 518045， China

关键词:
数据湖; 智慧海关; 海关大数据; 大数据处理; 非结构化数据
Keywords:
data lake;  smart customs;  customs big data;  big data processing;  unstructured data
分类号:
TP399
DOI:
10.19843/j.cnki.CN42-1779/TQ.202203011
文献标志码:
A
摘要:
针对海关信息化发展带来的海量数据存储管理和有效共享利用等问题，通过分析数据湖的基本特征与技术优势，提出了海关数据湖架构方案，包括数据存储、数据汇聚、数据治理、数据计算、数据服务等解决思路。通过进出口食品风险监控数据湖应用实践，发现构建海关数据湖体系，有利于打破数据孤岛，有效解决并提高海关数据访问质量，提升大数据分析和数据共享能力，更好发挥海关数据价值。
Abstract:
Customs informatization brings a lot of convenience， while leads to problems in mass data storage management and effective sharing and utilization. Based on the advantages of the data lake， this paper proposes a framework scheme for the customs data lake. The framework scheme includes data storage， data gathering， data governance， data computing， data services and other modules. In addition， through the application of import and export food risk monitoring data lake， a customs data lake system was constructed. The system will help to break the data silos and effectively improve the quality of customs data access， thereby enhancing the level of big data analysis and sharing， and making best use of the customs data.

参考文献/References:

［1］ 刘子龙.数据湖——现代化的数据存储方式［J］.电子测试，2019（18）：61-62.

［2］ 谷洪彬，杨希，魏孔鹏.基于数据湖的高校大数据管理体系和处理机制研究［J］.计算机时代，2020（5）：109-111，115.
［3］ DIXON J. Pentaho，Hadoop and data lakes［Z］. 2015.
［4］ Wikipedia. Data lake［Z］. 2017.
［5］ Natalia Miloslavskaya，Alexander Tolstoy. Big data， fast data and data lake concepts［J］. Procedia Computer Science，2016，88： 300-305.
［6］ 李曼寻. 数据湖技术在档案信息资源共建中的应用［J］.山西档案，2018（2）：18-21.
［7］ 马利.建设政府数据湖技术［N］. 人民政协报（B版），2017-03-14.
［8］ 李梁必，陈郁.数据湖建设与应用，你要知道的都在这里.+AI［J］. 智慧的力量，2019，2（3）：60-63.
［9］ 胡军军，谢晓军，石彦彬，等.电信运营商数据湖技术实施策略［J］.电信科学，2019，35（2）： 84-93.
［10］ 郭文惠.数据湖——一种更好的大数据存储架构［J］. 电脑知识与技术，2016，23（30）： 4-6.
［11］ 李言飞.数据湖架构在健康大数据科学计算应用中的构想［J］.中国卫生信息管理杂志，2020，17（4）：533-537.
［12］ 刘志勇，何忠江，刘敬龙等.统一数据湖技术研究和建设方案［J］.电信科学，2021，37（1）：121-128.
［13］ 陈永南，许桂明，张新建——种基于数据湖的大数据处理机制研究［J］，计算机与数字工程，2019，47（10）：2540-2544.
［14］ SAWADOGO P， DARMONT J. On datalake architectures and metadatamanagement［J］. Journal of Intelligent Information Systems，2021，56（1）：97-120.
［15］ ENDRIS K M， ROHDE P D， VIDAL M E， et al. Ontario：Federated query processing against a semantic data lake［C］ //International Conference on Database and Expert Systems Applications.Cham： Springer，2019： 379-395.

相似文献/References:

备注/Memo

备注/Memo:
收稿日期：2022-03-08
基金项目：国家重点研发计划项目（2018YFC1603601）
作者简介：缪佳辉，高级工程师。E-mail：77261502@qq.com
*通讯作者：邢 军，高级工程师。E-mail：83302308@qq.com
引文格式：缪佳辉，包先雨，黄孙杰，等. 海关数据湖的构建与应用［J］. 武汉工程大学学报，2022，44（5）：572-577.

更新日期/Last Update: 2022-11-02