基于超算的云边协同高通量海洋数据智能处理方法及系统
随着物联网、大数据、人工智能的发展，越来越多的海洋观/监测网统被搭建起来，并发挥着日益重要的作用。由于传感器本身质量问题、传感器工环境复杂性及传输网络可靠性等问题导致物联网数据异常频发，如数据漂移、数据缺失、数据失真等，海洋观/监测网统采集的数据质量已成为制约海洋数据深度应用、人工智能发挥作用的关键性问题。针对这一问题，本成果突破了云边协同的高通量海洋数据智能处理技术，提出了基于超算的云边协同高通量数据智能处理框架，研发了时序数据异常检测、时序数据缺失值填补、图像自适应智能增强等系列数据智能处理算法，及时发现数据异常并进行修复，研建了海洋观测数据异常智能检测算法库，包含 10 余种基于机器学习、深度学习的数据智能检测算法，研发了基于超算的海域级分布式海洋数 质控与智能处理平台系统。本成果的核心技术包括：1）提出了基于超算的海量模型并发训练方法，基于超算计算优势，充分发挥超算核心多的特点，将海量模型以负载均衡的方式分配到不同超算核心上，从而实现海量模型并发训练，实现了分钟级万级模型优化；2）针对在云端推理时延过高问题，提出了基于云边协同的模型 更新及推理方法，将超算训练优化后的模型推送到