新闻动态

首页 > 新闻动态 > 超算&AI应用周报 Vol.23 | 谷歌开源小模型Gemma 2 2B、HPC软件SU2、NAMD新版本上线
2024-08-02

超算&AI应用周报 Vol.23 | 谷歌开源小模型Gemma 2 2B、HPC软件SU2、NAMD新版本上线

导读

本期周报共4561个字,预计阅读时间19分钟,您可以重点专注以下内容。


  • 超算快讯:

    Gemma 2 2B上线超算互联网,支持快速免费下载权重文件;

    科学计算软件SU2 v8.0.1版本、NAMD v3.0版本上线超算互联网;

  • 前沿应用:

    最佳实践Vol.04 | Quantum ESPRESSO v7.0水分子算例的运行优化指南;

    Runway Gen 3 Alpha图生视频上线,创造属于你的11秒电影;

    Meta 发布 SAM 2 :在图片和视频中实时分割对象;

  • 学术研究:

    入选ICML!麻省理工团队基于AlphaFold实现新突破,揭示蛋白质动态多样性;

    清华团队提出AI基础模型ROAM,实现胶质瘤精准诊断;

    ICML 2024|复杂组合3D场景生成,LLMs对话式3D可控生成编辑框架来了;

    美国阿贡国家实验室开发深度学习框架AI-NERD,制造材料「指纹」


640.jpg


一、超算快讯:


Gemma 2 2B上线超算互联网,支持快速免费下载模型文件


当地时间7月31日,谷歌DeepMind宣布发布Gemma 2家族新成员:Gemma 2 2B、ShieldGemma和Gemma Scope,旨在推动AI技术的发展,提升模型性能与安全性的同时增强模型的可解释性。


其中,轻量级模型Gemma 2 2B已上线超算互联网,支持一键试用,以及快速免费下载模型文件,开发者可以根据项目需求,实现模型的快速部署与应用。


1.jpg


Gemma 2 2B在LMSYS Chatbot Arena中以20亿参数获得了1126分的成绩,超越了GPT-3.5-Turbo和Mixtral-8x7b,其模型技术要点包括:

  • 快速推理速度:在苹果iPhone 15 Pro上运行的4-bit量化版本展示了非常快的推理速度,证明了其在移动设备上的高效性能。

  • 部署灵活且经济高效:可在各种硬件上高效运行,从边缘设备和笔记本电脑到使用云部署如 Vertex AI 和 Google Kubernetes Engine (GKE) 。

  • 开源且易于访问:可用于研究和商业应用,由于它足够小,甚至可以在 Google Colab 的 T4 GPU 免费层上运行,使实验和开发比以往更加简单。


除了发布性能强劲的轻量级模型外,谷歌还推出了一个基于Gemma 2构建的安全内容分类器ShieldGemma,用于过滤 AI 模型的输入和输出,确保用户安全,以及模型可解释性工具Gemma Scope,主要通过稀疏自编码器(SAE)来解析Gemba 2模型的内部工作原理,了解Gemma 2如何识别模式、处理信息,并最终做出预测,从而探索如何构建更易于理解、更可靠、更可靠的AI系统。


2.jpg


科学计算软件SU2 v8.0.1版本上线超算互联网


SU2 是一个基于 C++ 的开源工具集合,主要用于执行偏微分方程 (PDE) 的分析与求解 PDE 约束的优化问题。SU2的设计初衷是为了提供一个灵活且强大的框架,用于解决流体力学中的各种问题,包括但不限于模拟和分析各种速度范围内的流体流动、评估和优化物体的气动性能等。


本周,SU2 v8.0.1版本上线超算互联网,相较于之前的版本,本次的更新点主要集中在:

  • 实验性功能:

    添加了新的 Actuatordisk BEM (Boundary Element Method) 功能。

    引入了一个用于更新标记平移和旋转速率的Python 接口。

    引入了新的涡轮增压器特性。

  • Bug修复:

    修正了 CST 参数化方法的问题。

    更新了 CoDiPack,并实现了显式伴随锁定。

    修复了 TestCase.py 中 CPU 架构返回值的问题。


3.jpg


科学计算软件NAMD v3.0版本上线超算互联网


NAMD是一款高性能的并行分子动力学软件,主要用于模拟生物大分子系统的行为和性质,如蛋白质、核酸和其他生物大分子,以及纳米尺度的材料科学应用。


本周,最新版本NAMD v3.0上线超算互联网,该版本的重要更新内容包括:

  • GPU 驻留模式:NAMD 3.0 引入了新的 GPU 驻留模式,该模式允许在 GPU 上执行更多的计算任务,包括数值积分和刚性键约束,从而减少了 CPU 和 GPU 之间的数据传输。这提供了超过两倍的性能提升,尤其是在现代 GPU 硬件上。

  • GPU 加速的炼金术自由能方法:首次在 NAMD 中提供了 GPU 加速的自由能扰动 (FEP) 和热力学积分 (TI) 方法,这些方法用于计算不同化学状态间的自由能差,加速可达 30 倍,与之前的仅 CPU 实现相比。

  • 蒙特卡罗压强控制器:对于 GPU 驻留模式,实现了 Monte Carlo Barostat,这是一种控制压力的方法,它通过调整周期性边界条件并在固定的时间间隔内接受或拒绝新的体积,避免了计算压力维里张量的需要,从而提高了效率。

  • 多 GPU 扩展性:NAMD 3.0 改进了多 GPU 平台上的并行扩展性,特别是在 GPU 驻留模式下,通过点对点连接实现了更好的性能。


4.jpg


二、前沿应用:


最佳实践Vol.04 | Quantum ESPRESSO v7.0水分子算例的运行优化指南


超算互联网推出“超链接”最佳实践系列专题,旨在通过HPC软件、AI模型的应用链接科研工作者与AI开发者,分享超算实践经验、模型推理实测教程。如果您有关于超算应用的创新研究成果、高效计算方法、最佳实践案例或者独到见解想要分享,欢迎投稿或联系报道。

本文主要介绍如何在超算互联网使用Quantum ESPRESSO v7.0版本进行水分子自洽场计算的运行优化建议,包括基准测试与性能分析、QE并行策略分析及water算例运行优化等,帮助科研人员更高效地在超算互联网运行QE。


作者通过对water算例的基准测试和性能分析,发现计算瓶颈主要在于FFT计算和通信方面,通过调整并行策略中的task group参数(ntg),实现了FFT计算的优化,当ntg设置为8时,相较于基线性能提高了20%。


文章还详细阐述了QE软件中的多级并行策略,包括image、pool、task和linear-algebra等并行级别,并给出了相应的参数设置示例和解释,为用户提供了一套有效的运行优化指南。

更多应用案例可持续关注超算互联网最佳实践系列文章,本文完整内容请查看:最佳实践Vol.04 | Quantum ESPRESSO v7.0水分子算例的运行优化指南


Runway Gen 3 Alpha图生视频上线,创造属于你的11秒电影


7月30日凌晨,Runway Gen 3 Alpha 模型的图生视频功能正式上线,该功能允许用户将任何静态图片转化为动态视频的首帧,同时支持通过文本提示增强视频生成的指导与控制。这项更新使得模型能够创造出长达11秒的视频内容,至于生成效果如何,大家可以先来欣赏一下官方给到的图生视频示例。


5.gif


本次Runway Gen 3 Alpha 的功能更新包括:

  • 技术突破:Gen 3 Alpha 在画面的真实感、物体在复杂环境中的表现以及运动的自然性方面更加接近现实世界的视觉效果。

  • 空间和时间转换能力:模型增强了空间稳定性和时间连续性,使视频中的场景转换更加流畅,同时也支持时间上的转换效果。

  • 增强的视频长度:更新后的模型能够生成最长11秒的视频片段,这对于短视频创作和广告等领域非常有用。

  • 艺术控制和一致性:Gen 3 Alpha 提升了生成视频的艺术控制水平,确保视频内容在视觉上更加连贯和一致。(Venture Beat)

内容链接:

https://venturebeat.com/ai/you-can-now-turn-still-images-into-ai-videos-with-runway-gen-3-alpha/


Meta 发布 SAM 2 :在图片和视频中实时分割对象


7月29日,Meta 发布新一代对象分割模型 SAM 2,该模型是首个能够实时地、可提示地分割图像和视频中任意对象的统一模型。相比上一代模型,SAM 2 在分割精度和处理速度上都有显著提升,处理速度提升了 6 倍。


6.gif


AM 2 模型的功能亮点:

  • 与生成式视频模型的协同:SAM 2 的输出可以与生成式视频模型结合,创造出新颖的视频效果。

  • 可提示的视觉分割:SAM 2 可以接受图像中的点、框或遮罩,或视频中任意帧的提示,来定义和预测目标对象的分割遮罩。

  • 流式架构和记忆注意力模块:采用流式架构处理视频帧,使用记忆注意力模块关注目标对象的先前状态,允许模型实时处理任意长度的视频。

  • 多重masklet预测:在面对模糊性时,SAM 2 能够生成多个可能的masklet,确保更准确的分割结果。(META)

内容链接:

https://about.fb.com/news/2024/07/our-new-ai-model-can-segment-video/


三、学术研究:


入选ICML!麻省理工团队基于AlphaFold实现新突破,揭示蛋白质动态多样性


近日,来自麻省理工学院的研究团队结合了 AlphaFold 和 ESMFold 的新型采样方法,通过引入流匹配(Flow matching)技术,解决了传统蛋白质结构预测模型在构象异质性方面的局限性。


7.jpg

图:AlphaFLOW / ESMFLOW 概述


AlphaFlow和ESMFlow利用流匹配框架将AlphaFold和ESMFold转化为去噪模型,从而能够生成蛋白质结构的集合,而非单一预测结构。这种方法允许模型在预测过程中考虑蛋白质结构的动态性质,包括构象变化和柔性区域,这是蛋白质执行其生物功能的关键特征。


8.jpg

图:AlphaFLOW 的 MD 复制模拟效率


实验表明,AlphaFlow-MD与ESMFlow-MD在仿真效率上展现出高效率,能在较少的计算资源下实现与传统MD模拟相当甚至更优的结果,特别是在蛋白质结构预测上。这不仅凸显了AlphaFlow和ESMFlow在该领域的潜力,也体现了DeepMind的AlphaFold、David Baker的RoseTTAFold及Meta的ESM三大通用蛋白质预训练模型的竞争格局。


相关研究以「AlphaFold Meets Flow Matching for Generating Protein Ensembles」为题,已入选 AI 领域顶级学术会议 ICML 2024。

论文链接:

https://openreview.net/forum?id=rs8Sh2UASt


清华团队提出AI基础模型ROAM,实现胶质瘤精准诊断


近日,清华大学自动化系生命基础模型实验室与中南大学湘雅医院合作,开发了一种名为 ROAM 的人工智能模型,用于胶质瘤的精准病理诊断和分子标志物发现。不同于传统方法,该模型能够在全组织切片图像上进行分析处理,从而避免了可能的信息遗漏。


9.jpg

图:ROAM 基本框架


ROAM模型的研究亮点在于:

  • 多尺度特征学习:ROAM通过金字塔Transformer架构,能够捕捉组织图像块的尺度内和尺度间相关特征,实现对组织切片图像视觉表征的多尺度分析,这有助于更全面地理解组织结构和病理变化。

  • 弱监督学习:ROAM模型采用弱监督学习的方式,这意味着它可以从较少的标注数据中学习,降低了数据准备的成本和难度。

  • 高性能诊断:ROAM在胶质瘤的检测、亚型分类、分级和分子特征预测等任务上展现出了卓越的性能,其AUC值(曲线下面积)在多个任务上超过了其他基线方法,证明了其在胶质瘤诊断中的有效性。

  • 临床辅助诊断:ROAM能够显著提升病理学家的诊断准确性,特别是在初级和中级病理学家的诊断过程中。


相关研究成果以「A transformer-based weakly supervised computational pathology method for clinical-grade diagnosis and molecular marker discovery of gliomas」为题,发表在 Nature Machine Intelligence。

论文链接:

https://www.nature.com/articles/s42256-024-00868-w


ICML 2024|复杂组合3D场景生成,LLMs对话式3D可控生成编辑框架来了!


近期,北京大学王选计算机研究所的 VDIG 实验室的研究人员提出了 LLM 引导的复杂三维场景可控生成框架 --GALA3D,它能够生成高质量、高一致性、具有多物体和复杂交互关系的 3D 场景,支持对话式交互的可控编辑。


10.jpg

图:GALA3D 的整体架构


GALA3D 的关键技术包括:

  • 基于 LLMs 的场景布局先验:使用大型语言模型解析文本输入,生成初步的场景布局。

  • Layout Refinement:通过基于视觉的 Diffusion 先验和 Layout 引导的生成式 3D 高斯对初步布局进行优化,修正物体的空间位置、旋转角度和尺寸比例,确保更准确的布局和合理的物体交互。

  • 提出布局引导的生成式 3D 高斯:首次将3D-Layout 约束引入 3D 高斯表示,提出了布局引导的生成式 3D 高斯,用于复杂文生 3D 场景。

  • 自适应几何控制:优化 3D 高斯的形状和分布,以生成纹理细节丰富、几何规范的多物体场景,同时保证布局引导的 3D 高斯具有高可控性和一致性。


相关研究以「GALA3D:Towards Text-to-3D Complex Scene Generation via Layout-guided  Generative Gaussian Splatting」为题,目前已被 ICML 2024 录用。

论文链接:

https://arxiv.org/pdf/2402.07207


美国阿贡国家实验室开发深度学习框架AI-NERD,制造材料「指纹」


近日,来自美国阿贡国家实验室的研究人员开发了一种无监督深度学习框架——AI-NERD,能够自动从实验数据中对松弛动力学进行分类,而无需依赖任何关于系统的物理知识。这项技术可以创建不同材料的「指纹」,这些指纹可以通过神经网络读取和分析,从而获得科学家以前无法访问的新信息。


11.jpg

图:XPCS 数据的实验装置和机器学习工作流程示意图


研究人员利用AI-NERD框架,通过X射线光子相关光谱技术,在时间分辨实验中有效捕捉并分析了材料的非平衡动力学。AI-NERD采用自动编码器技术,将复杂的X射线散射数据转化为简洁的指纹信息,不仅减少了数据的复杂性,还提高了数据处理的效率和准确性。


12.jpg

图 :将数据的聚类分布绘制为时间的函数,方位角条柱揭示了有关系统的信息


研究团队通过AI-NERD框架的应用,不仅加速了大型数据集的探索过程,还实现了对感兴趣样本的快速识别。更重要的是,该方法将微观动力学与模型系统的宏观特性直接关联起来,为材料科学家提供了强有力的工具,用于揭示材料在受压和放松时随时间演变的复杂行为。


相关研究以「AI-NERD: Elucidation of relaxation dynamics beyond equilibrium through AI-informed X-ray photon correlation spectroscopy」为题,发布在《Nature Communications》上。

论文链接:

https://www.nature.com/articles/s41467-024-49381-z


尾巴.jpg