• 超算快讯：
  首个纯无注意力大模型Falcon Mamba 7B上线超算互联网；
  科学计算软件ORCA 6.0.0 、ABACUS 3.6.5 上线超算互联网；
• 前沿应用：
  最佳实践Vol.06 | LivePortrait实操：5分钟让奥运健儿“傲娇”表情动起来；
  Grok-2来了，推理能力突出、性能比肩GPT-4o；
  最强AI程序员诞生：84秒跑通代码，像人一样思考；
  OpenAI爆料者竟然是智能体？斯坦福系创企发布AI智能体AgentQ；
• 学术研究：
  Transformer作者创业公司Sakana AI推出首个全自动科学发现AI系统；
  清华大学徐勇、段文晖团队提出深度学习与密度泛函理论的融合，实现高效材料预测；
  Transformer Explainer：能玩的Transformer可视化解释工具，支持实时推理；
  北航&清华联合研发soScope，AI技术让空间组学分辨率提升36倍

一、超算快讯：

首个纯无注意力大模型Falcon Mamba 7B上线超算互联网

8月13日，阿布扎比支持的技术创新研究所(TII) 开源了全球第一个通用的大型Mamba架构模型——Falcon Mamba 7B。Mamba架构摒弃了传统的 Transformer 注意力机制，使用选择机制，使模型能够根据输入动态调整其参数，同时具备了处理长文本序列（如整本书）的能力，而无需额外的内存或计算资源。

本周，Falcon Mamba 7B基础版本、指令微调版本上线超算互联网，支持快速免费下载权重文件，其主要功能亮点包括：

• 全新的架构：结合了循环神经网络（RNN）和卷积神经网络（CNN）的优点，通过一种选择机制允许模型根据当前输入选择性地传播或遗忘信息。

• 高效处理长序列：可以处理无限长的文本序列，且生成每个token的时间几乎保持一致。

• 高性能表现：在H100 GPU上的测试表明，即使面对长达130,000个token的提示词，也能保持稳定的吞吐量。

• 高效的训练和推理：设计了一种硬件感知的并行算法，可以在递归模式下运行，避免了GPU内存层级之间的IO访问，提高了计算效率。

科学计算软件ORCA 6.0.0版本上线超算互联网

ORCA 是一款广泛使用的量子化学计算软件包，能够进行各种类型的分子结构优化、频率分析、动力学模拟以及电子性质计算，尤其擅长执行密度泛函理论 (DFT) 计算，支持多种泛函和基组的选择。

本周，ORCA 6.0.0 版本上线超算互联网，该版本是 ORCA 的一个重大版本更新，主要变更包括：

• SCF 和单参考方法：改进了内存使用和收敛性，增加了电场优化和新的密度泛函。

• 多参考方法：改进了线性响应 CASSCF 和递归 CI 耦合系数生成。

• 溶剂化与嵌入：改进了 DLPNO-CCSD(T) 和 SMD 分析 Hessian。

• 激发态：增加了 meta-GGA 泛函的解析梯度。

• 新光谱特性：在 SCF 级别实现了 VCD 和 MCD。

• 其他：改进了局部偶极矩和极化率的计算。

科学计算软件 ABACUS 3.6.5版本上线超算互联网

ABACUS是一款由中国科学院开发的量子力学和分子动力学模拟软件包。它基于密度泛函理论，支持平面波和数值原子轨道两种基组，主要用于材料科学、化学以及物理等领域的科学研究。

本周，ABACUS 3.6.5版本上线超算互联网，该版本的功能更新包括：

• DeepKS 支持: 添加了一个新的输入变量 deepks_equiv，允许用户利用 DeepKS 方法来进行计算，以提高密度泛函理论计算的效率和准确性。

• 时域密度泛函理论 (TDDFT) 计算: 支持在 TDDFT 计算中输入和输出矢势。

• 初始电荷密度打印: 新增了初始电荷密度打印功能，这对于验证计算设置和理解系统的初始状态非常重要。
• 错误修复: 修复dav gpu代码中的bug，并为GPU添加更多集成测试。

二、前沿应用：

最佳实践Vol.06 | LivePortrait实操：5分钟让奥运健儿“傲娇”表情动起来

超算互联网推出“超链接”最佳实践系列专题，旨在通过HPC软件、AI模型的应用链接科研工作者与AI开发者，分享超算实践经验、模型推理实测教程。

如果您有关于超算应用的创新研究成果、高效计算方法、最佳实践案例或者独到见解想要分享，欢迎投稿或联系报道。

在刚刚结束的第33届夏季奥运会上，中国体育代表团获得40金27银24铜，金牌数创造境外奥运会最佳。超算互联网用一组AI生成的奥运健儿“傲娇”表情视频，向所有中国健儿喝彩！

本篇为“超链接”系列专题的第6篇最佳实践文章，介绍如何在超算互联网上使用ComfyUI-LivePortrait镜像生成动态视频。用户无需复杂的环境配置，只需登录超算互联网，按照指引创建Notebook，上传所需的图片和视频素材，并调整如视频分辨率和帧率等参数，即可生成动态视频。

更多应用案例可持续关注超算互联网最佳实践系列文章，本文完整内容请查看：最佳实践Vol.06 | LivePortrait实操：5分钟让奥运健儿“傲娇”表情动起来

Grok-2来了，推理能力突出、性能比肩GPT-4o

北京时间8月14日下午，马斯克旗下的 xAI 公司发布了新一代的语言模型 Grok-2，这一新版本在 Chatbot Arena 的 LMSYS 榜单上表现出色，其早期版本 sus-column-r 排名第四，仅次于 GPT-4o（0513 版），并且优于 Claude 3.5 Sonnet 和 GPT-4-Turbo。

Grok-2 是 xAI 公司推出的大语言模型的第二代版本。相较于一代版本，本次的更新亮点总结如下：

• 先进的推理能力：Grok-2 展现出强大的推理能力，特别是在利用检索内容进行推理以及使用工具方面，能够正确识别缺失信息、通过事件序列进行推理并丢弃不相关的帖子。

• 多模态理解：Grok-2 具备文本和视觉理解能力，能够在视觉的任务中表现出色，如视觉数学推理和基于文档的问答。

• 聊天与代码编写：在聊天、推理、代码编写等方面展示出了领先的能力，相比于前一代 Grok-1.5 实现了重大进步。

• 模型变体：Grok-2 包含两个版本：Grok-2 和 Grok-2 mini。Grok-2 mini 是一个更小型但功能强大的模型，在速度和答案质量之间取得了良好的平衡。（ APPSO ）

内容链接：

https://mp.weixin.qq.com/s/dTbJNAEirbn8gj7uCCToHA

最强AI程序员诞生：84秒跑通代码，像人一样思考！

8月12日，Cosine联合创始人兼CEO Alistair Pullen在社交媒体平台宣布，打造出世界上最强的AI软件工程师，其性能在SWE-Bench榜单中排名第一，解决了30.07%的软件问题，远超第二名19.27%的成绩，实现了57%的SOTA最大增幅，领先于亚马逊和Cognition。

Genie的核心能力包括模仿人类工程师的认知过程、逻辑和工作流。用户可以通过四种方式与Genie互动：提示词、GitHub Issue、Linear Ticket或API。Genie可以自动解析问题、迭代思考所需文件、进行问题分析、编写和运行代码，即使遇到bug也能针对性地修复，整个过程耗时仅84秒。

为了打造Genie，Cosine团队收集了一个包含真实人类程序员开发活动的数据集，使用了成果分析、静态分析、自我对弈、逐步验证等多种方法，还用到了基于大量标记数据训练的AI模型。

不仅如此，Genie还使用了专有数据进行训练，数据集编码了人类推理的完整过程，包括信息溯源、增量知识发现和基于实际案例的决策过程。

OpenAI爆料者竟然是智能体？斯坦福系创企发布AI智能体AgentQ

近日，围绕OpenAI的一个秘密项目代号“Q*”以及其衍生项目“草莓（Strawberry）”引起了广泛关注，尤其是一个名为“草莓哥”的神秘社交媒体账号一直在宣传与该项目相关的信息，其关注者不乏各路硅谷大佬和KOL，引发了公众的兴趣与猜测。

然而，本周一家斯坦福系初创公司MultiOn的联合创始人兼CEO Div Garg声称，“草莓哥”账号实际上是由公司新发布的AI智能体Agent Q所操控。

Agent Q 是一款人工智能智能体，可以执行的任务包括预订餐厅、会议、机票，其中都涉及多步的规划、推理、决策，以及与各种应用程序的交互。

官方 Demo视频：Agent Q 预定航班（如周六从纽约飞往旧金山，单程、靠窗和经济舱）

Agent Q技术亮点：

• 高效的性能：Agent Q 在 OpenTable 餐厅预订任务中的成功率达到 95.4%，超越了基线模型 LLama 3 的零样本性能。

• 规划与自我学习：Agent Q 利用蒙特卡洛树搜索进行规划，并通过 AI 自我批评和直接偏好优化算法来持续改进其性能。

• 模拟人类行为：Agent Q 通过直接偏好优化算法学习人类的反馈，这使得它能够更准确地理解并执行人类的命令。（机器之心）

内容链接：

https://www.jiqizhixin.com/articles/2024-08-14-8

三、学术研究：

Transformer作者创业公司Sakana AI推出首个全自动科学发现AI系统

近日，Sakana AI 发布 AI Scientist 系统，实现了机器学习领域首个全自动化的科研论文生成流程。该系统能够参与从构思、编写代码、运行实验和总结结果，到撰写整篇论文和进行同行评审的全流程科学研究，极大地提升了科研效率和创新速度。

图：端到端 LLM 驱动的科学发现过程 AI Scientist 的概念说明

AI Scientist 的工作流程分为三个主要阶段：创意生成、实验迭代和论文撰写。AI Scientist 产生的论文成本低廉，每篇不超过 15 美元，且质量足以达到顶级机器学习会议的接受标准。为了评估这些论文的质量，Sakana AI 还开发了一个自动论文审阅器，其评估结果接近人类水平。

此外，研究人员深入剖析了开放模型与封闭模型之间的差异，并指出开放模型在成本和灵活性方面具有优势。

相关研究以「The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery」为题，于 8 月 12 日发布在预印平台 arXiv 上。

论文链接：

https://arxiv.org/abs/2408.06292

清华大学徐勇、段文晖团队提出深度学习与密度泛函理论的融合，实现高效材料预测

近日，清华大学徐勇教授和段文晖教授领导的研究团队提出了一种新的框架：神经网络密度泛函理论 (neural-network DFT)，该框架将变分密度泛函理论与等价神经网络相结合，相比传统有监督学习方法，具有更高的准确性和效率。

图：神经网络 DFT 的架构与实现路径

研究团队还基于 Julia 语言和 Zygote 自动微分框架开发了一套名为 AI2DFT 的计算程序。AI2DFT 支持自动微分功能，不仅适用于变分 DFT 计算，也适用于神经网络训练。通过引入自动微分和反向传播等技术，该研究在数值上实现了神经网络 DFT。

图：AI2DFT 的验证

此外，该研究还展示了神经网络 DFT 在无监督学习方面的潜力，通过 DeepH-E3 方法对多个 H2O 结构进行微调，实现了对哈密顿量及其他物理量的高精度预测。

图：使用神经网络 DFT 对多个 H(2)O 结构进行无监督学习

与数据驱动的监督学习相比，神经网络 DFT 产生的哈密顿量虽然具有稍大的平均绝对误差，但在预测精度方面表现出优异的性能，这也暗示了神经网络通过 neural-network DFT 过程学习到了更物理的模式。

该研究以「Neural-network density functional theory based on variational energy minimization」为题，于8月12日发表在 Phys. Rev. Lett. 上。

论文链接：

https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.133.076401

Transformer Explainer：能玩的Transformer可视化解释工具，支持实时推理

近期，佐治亚理工学院和 IBM 研究院的研究者开发了一款基于 web 的开源交互式可视化工具「Transformer Explainer」，帮助非专业人士了解 Transformer 的高级模型结构和低级数学运算。

在功能上，Transformer Explainer 在提供基于 web 的实现之外，还具有实时推理的功能。与现有很多需要自定义软件安装或缺乏推理功能的工具不同，它集成了一个实时 GPT-2 模型，使用现代前端框架在浏览器本地运行。

Transformer Explainer采用了桑基图的可视化设计，这种设计强调了输入数据如何流经模型的各个组件，从而有效地说明了信息在模型中的传递方式。用户可以通过该工具在多个抽象层级之间平滑过渡，从而获得从高级模型结构到低级数学运算的全面理解。

为了应对Transformer底层架构的复杂性，Transformer Explainer通过多级抽象来降低复杂度，让用户能够从高层概览开始，并根据需要逐步深入了解细节。此外，用户还可以实时调整温度参数，这是一种控制模型输出概率分布的关键参数，影响着下一个token预测的确定性或随机性。

北航&清华联合研发soScope，AI技术让空间组学分辨率提升36倍

近期，北京航空航天大学和清华大学的研究人员共同开发了一个名为 soScope 的统一生成框架。这个框架旨在提高从各种空间组学技术获得的分子谱数据的质量和空间分辨率。soScope 可以汇总来自组学、空间关系和图像的多模态组织信息，并通过分布先验与组学特定建模联合推断出具有增强分辨率的组学谱。

图：soScope 及其应用的概述

soScope 的主要功能特性包括：

• 模拟来自不同空间组学技术的点级概况的生成过程，以提高空间分辨率和数据质量。

• 将每个点视为增强空间分辨率的“子点”的集合，其组学特征与空间位置和形态模式相关。

• 使用多模态深度学习框架整合斑点组学概况、空间关系和高分辨率形态学图像，并联合推断子斑点分辨率下的组学概况。

• 通过选择组学特定分布，soScope 可以对不同的空间组学数据进行精确建模和减少变异。

该研究以「Tissue characterization at an enhanced resolution across spatial omics platforms with deep generative model」为题，于 2024 年 8 月 2 日发布在《Nature Communications》

论文链接：

https://www.nature.com/articles/s41467-024-50837-5