J.P. Morgan 2024年AI技术与行业发展研究总结（中文翻译）

大家好，我是右兜。

摩根大通（J.P. Morgan）在2024年9月发布“Investable AI Summary of J.P. Morgan research and industry developments in 2024”关于人工智能（AI）2024年的研究和行业发展总结。

大数据、替代数据、自然语言处理（NLP）和机器学习（ML）

• 摩根大通在同业中的AI准备度方面继续领先，这一点从我们2023年11月的排名中可以看出。我们的AI计划不仅仅是理论上的；它们产生了实实在在的收入，提高了生产力，并帮助发现新见解，这部分要归功于最近部署到研究中的LLM套件。

• 全球研究团队继续使用大数据的替代来源，借助机器学习来指导我们的投资建议，越来越多地依赖传统的NLP工具和生成性AI。

• 摩根大通正在积极应用机器学习技术来分析所有资产类别的投资趋势和模式。大数据分析和AI战略团队的报告精选在J.P. Morgan Markets上的QDS大数据和AI门户网站上。

为了帮助读者识别我们那20,000份报告使用了现代技术来指导投资建议，我们突出了2024年上半年J.P. Morgan各个研究团队发布的47份最合适的报告。

亮点包括我们定期的SmartBuzz、BuzzMiner、Mariner和中央银行模型的更新。我们将基于自然语言处理（NLP）的Hawk-Dove Scores（HDS）扩展到更多市场，现在覆盖了新西兰储备银行（RBNZ）。我们讨论了通用人工智能（GenAI）和机器学习（ML）对市场动态的影响，包括动量拥挤、AI光环效应、市场错位，并且我们使用大型语言模型（LLM）向量嵌入提高了SmartBuzz中主题的准确性。

我们使用深度学习模型进行了跨资产波动性策略的研究，并检查了量化因子投资的演变：使用ChronoML库的机器学习模型进行特征工程和系统性股票选择。我们还介绍了欧洲信贷机器学习模型（ECML），该模型用于预测欧元投资级债券的负超额回报期。

图1：原始和微调后的大型语言模型的聚类图比较像MPNet这样的现成模型通常表现出主题的贫乏划分，而经过微调的模型则具有更强的主题聚类和划分。

图1：中央银行言论：相对于政策利率和收益率的RBNZ HDS

  NLP、LLM、ChatGPT 和生成性AI报告 图2：Mag7的光环效应 - 因果分析 - AI股票的光环效应：显著性检验

• Joseph Lupton 将基于自然语言处理（NLP）的Hawk-Dove Scores (HDS) 扩展到了新西兰储备银行（RBNZ）。团队还升级了中央银行的NLP机器。

• Dubravko Lakos-Bujas 讨论了通用人工智能（GenAI）和机器学习（ML）对市场动力学的影响，包括动量拥挤、AI光环效应和市场错位。

• Berowne 讨论了在提高工作流程和将句子归类到金融主题方面，使用 GenAI、NLP、ML 和替代数据的情况，在《用LLM向量嵌入改进SmartBuzz中的主题准确性》中也有对RAG方法的影响。

根据SmartBuzz的情感分析，提及“AI”主题次数最多的前100家公司

• 我们使用了SmartBuzz来检查哪些公司与“人工智能（AI）主题”联系最紧密，这是基于年初至今的新闻报道。

• 前10名包括一些熟悉的公司名称：英伟达（NVIDIA）、苹果（Apple）、微软（Microsoft）、国际商业机器（IBM）、亚马逊（Amazon）、埃森哲（Accenture）、英特尔（Intel）、ServiceNow、Salesforce、三星（Samsung）、特斯拉（Tesla）、Dropbox、甲骨文（Oracle）、Adobe、高通（Qualcomm）、Alphabet等。

• 大多数公司对AI主题的平均情绪是积极的，如图所示，但也有少数例外：Meta、Slack、新闻集团（News Corp）和推特（Twitter）的情绪最为负面。

根据SmartBuzz的情感分析，按“AI”主题提及次数计算的国家。

• 我们使用了SmartBuzz来检查哪些公司与“AI主题”最相关，这是基于年初至今的英文新闻报道。

• 按国家分组来看，很明显美国在这一主题上的提及次数和平均情绪都是最高的，其次是韩国（KOR）、德国（DEU）、印度（IND）和日本（JPN）。

• 澳大利亚（AUS）、中国台湾和加拿大（CAN）的情绪最高。

• 只有南非和卡塔尔对“AI”主题的情绪是明确负面的。

根据SmartBuzz的情感分析，按“人工智能（AI）”主题提及次数计算的全球行业分类标准（GICS）行业。

• SmartBuzz对过去三年中成千上万篇新闻文章中的“AI”主题及相关话题的情绪分析显示，目前情绪正从前所未有的高点开始下降。

• 为了帮助我们对下一页的AI新闻、博客和研究摘要有一个高层次的概览，我们使用了BuzzMiner来消费和处理这些评论，并将它们挖掘成不同的主题。

• 在下面的散点图中，我们在过去几个月的新闻来源中发现了35个不同的核心主题。
• 
  

2024年上半年AI新闻文章的聚类图。

Buzz Miner AI聚类

• 我们使用了BuzzMiner来阅读和处理这些评论，并将它们挖掘成不同的主题。

• 每个聚类中的关键词仅仅是用来跟踪和识别每个主题的。

• 关于每个主题的更多信息，请参阅我们最近的报告：“关注AI（BuzzMiner）2024年上半年AI新闻的主题建模”。

在摩根大通全球研究之外，我们策划了来自学术界和工业界的研究的关键发展，突出了在生成性人工智能（GenAI）、自然语言处理（NLP）、软件、湿件和硬件系统以及量子力学和时间序列模型方面引入的进展和重大发现。继2022年AI爆炸性的普及之后，2023年和2024年GenAI工具和大型语言模型（LLM）的持续改进标志着AI市场上的重大进步和竞争加剧。

大数据、替代数据、NLP和机器学习（ML）

OpenAI推出了GPTs，这是可定制的ChatGPT版本，允许用户在无需编码的情况下创建针对特定任务的定制AI助手，并即将推出GPT商店，用于分享和货币化这些创作。此后，又发布了GPT-4 Omni和搜索原型的多个版本。

Anthropic推出了Claude 3，具有先进的视觉能力、卓越的代码生成和调试、增强的可引导性以及改进的多语言流利性，为GenAI性能和成本效益树立了新的标杆。Claude 3模型系列现在支持工具使用，使其能够通过API调用与外部工具交互，执行检索文档、访问API、处理实时数据和协调子代理等任务，即使对于不完整的查询，准确率也超过90%。

苹果公司的新个人智能系统Apple Intelligence，将高能力的生成性基础模型集成到iOS 18、iPadOS 18和macOS Sequoia中，具有约30亿参数的设备端语言模型和更大的基于服务器的模型，针对效率、准确性和隐私进行了优化，应用范围从文本优化到视觉表达。

Meta-AI发布了Llama-3.1 405B，与尖端模型竞争。Llama模型受到欢迎，下载量超过3.5亿次。

IBM的最新AI助手WatsonX创新包括Z系列助手，利用通用人工智能（GenAI）和自动化技术来增强大型机管理，简化企业工作流程，并提供新的低代码助手构建功能。

xAI去年发布了Grok，今年初发布了Grok-1.5，并且刚刚宣布了Grok-2 Beta，与最好的大型语言模型（LLM）竞争。

微软的Phi-3-Mini令人印象深刻，作为一款小型语言模型（SLM），它为通用人工智能应用提供了前所未有的计算效率和成本效益，具有首款SLM中的128k上下文长度，并且完全开源。

DeepSeek推出了DeepSeek-V2，这是一款236B参数的MoE模型，带有API和专为视觉、数学和编码设计的专业模型。这些模型已经在英语和中文上训练了2万亿个token，其7B/67B基础和聊天版本是开源的，以促进社区内的研究。DeepSeek-V2是一款MoE语言模型，通过减少训练成本约40%，将KV缓存减少93.3%，并将最大生成吞吐量提高约6倍。

Codellama-70B在HumanEval基准测试中取得了67.8分的新成绩，超过了GPT-4和Gemini Pro。

Mistral的新开源大型语言模型miqu-1-70b，在SLM中接近GPT-4的性能。

Snowflake Arctic引入了一种密集MoE混合变换器，拥有4800亿总参数和170亿活跃参数，在显著降低训练成本的同时实现了顶级企业智能，并在Apache 2.0许可下开源了所有数据配方和研究见解。

Qwen，Qwen-VL来自阿里巴巴的开源小型和大型语言模型系列。Qwen-7B是阿里巴巴的第一个开源LLM，而Qwen-VL是一款视觉-语言模型，通过采用三阶段训练方法，创新地将视觉表示学习模型与LLM对齐，利用如LAION-5B这样的弱监督图像-文本配对数据，增强了泛化能力，同时保留了LLM的固有理解和生成能力。

NVIDIA的NV-Embed模型NV-Embed在大规模文本嵌入基准测试（MTEB）中取得了创纪录的成绩，通过引入潜在注意力层和两阶段学习过程，显著提高了56项任务中的嵌入准确性，而他们的Nemotron-4模型可以用作LLM或生成训练数据。

通用人工智能（GenAI）技术与技术

• GenAI技术的进步包括量化技术，即将模型权重的标准32位浮点数表示缩小到更小的8位浮点数、8位整数甚至缩小到4位整数。最近，像GPTQ中使用的二进制、三元（-1, 0, 1）和标量嵌入量化等压缩技术已被证明相当准确……这使得在更小的个人设备上实现“边缘AI”成为可能。

• 常见的变换器架构的替代品包括SAMBA和MAMBA，而YOCO使用缓存的注意力机制。通过多令牌预测，可以使大型语言模型（LLM）变得更好、更快，而ORPO引入了更好的损失函数。

• 在训练方法上，微软展示了如何使用有监督的微调来向LLM注入新知识，而Transcendence探索了生成性模型如何超越训练它们的专家。TextGrad通过自动梯度（类似于通过反向传播进行的神经网络训练）改进了提示。RLAIF-V表明，通过强化学习AI反馈对齐LLM可以减少幻觉，提高可信度。

• 预训练也可以通过mergekit实现LLM的合并。DiT MoE展示了具有共享专家路由的稀疏扩散变换器。MambaVision提供了混合的Mamba-Transformer视觉骨干，而E5-V展示了多模态LLM的通用嵌入，这可能有助于RAG模型在不同类型的输入（音频、图像、文本、视频）中识别正确的结果。

检索增强生成（RAG）、知识图谱和代理人工智能（Agentic AI）：

RAG技术概览：

一些值得注意的技术包括“SelfDiscover”框架，它使得大型语言模型（LLMs）能够自主地识别和构建特定任务的推理结构，这显著提高了在复杂推理基准测试中的性能，并在计算需求更低的情况下超越了现有的方法，如CoT Self-Consistency。

检索任务：

通过嵌入量化将嵌入缩减为二进制、三元和标量格式可以更快、更便宜。

IBM的重新排名架构Re2G可以帮助将最相关的结果浮到顶部。

“Dense X Retrieval”有助于确定理想的检索粒度。

知识图谱：

当RAG不足以应对时，知识图谱提供了知识和推理任务的下一步。

因果图谱可以通过特定的结构因果模型（SCMs）来回答问题。

有效的因果图谱发现可以借助/用于LLMs进行增强。

“ULTRA”是知识图谱推理的基础模型。

NVIDIA的cuGraph加速正在帮助革新图谱分析，甚至可以用于全球天气预报（GraphCast）和Permion。

另外，“GraphRAG”展示了一种新的复杂数据发现工具，而“Corrective RAG”（CRAG）或“RAFT”有助于忽略干扰文档。

多步骤任务：

多步骤任务依赖于RAG来获取相关信息，然后使用像LangChain这样的工具进行协调，调用代理来完成特定任务。

AI正在取代人类……但AI人类也在崛起

AI引发的裁员：

AI裁员已经开始：Duolingo在采用ChatGPT-4后裁员数千人，微软在中国的大规模撤离期间搬迁了数千人，而华尔街的毕业生发现入门级工作岗位已经过时。IBM也暂停了AI可以完成的工作的招聘，包括后台、人力资源和其他非客户面向的角色，UPS宣布了4000个工作岗位的裁员，这是其116年历史上最大规模的裁员。

AI领域的人员重新分配：

亚马逊正在将员工从Alexa部门调到AI领域。AI技能在Intuit也很受欢迎，该公司正在裁掉10%的非AI技能劳动力，类似的转变也在发生。思科可能裁掉7%的员工，这是该公司今年第二轮裁员，因为公司将重点转移到AI和网络安全上。SAP正在重组8000个工作岗位的角色，以专注于AI驱动的业务领域的增长。

2024年工作趋势指数：

由微软和LinkedIn发布的2024年工作趋势指数强调了AI在工作场所环境中的日益融合，强调了AI驱动的生产力工具的进步，以及员工中AI素养日益增长的重要性。

AI也可以用于好的方面：

AI科学家：AI科学家提供了完全自动化的科学发现，使用前沿的大型语言模型（LLMs）。该系统可以自主地产生研究思路、编写代码、进行实验、可视化结果、起草完整的论文，并模拟同行评审。

DeepFakes技术并非全然坏事

DeepFakes的潜在风险：

• 想象一下，你在Zoom会议上与首席财务官通话，他们授权支付2500万美元，但事实上，他们正在打高尔夫球，而这个通话是DeepFake。当前技术已经能够实时生成逼真的视频内容，其长度、质量和一致性每周都在提高。

• 世界经济论坛的最新《风险报告》强调了AI和Deepfake技术进步所带来的重大威胁，强调了犯罪分子更容易获取这些技术的风险，同时报告为美国金融服务行业提供了季度更新和针对前10大风险（包括网络和AI）的具体缓解措施。

DeepFakes的积极用途：

• 并非所有的DeepFakes都是坏事！像Synthesia这样的工具可以极大地提高生产力，允许用户在几分钟内从文本创建视频内容。

• 有关最好的AI视频创作工具（如Flux和Runway）的评测，可以观看Futurepedia的视频或查看SORA内容。电影和电视行业似乎已经准备好被颠覆。

创建逼真的数字人：

• 利用NVIDIA的ACE技术，可以创建逼真的数字人。

• 由于动态照明技术，可重新照明的Avatars变得更加真实。Avatars的一种可能用途是像Uber的“应用外推荐系统”这样的大规模个性化营销。

时间序列预测与分析

1. 时间序列模型和预测：

• 时间序列建模和预测在过去一年中受到了大量关注，包括诸如Kolmogorov-Arnold Networks (KANs)、Mamba的选择性状态空间等模型，它们也适用于时间序列分析。

2.MOMENT：

• MOMENT支持分类和异常检测。

3.MOIRAI和Chronos：

• MOIRAI来自Salesforce，Chronos由Amazon开发。

4.BiTCN和TimesFM：

• BiTCN提供多变量预测。

• TimesFM是Google的解码器，只使用零次学习。
• 
  

5.TiDE、N-BEATS、Lag-Llama和XGBoost 2.0：

• TiDE和N-BEATS提供可解释的模型。

• Lag-Llama是MOMENT家族的一部分。

• XGBoost 2.0的更新值得研究。

6.新的时间序列模型：

• 包括TimeGPT-1、支持长期预测的xLSTMTime，以及基于视觉智能的模型ViTime。

7.SOFTS和Functime：

• SOFTS引入了一种新的STar Aggregate-Redistribute (STAR) 模块。

• Functime提供特征提取和预测工具。

8.StockMixer和IBM的Tiny Time Mixer (TTM)：

• StockMixer引入了用于股票价格预测的时间混合架构。

• IBM发布了Tiny Time Mixer (TTM)。

• 还发现了用于金融市场的线性和非线性因果关系模型。

湿件 — 人机界面

Neuralink的最新进展：

埃隆·马斯克的Neuralink公司已经对两名人类进行了增强，其中一名在Lex Fridman的8小时播客中进行了广泛采访。

Neuralink的长期愿景：

Neuralink的长期愿景是通过显著提高通信带宽（心灵感应？）来增强人工智能与人的共生关系。

NVIDIA与脑植入物：

NVIDIA正在帮助爱德华·张博士开发一种AI脑植入物，该植入物能够恢复中风幸存者的双语交流能力。

麻省理工学院的研究：

麻省理工学院的研究提出了一个有趣的问题：我们能否在没有语言的情况下思考？

FinalSpark的“活体计算机”：

FinalSpark的科学家们将16个由人类组织制成的微型大脑连接起来，创建了一个“活体计算机”或生物计算机，该计算机在多巴胺上进行训练。

大脑解码研究：

大脑解码研究帮助我们理解视觉感知，同时其他人发布了Dendrify框架，该框架将树突整合到尖峰神经网络中。

量子计算

IBM的量子十年观点：

IBM对量子十年有独到的见解，并对该类型的量子算法进行了详细回顾。

微软的量子计算应用：

微软的AI筛选了超过3200万个候选材料，以寻找更好的电池材料，使用了量子计算，同时变分量子算法被用于无约束的黑盒二进制优化。

热力学计算模式：

虽然不是量子计算，但新的热力学计算模式也可能有助于AI的发展。

机器人技术

小米的无人工厂：

小米正在建设一个无人工厂，并且你现在可以购买一个可穿戴硬件伙伴。

按摩机器人：

已经发布了按摩机器人，同时展望未来，GRUtopia梦想着大规模的机器人城市。

3D场景识别：

Meta的SceneScript增强了3D场景识别能力，PlatoNeRF使用两次反弹的Lidar来增强AI的空间推理能力，使机器能够解释、导航和操纵物理世界。

摩根大通替代数据工具和API

摩根大通网站服务：

www.jpmm.com网站为客户提供了丰富的服务，包括筛选工具和DataQuery门户网站。所有报告均可提供HTML和PDF格式，或通过PDF和RIXML格式的数据馈送。

J.P. Morgan Developer上提供了一系列API。摩根大通的研究现在可以通过亚马逊的虚拟助手Alexa访问，为公司开辟了新的传递渠道。客户可以请求Alexa向他们发送信息，如股票的速查表或特定分析师的最新研究。

可投资AI：

摩根大通最近在Morgan Markets上推出了可投资AI页面。该网站包括专门帮助您测试NLP情绪的页面，这是我们SmartBuzz产品的重要组成部分，以及找到符合您特定需求的替代数据供应商和ETF，并计划每个季度进行进一步的增强。替代数据市场覆盖了成千上万的供应商，每个供应商在股票、商品、信贷、利率和外汇方面都有多个产品。ETF页面列出了成千上万的产品，可以按地理位置、资产类别等多个相关标准进行搜索。ETF旨在通过交易单一证券，让投资者快速轻松地获得所需的市场或基准敞口。新的数据分析页面提供了一套专注于美国市场的产品，包括零售参与数据、期权伽马不平衡和CFTC期货头寸预测。

文章来自于微信公众号“左兜进右兜”，作者“右兜”