异度部落格

Plan-and-Solve (PS) 设计模式通过将任务分解为子任务并按计划执行，提升了大型语言模型在多步推理任务上的表现。

ReAct 设计模式通过交替使用推理和行动步骤，让大型语言模型（LLM）在解决复杂任务时更加可靠和准确。它有效减少了错误传播，提升了模型的可解释性和决策成功率。

随着生成式 AI 的迅速发展，大语言模型（LLM）的推理性能和成本成为关键障碍。本文从Transformer介绍入手，探讨了 LLM 推理的推理过程，并介绍了通过算法创新和系统优化提升推理效率的方法。

Rockset是一家专注于实时分析和混合检索的数据管理公司，提供高效的实时查询和分析功能。其核心技术包括融合索引和云原生架构，支持多种数据类型的混合检索，并且在实时数据更新和查询性能方面表现优异。2024年，Rockset被OpenAI收购，进一步提升了其在大规模数据分析和管理领域的应用潜力。

提示词攻击利用大语言模型的特性，通过特定提示词诱导模型生成特定输出，包括恶意攻击、数据提取等。越狱技术旨在绕过模型限制，泄露机密信息或执行不当逻辑。两者都利用模型的脆弱性进行操控。

提示词工程（Prompt Engineering）是一种优化和设计提示词的技术，旨在更好地引导和控制生成式人工智能（如 GPT-4）的输出。通过调整参数如 temperature、top_p、max length 等，提示词工程能够显著提升生成模型的表现和输出质量。

本文探讨了人工智能大模型的技术变革以及其对行业上下游影响。同时，记录了个人对AI大模型的一些思考。

本文从AI芯片的基础知识入手，介绍了GPU的基本概念和工作原理，重点解析了NVIDIA GPU的核心架构及其从Fermi到Hopper的演进历程。通过阅读本文，您将全面了解GPU在现代计算中的重要性及NVIDIA在图形处理和并行计算领域的技术创新。

MLSys 是机器学习（Machine Learning）和系统科学（Systems）的交叉领域，旨在优化和增强机器学习算法和应用的系统性能、效率与可用性。该领域涉及的关键研究方向包括系统架构与硬件优化、数据管理与处理、模型训练与优化、推理与部署、系统自动化与自适应，以及利用机器学习优化传统系统问题。

“四笔钱”是对标准普尔家庭资产配置的改进方案，解决了如何合理分配投资资金的问题。该方法将资金分为四类：活钱管理、稳健理财、长期投资和保险保障。