“技术问题”导致巴菲特的伯克希尔马云惹不起马云哈撒韦（Berkshire Hathaway）暴跌了近100％。

我相信许多朋友已经感受到了这个压倒性的消息，这引起了数十亿美元的冲击。

根据随后的新闻，更新软件时，纽约证券交易所的合并报价系统（CTA）的问题是一个问题。

许多专家已经对此进行了分析。有人认为，当CTA软件以版本更新时，数据一致性问题发生了。有些人提出了数据库中应该存在的最大问题。

但简而言之，这不是今年纽约证券交易所的第一次失败，而是许多：

甚至开源数据库的联合创始人杰森（Jason）坦率地说：

与纽约证券交易所CTA软件有关的IT级别不如中国大型金融机构和互联网公司的IT水平，而且这种低级错误在中国很少发生。

即便如此，这不禁引起更多的关注和关注——

传统的软件问题仍然会导致如此大的问题。因此，在大型模型时代，AI+财务能否准确和可信？

俗话说，实践是测试真相的唯一标准。为了回答这个问题，我们不妨了解已经在金融领域“使用”的AI模型。

当您开始在金融工作时，您在做什么？的确，AI模型的开发表现出了不可阻挡的趋势，但是当它真正应用于金融领域时，仍然存在一些巨大的困难和挑战。

例如，就数据隐私和安全性而言，财务数据通常非常敏感，并且涉及个人和企业的财务信息。确保数据隐私和安全性是主要挑战之一。

此外，这些数据是多源和异质性的，需要有效地集成和处理，以确保它们的准确性和完整性。

例如，模型本身通常被视为“黑匣子”，因为他们的内部决策过程很难解释。解释性和决策透明度在金融领域非常重要，尤其是当它涉及风险管理和监管合规性时。

在实时和资源消耗方面，金融市场正在迅速变化，需要实时数据处理和决策支持。大型模型的推理涉及大量矩阵乘法计算，这对硬件的矩阵乘法计算功能提出了很高的要求。计算复杂性可能导致响应时间延迟，这不利于实时应用。

此外，大规模的模型培训和推理过程需要大量的计算资源和能源消耗，这给企业的成本和环境保护要求带来了挑战。

Jinzheng是一家资深金融技术公司，成立于1998年，面对上述固有的困难，拥有自己的一套解决方案。

在金兴（Jinzheng）看来，大型模型的优势在于其强大的文本和非结构化数据处理能力，人为计算机的互动功能，发电能力和逻辑推理能力。

与小型模型相比，大型模型还具有明显的缺点，例如大型模型的“幻觉”问题（即大型模型回答非问题），大型模型的高计算能力要求导致浪费计算功率资源和高部署成本。

因此，Jinzheng的解决方案是——使用合并的AI，即大型型号+小型型号+工具，以支持各种业务场景的AI需求。

就大型模型而言，它包括Jinzheng在去年年底发起的K-GPT以及行业中许多顶级大型模型，这些模型可以在特定的财务任务中发挥大型模型的优势。

小型模型指的是传统模型，例如OCR，NLP，面部识别，文本识别，财务分析等，这些模型可以迅速准确地进行细分任务。

至于工具，他们是指地图，天气，CRM，电子邮件，OA等。

简而言之，在某些财务领域任务中，该模型可以使大型模型，小型模型和工具“专业人士从事专业事务”，尤其是极大地提高了效率。

值得一提的是，与一般的大型模型相比，金兴的K-GPT在数据查询的准确性方面表现更好，可以更好地理解财务术语，并提供专业和扎实的数据响应。

据了解，K-GPT还支持查看参考知识源，并具有与实时数据和模块化集成以检索实时数据和组件的能力。

K-GPT依靠庞大的财务知识库，专门用于财务场景。它的核心优势在于对金融，数据准确性，可验证性和对呼叫代理功能的支持的深入了解。

从金兴（Jinzheng）已经允许大型模型在金融领域获得资格的影响，这并不难看。那么金兴如何解决成本和资源的痛点？

它的背后是K-GPT解决方案中的高带宽内存（HBM）Xeon处理器，还有另一件事：它与英特尔合作采用基于CPU的大规模推理解决方案。

据了解，他们主要关注Intel®Xeon®CPUMax系列处理器。

这是Intel唯一基于X86体系结构的CPU系列，并采用高带宽内存（HBM）。它采用片上HBM设计，内存带宽高达4TB/s。与传统的DDR5内存相比，HBM具有更多的内存访问通道和更长的读数宽度，并且理论带宽可以达到DDR5的4倍。

您应该知道，大型模型推断涉及大量加权数据读数，这对硬件平台的内存访问带宽表示了很高的要求。

Xeon®CPUMax，64GB

HBM，每个核心都可以分配给1GB以上的内存。对于大多数计算任务（包括大型推理任务），HBM可以容纳所有重量数据。

记忆带宽并不是金宗选择此CPU的全部原因。

Intel®Xeon®CPUMax系列还具有Intel®高级矩阵扩展名（Intel®️AMX）发动机内置的发动机，可极大地提高大型矩阵乘法的性能。

Jinzheng K-GPT基于变压器架构，其核心特征包括多头注意机制和前馈神经网络层，它们都包含大量矩阵操作，以及Intel®

AMX可以通过1024位TMUL指令和8个独立的矩阵计算单元执行8个独立的矩阵乘法和累积操作，从而为这些操作提供了强大的加速能力。

这样，大型模型推理的效果有多有效？

在仅使用单个CPU的情况下，可以将130亿参数的模型减少到第一个单词元素生成时间约1秒，并且模型推理TPS超过10

令牌/s，您可以在用户提出问题后大约2秒钟内得到答复。

别忘了，在遇到峰值负载时，您也可以同时启用2个CPU，并且性能几乎可以翻倍。可以说，足以满足财务方案中的大多数应用程序需求。

除了硬件级别的突破外，英特尔还提供了优化的软件工具来利用硬件潜力。

例如，使用广泛使用的OpenVino™工具套件用于专门调整加速模型的嵌入处理。

财务场景涉及大量专业文档输入任务。 Emedding是将文本从离散变量转换为连续向量的过程，以便AI可以理解。

在优化OpenVino™工具套件后，k-gpt大型模型的批处理嵌入性能已提高了3倍。

PICTURE注意：OpenVino™工具套件的嵌入性能比较

例如，与K-GPT结合使用的开源矢量数据库FAISS还提供了优化版本，以改善Xeon®CPUMax上的模型推断性能。

在大规模矢量相似性搜索任务中，英特尔优化的版本的性能可以提高到大约4次。

图片注意：Intel优化版本的Faiss和原始Faiss的比较（越高）

除了性能外，金兴（Jinzheng）选择的Intel®Xeon®CPUMax系列作为计算功率基础，还带来了其他优势：

首先，灵活性。由于它与主流X86体系结构完全兼容，因此Jinzheng可以继续使用原始机器并灵活地匹配适合其自己业务的配置。和CPU

它可以同时处理推理和一般计算，并且可以根据负载条件随时分配资源。

第二个是总拥有成本

（TCO）。从长远来看，CPU路线可以达到与部署和维护开销较低的专用加速器相当的性能。这对于需要控制其预算的金融机构至关重要。

看这一切，Intel®Xeon®CPU

最大系列处理器与硬件功能，软件优化，生态适应性，总拥有成本优势的财务方案非常一致，并且是实施行业大型模型的新想法。

如何评估它？随着数字化转型的持续加深，大型模型给金融行业带来的机会和挑战共存。

越来越多的金融机构开始探索如何适应AIGC

将技术与实际业务相结合，它可以控制成本，同时提高质量和效率。但总的来说，大型模型在金融行业的应用仍处于初始勘探阶段。

Jinzheng和Intel创建的这个大规模的模型推理解决方案可以说是应用程序层，模型层和计算功率层的深入集成，为行业设定了基准。

不久前举行的金宗技术节吸引了许多金融机构，并从圣经中学习。

作为连接金融和技术的重要平台，金宗技术节吸引了许多来自银行，证券，保险和其他领域的金融行业的参与者来讨论AI

金融领域的应用程序前景和高质量的技术实践。

可以预见的是，在英特尔的计算能力的支持下，金兴将继续在大型模型技术方面取得突破，帮助更多的金融机构实现数字化转型，并为用户带来更明智，更有效的服务经验。