金融行业积极进行金融科技转型，大模型无疑是一个高效的赋能工具。大模型的应用也面临着数据、算力、合规和安全、人才、架构等问题和挑战。大模型应用场景在于生成式AI场景，需要强大、专业的知识库的支持，甚至是跨领域知识库的支持。...(more)

让我们试想一下：如果有那么一个软件实体能够根据自身的特性自主地与外界进行交互，根据收集到的数据情况做出合理的决策，并在特定场景下以最少的人为干预执行任务，从而减少人类的参与。这正是AIAgents的价值所在。然而，大家可能会好奇：AIAgents到底是什么？它们是如何工作的？人工智...(more)

随着人工智能和大数据技术的快速发展，金融企业越来越多地开始探索和应用大规模模型的推理和训练。然而，在建设大模型推理集群和训练集群的过程中，面临着一系列网络难点 ，涉及网络选型，架构选择和存储规划等 。本文将分析金融企业在这方面的挑战，并提出一些建设性的解决方案和经...(more)

大模型应用广泛，但存在框架局限、数据需求大等问题。未来发展方向包括小型化、专业化等。大模型将成为各行业的落地利器，开源大模型能提高社区追随度和模型完善度，闭源大模型则能形成技术先发优势。...(more)

DSSM双塔模型用于解决语义相似度任务和推荐场景，包含n+1个塔，输入为高维向量，输出为低维语义向量，通过cos值计算相似度，使用不同的label构造不同的模型，通过相似度函数计算相关性，基于pytorch实现。...(more)

端侧大语言模型应用于终端智能系统，需考虑轻量敏捷、安全稳定和成本等因素。技术包括量化压缩和数据重排等，应用广泛于医疗、供应链、人才服务、工业、办公自动化、智能制造、保险、金融风控等领域，具隐私安全性高、不受网络环境限制的优势。...(more)

数据清洗在长尾场景下需注意数据原始性、质量标准、验证、转换、填充、异常值处理、特征选择、平滑、标注、微调、隐私保护、去重等，高质量数据集对机器学习模型训练至关重要，企业数字化和数据治理水平也很重要。...(more)

优化模型性能指标，提高业务效率，保障数据隐私，提高用户满意度，为企业带来长远发展潜力。

召回在推荐系统中的重要性，能够快速筛选候选集，增加业务丰富性。常用召回方法包括传统召回、基于FM的召回、图召回、内容语义i2i召回和embedding召回。召回中存在负样本构建、竞争和目标不一致等问题，可通过全链路优化缓解。常见的召回术语包括I2I、U2I、U2U2I、U2I2I、U2TA...(more)

LLM评估指标包括RAG和Fine-Tuning，用于评估输出质量和指导模型优化，RAG包括忠诚度和上下文回忆，Fine-Tuning包括Hallucination、KL散度和F1分数。