现实世界的数据普遍存在长尾分布特性，绝大多数样本集中于少量头部类别，而大量尾部类别仅拥有极少量样本数据。尽管传统分类方法在平衡数据集上表现优异，但在面对长尾数据时往往过度偏向多数类而忽视少数类识别。针对这一挑战，学界提出的解耦训练范式(Decoupled Training)[1]通过特征学习和分类器再训练两阶段分离的方式取得了显著进展。现有研究多侧重同时改进特征提取与分类器优化，使得难以准确评估分类器优化的独立贡献。最新研究文献[2]表明，简单的正则就可以得到一个鲁棒的特征表示，基于该泛化的特征表示单凭分类器再训练即可超越前面所有复杂方法。因而，我们需要对分类器再训练阶段的方法统一基准，进行分析比较从而挖掘真正有效提升模型性能的因素。
在当今快速发展的软件开发领域，人工智能（AI）扮演着越来越重要的角色。尽管AI底层科学有所进展，但仍未有颠覆性突破。当前的大语言模型，如GPT-3.5和LLaMA，主要通过规模扩展和工程优化提升性能，包括提示工程、指令微调和人类反馈强化学习（RLHF）等技术。 提升大模型应用能力和效率可通过模型本身的进化和工程方法的优化两种途径实现，但它们在实现成本和长期可扩展性上存在差异。基础模型的调优和训练需要大量算力和专业人员投入。同时，这些模型在实际应用中仍面临幻觉、不可靠和不可扩展等问题，制约了其广泛应用。比如难以完全避免的幻觉问题就凸显了当前AI技术的固有局限性。因此，智能体（Agent）系统作为AI的一个重要分支，在AI软件开发体系中展现出巨大的潜力，有望解决或缓解这些问题。 本文将探讨如何构建一个可扩展的智能体系统，并以代码审查（Code Review）任务为例，展示从概念到实践的全过程。我们将分享工程化方法与最佳实践，但不涉及模型微调（fine-tuning）技术。
本系列文章将从客户端、服务器以及音视频编码优化三个层面，介绍如何基于WebRTC构建视频连麦系统。希望通过这一系列的讲解，帮助开发者更全面地了解 WebRTC 的核心技术与实践应用。
随着 B 站直播常量用户带宽需求增多，结合自身的直播流模型，进一步推动了 CDN 边缘节点的基建工作，这些节点具有很大的异构性，能力差距大，价格不一，计费方式不同。如何利用这些异构资源，在保障稳定性的前提下，在成本和质量之间做好动态平衡，是我们需要解决的问题。
在2024年全球机器学习技术大会上，大模型的技术进步以及推理阶段的高效性成为了广泛关注的焦点。近年来，随着大规模语言模型（LLM）的参数量和功能复杂性的快速增长，其在实际应用中的计算开销和性能瓶颈逐渐显现，尤其是在推理阶段。如何在有限的硬件资源条件下有效加速推理过程，降低延迟并提升吞吐量，已经成为技术研发的核心议题。 大模型推理不仅仅是单一的算法优化问题，而是涉及到硬件、软件、算法、系统框架等多层次协同优化的综合工程。实际应用场景中，大模型的推理效率直接影响用户体验，尤其是在需要实时响应的场景下，诸如语音生成、智能对话、多模态翻译等任务。因此，推理加速不仅是技术挑战，同时也对大模型的商业化落地具有重要的意义。 在本研究中，基于最新技术实践，我们对大模型推理加速的关键技术进行了分析，并结合MindIE-LLM框架的具体优化案例，探索了从算法到硬件的多层次优化方案。本文的核心目标是为研究者和工程师提供系统化的推理加速思路，助力大模型在实际场景中的高效应用。
在现代推荐系统中，需要以尽可能低的延迟在海量的数据中快速计算出与用户最相关的top-N。而其中能够管理海量数据并支持高速批量查询的存储系统是最重要的组件之一。如下图所示，无论是在召回、排序阶段，还是在离线模型训练期间，更多的特征和更快的计算通常会带来更好的推荐结果。
目前包括B站在内的主流搜索和推荐系统均采用多级漏斗的架构，主要涵盖召回、粗排、精排、重排等关键阶段。其中召回作为整个流程的首要环节，作用在于从海量的稿件集合中，快速高效地筛选出一小部分与用户需求和兴趣高度契合的稿件，作为后续排序阶段的输入数据。为了全面覆盖各类用户复杂多样的需求，通常采用多通道召回的策略。召回结果的优劣，也直接决定了搜推系统效果的上限。
