AiOffice 能力组合,开箱即用,为您的工作流提速
当您需要执行以下操作时,请使用 TensorBoard:
用于 LLM 和 VLM 的高性能服务框架,具有用于自动前缀缓存的 RadixAttention。
使用 Transformer 进行句子和文本嵌入的 Python 框架。
Ray Train 以最少的代码更改将机器学习训练从单 GPU 扩展到多节点集群。
适用于 ML 和 AI 工作负载的分布式数据处理库。
PyTorch Lightning 组织 PyTorch 代码以消除样板文件,同时保持灵活性。
该技能教会编码代理如何通过正确的初始化、分片、混合精度/卸载配置和检查点将 PyTorch FSDP2 添加到训练循环中。
当您需要执行以下操作时,请使用大纲:
nanoGPT 是专为学习和实验而设计的简化 GPT 实现。
当您需要执行以下操作时,请使用教育部培训:
当您需要执行以下操作时,请使用模型合并:
当您需要执行以下操作时,请使用 MLflow:
当您需要执行以下操作时,请使用长上下文技术:
LlamaGuard是专门用于内容安全分类的7-8B参数模型。
具有最小依赖性的纯 C/C++ LLM 推理,针对 CPU 和非 NVIDIA 硬件进行了优化。
当您需要执行以下操作时,请使用知识蒸馏:
当您需要执行以下操作时,请使用讲师:
使用 Transformer 强化学习 (TRL) 库实施组相对策略优化 (GRPO) 的专家级指南。该技能提供了经过实战检验的模式、关键见解和可用于生产的工作流程,用于通过自定义奖励函数微调语言模型。
训练后量化方法,使用分组量化将 LLM 压缩至 4 位,且精度损失最小。
Facebook AI 的库,用于十亿级矢量相似性搜索。