phantom9999的博客

AI 辅助农学科研的完整建设方案，从知识库搭建到病虫害识别、气象预测、自动化报告，覆盖农学科研全流程的 AI 工具链。

面向教授团队的 AI 知识库建设方案，涵盖硬件选型、集群搭建、软件部署、API 配置和日常使用全流程。

NV Embedding Cache SDK 多 GPU 与分布式部署深度分析 — UVM 共享、CUDA 虚拟内存管理、NVLink 分片、跨节点 IMEX、MPI 分布式环境。

NV Embedding Cache SDK 高级主题深度解析 — 执行上下文、缓存管理、插入启发式策略、多设备分布式、线程池与分配器、AOTInductor C++ 部署。

NV Embedding Cache SDK 的插件系统深度分析 — C 符号约定 + dlopen 动态加载 + 抽象工厂模式，涵盖 5 种存储后端插件。

NV Embedding Cache SDK 中 8 种 Table 实现的完整全览，涵盖 GPU 缓存表、CPU 哈希表、远程存储表的设计与实现。

HierarchicalEmbeddingLayer 是 NV Embedding Cache SDK 中最复杂、功能最完整的嵌入层实现，通过 hitmask 驱动的级联查找组合 GPU 缓存、CPU 哈希表与远程存储。

LinearUVMEmbeddingLayer 是 NV Embedding Cache SDK 中第二层复杂度的嵌入层实现，通过 GPU 集合关联缓存与 UVM 线性后备表的组合实现混合查找路径。

GPUEmbeddingLayer 是 NV Embedding Cache SDK 中最直接、最精简的嵌入层实现，将所有嵌入数据存储在 GPU 线性内存中，查找完全在 GPU 上完成。

NV Embedding Cache SDK (NVE) 是 NVIDIA 开源的高性能嵌入向量缓存开发套件，面向推荐系统推理场景，通过 GPU-CPU 三级缓存架构加速大规模 Embedding 查找。