简介triton-inference-server是英伟达开源的推理服务，支持多种推理引擎、支持多模型多版本，同时支持自定义后端，方便用户拓展。环境搭建及使用镜像构建triton是使用cmake构建的服务，本身有多个代码库组成：core 服务核心代码common 公共使用的工具(proto)back ...

简介apollo是携程开源的一款较为成熟的远程配置系统。通过这个远程配置，用户可以在界面上配置参数，然后让参数自动同步到服务上，减少中间不必要的CICD流程。目前apollo提供了java和.net的客户端，但没有c++版本的，本文将设计并实现一款c++语言版本的客户端。对于直接使用的用户，可以直接 ...

简介boost::fiber是一类用户级线程，也就是纤程。其提供的例子与实际生产环境相距较远，本文将对其进行一定的改造，将其能够投入到生产环境。同时由于纤程是具有传染性的，使用纤程的代码里也全部要用纤程封装，本文将对一些组件进行简单封装。fiber封装boost::fiber支持设置pthread和 ...

简介本文将谈一谈并发队列，讲解集中可手写的并发队列的实现方式，以及介绍几种开源并发队列的实现，当然都是c++版本的。可手撸的并发队列实现起来相对简单，面试的时候可以撸一撸，简单生产环境也可以用一用；当然，实际生产环境中，还是建议直接用高性能的开源实现。可手撸的版本包括，单锁队列、双锁队列、原子队列； ...

简介taskflow是一个轻量级的图引擎，或者说是轻量级的tensorflow。taskflow允许用户构建一个有向图，然后并行执行这个图，让图中相互依赖的节点串行执行，不依赖的节点并行执行。这种方式既可视化了业务逻辑的依赖关系，又提升了整体执行的效率。本文将先从源码的角度介绍taskflow库，然 ...

简介本文将介绍一下tensorflow的saved model数据的结构。模型文件tensorflow的saved model的目录结构如下:saved_model.pb 模型描述文件，pb二进制; 也可以是pbtxt后缀的文本文件variables 模型参数数据目录variables.index ...

简介本文总结一下tensorflow serving的模型加载策略，以及模型serving策略。模型加载策略tf-serving支持多平台、多模型、多版本，支持制定模型维度的加载策略。这个策略配置在serving-1.15.0/tensorflow_serving/config/model_serv ...