-
科研技能辅助当前方向前进
碎碎念之前没有系统性地针对科研这一块进行梳理，是因为一方面之前读研的时候看了太多的论文需要去缓一缓，重新思考一下科研对自己的意义；另一方面，也是需要去换一个方向，因为之前主要是做的“推荐系统”，但是这个方向并不是我特别想要做的方向，所以只是堪堪毕了个业就结束了。 而在新的方向上，同时也是当前学术科研中还算是稍微热门的方向——模型部署和推理方向。针对这个方向的前进，在一开始可以阅读很多相关经典... -
方向(部署与推理)的转变说明与整理
前面的碎碎念之前主要是业务上需要针对模型部署做一些调研和实践。其实模型部署推理框架的概念，更像是DevOps（部署运维）的概念的延伸，而除了之前介绍的TorchServe之外，还有NVIDIA的Triton Server，Kubernet的Kserve，BentoML等，都是在这个上面提供相关的功能，或者说，我们从“微服务架构”来看，相关的模型服务就是一个个微服务。而另一方面，在大模型兴起的... -
深度学习推理系统（一）：TorchServe快速入门
为什么需要推理框架上一篇文章已经提到，当前很多应用都增加了深度学习功能，但深度学习模型的一个特点是，模型能力越强，需要的算力也越多。这和传统的提供互联网服务有类似但也有不同，互联网的服务是不得不通过网络方式进行，比如移动支付需要进行网络验证，网络游戏，需要通过服务器通信。 而深度学习模型能力，其实可以不通过互联网的方式直接使用，但对于大部分的用户来说，为了使用模型能力本质上是使用背后的算力，... -
深度学习模型部署浅思
从深度学习模型Web服务展开来讲对当前深度学习模型思考主要还是针对对应的数据集上如何构建模型，训练模型，以及模型在相关数据集（测试集）上的评估指标对模型进行评估。自然，从这一条线出发，考虑的就是模型如何设计以及相关的设计如何达到既定的目标。 而在具体生产生活中，深度学习模型迭代到一个合理版本的模型后，自然考虑的就是如何提供相应的模型处理服务以供大家使用。对于个人或是中小型公司一般而言会采用交... -
数学符号测试
对数学符号显示进行测试，正常情况下述的内容是能显示数学符号。 微分相关设函数在的邻域内有定义以及在此区间内。如果函数的增量可被表示为，其中是不依赖于的常数，而是比高阶的无穷小，那么就称函数在点是可微的，且称作函数在点相对应自变量增量的微分，记作，即。 微积分第一基本定理 设 , 其中为连续函数，对所有的，定义函数，有 则在闭区... -
高维空间数据稀疏与模型性能的讨论
高维空间采样的困难度讨论在高维空间中，数据点的分布通常是比较稀疏的。想象在一个维的单位超立方体内随机撒下个点，其中每个点的坐标都在区间之间且独立同分布的。如果我们将这个区间划分为个等长的子区间，那么整个超立方体就会被分割成个小立方体。随着维数的增加，哪怕是数百万的数据点也不足以覆盖个小立方体中的每一个。换句话说，大多数立方体将是没有数据对应的，这种情况在高维空间是普遍存在的。 为了确保每一个...
1