使用 Actor 框架部署高吞吐量预测模型

大多数数据科学和机器学习教程侧重于生成模型：组装数据集；将数据拆分为训练、验证和测试子集；构建模型；并演示其泛化能力。但当需要在生产中使用模型时，重复这些步骤时，可能会出现高延迟或低吞吐量的问题。对于最终用户来说，花费过多时间对原始数据进行特征化以及对特征进行模型评估的成本，最终可能会抵消更智能的预测所带来的任何收益。暴露这些模型使用步骤中的并发性，然后利用这种并发性，可以提高吞吐量。本文描述了如何使用 Actor 框架将预测模型引入实时环境。描述了两个案例研究示例：为自由职业平台 Upwork 构建的实时部署，以及一个简单的文本分类器，并附带代码，可作为入门项目使用。