IBM 的 ModelMesh 走向开源 使开发者能够大规模部署 AI 模型

IBM的ModelMesh开源计划：赋能开发者大规模部署AI模型的新纪元

随着AI技术的飞速发展，模型服务成为了AI用例的核心组成部分。这其中涉及到的，是从人工智能模型中提供推论以响应用户的请求。对于那些深入涉足企业级机器学习应用的人来说，往往不是单一的模型在提供推论，而是有成百上千的模型在并行运作。

这一场景在计算上产生了巨大的挑战。频繁的启动和关闭模型容器在提供请求时显然是不实际的，尤其是对于需要在Kubernetes集群中部署大量模型的开发者来说。存在的限制如最大荚数、IP地址以及计算资源的分配问题等，都为开发者带来了不小的困扰。

IBM通过其专有的ModelMesh模型服务管理层为Watson产品（如Watson Assistant、Watson Natural Language Understanding和Watson Discovery）解决了这一难题。经过多年的生产环境测试，ModelMesh已在各种场景中得到了全面验证。现在，IBM将这一强大的管理层与控制器组件以及为模型服务的运行时间一起贡献给开放源码社区。

ModelMesh不仅仅是一个模型服务管理层，它赋予了开发者在Kubernetes之上以“极端规模”部署AI模型的能力。它具有智能缓存管理和推理请求路由功能，能智能地将模型放置在pod中，为临时中断提供弹性。ModelMesh的部署可以轻松升级，无需任何外部协调机制。它能自动确保新的请求被路由到已经完全更新和加载的模型上。

关于ModelMesh的可扩展性，IBM给出了这样的数据：一个部署在单个8vCPU x 64G集群的工人节点上的ModelMesh实例，可以打包高达20,000个简单字符串模型。在模拟高流量假日季节场景的负载测试中，通过发送成千上万的并发推理请求进行考验，所有加载的模型都能在个位数的毫秒延迟内响应。实验结果显示，单个工人节点支持每秒最多进行1000次查询，并能以个位数毫秒的延迟响应推理任务。

值得一提的是，IBM将ModelMesh贡献给了KServe GitHub组织。这是一个由多家科技巨头组成的联合组织，包括IBM、Google、彭博社、英伟达和Seldon等。如今，随着ModelMesh的开源计划，这个组织将迎来一个全新的里程碑。这将大大促进社区内的合作与交流，帮助开发者们更有效地在大规模环境下部署和管理AI模型。

未来，我们有理由相信，ModelMesh的开源计划将极大地推动AI领域的发展，使开发者们能够更轻松地在大规模环境中部署和管理AI模型，从而进一步推动人工智能技术的普及和应用。