在设计阶段更容易测试和评估不同的模型

ayesha983

在此库中，探索提高效率、创新和改善患者护理的用例样本。LLM Mesh 的优势（第 2 部分）：实施安全 API 网关
2024 年 1 月 30 日
Dataiku 产品，扩展 AI
萧淑婷
由于生成式人工智能成为许多公司关注的焦点，IT 领导者的任务是弄清楚如何通过试点用例和实验充分利用这项新技术。

那些将自己束缚于一种模式或基础设施依赖关系的公司可能会产生技术债务，而这些债务在日后将难以管理。因此，考虑到发展速度，公司希望确保在当前模式发生变化时能够保持灵活性。

在本系列的上一篇文章中，我们 德国电报数据 讨论了将 LLM 应用程序与服务层分离的谨慎性，以确保敏捷性并提供能够适应变化的解决方案。简而言之，通过消除应用程序和 AI 服务之间的硬编码路由和技术依赖关系，组织可以：

降低运营风险
一旦投入生产，就能更灵活地适应新的创新和模式
为了跟上 LLM 变化的步伐，公司还应考虑如何让数据团队能够快速访问已批准的实验模型。但是，这种灵活性似乎是有代价的。通过让用户能够选择模型，管理员可能会觉得他们失去了对成本和可见性的控制。借助Dataiku 的 LLM Mesh，IT 团队现在可以让数据团队探索最新的 LLM，同时保持控制。