使用Splashtop解锁对企业生成AI的安全访问

企业专用AI 模型

当然，有些商业生成式AI SaaS产品承诺不使用提交的数据来改进其公共模型。但是，并非所有公司都愿意将私人数据发送到他们几乎无法控制的cloud 服务中。某些组织可能受主权和监管合规性的约束，禁止使用在其他地区或国家托管的服务。

其他可以从私有人工智能模型中受益的公司是那些业务需要从头开始训练自己的法学硕士模型，或者需要保护数据增强和优化的法学硕士模型，这些模型已经针对特定任务（例如客户支持、财务咨询等）进行了预先训练。

构建自己的私有生成式AI 和MLOps基础结构的公司能够将这些工具的强大功能置于自己的IT控制之下（无论是在本地还是在私有cloud中），使他们能够与业务需求、合规性和主权要求保持一致。这种设置可确保用于训练、微调或增强对 LLM的查询的任何敏感和机密数据都不会泄露给外部各方。

保护所有级别的访问权限

Splashtop安全工作区支持一组丰富的选项来控制对任何私有企业应用程序（包括LLM）的访问。主要功能包括：

单点登录 （SSO）集成 – 与流行的身份提供商（包括Google、Microsoft、Okta）同步

多因素身份验证(MFA) — 为所有支持SSO 的企业应用程序（包括私有企业LLM 的聊天界面）的前端和后端用户启用强大的身份验证控制。

条件访问控制-通过检查关键合规性和安全标准（包括地理位置和使用公司发行的笔记本电脑）来限制对应用程序的访问。例如，遵守数据主权规则的组织可能希望在员工出国旅行时阻止访问私人法学硕士。

具有委派控制的特权访问— Splashtop可以通过安全地委派指定用于管理企业应用程序中的关键子系统和数据的特权帐户或服务帐户来控制访问。对于 LLM 来说，这允许您控制和跟踪对模型本身、矢量或图形数据库、非结构化数据存储库或ML 管道的访问权限，而不会不必要地暴露敏感凭据。

安全的第三方访问— 我们的平台为可能需要临时访问企业应用程序的第三方提供安全的访问共享。这可能包括需要安全访问权限才能进行现场故障排除的私有LLM 解决方案提供商。Secure Workspace 可实现便捷的访问，同时完全记录会话以用于审计和合规目的。

零信任网络访问（ZTNA）— 与授予对整个网络子网的完全访问权限的传统 VPN相比，Splashtop安全工作区的 ZTNA方法授予对已批准资源的精确访问权限，从而确保最小的攻击面。“默认拒绝” 方法为企业 LLM 处理高度敏感的数据提供了保证。

API 驱动的自动化— 致力于自动化 和 DevOps 工作流程的公司将欣赏我们的Secure Workspace 平台紧密集成和自动化的能力。在生成式 AI 环境中，Splashtop安全工作区可无缝融入任何MLOps管道，从而促进对关键资源的自动配置访问以及安全工作区平台本身的自动配置，从而最大限度地提高生产力并减少人为错误。

现在，我们将演示如何使用我们的安全工作空间实现对企业生成式AI 的安全访问。而且，为了继续关注，你最终会得到自己的基于 LLM的私人聊天机器人 ——你自己的个人 ChatGPT。

如何为你的私人LLM 设置Secure Workspace

现在，让我们采取必要的步骤来保护对您自己的私有大型语言模型LLM 的访问，其中包含Splashtop 安全工作区。我们的连接器可为您的私有应用程序提供安全连接，让您集中控制访问权限。

步骤1：创建连接器并复制连接器令牌

登录到您的 Splashtop安全工作区管理员帐户。

转到 “部 署” 菜单，选择“连接器”，然后单击 “添加连接器”。

选择Headless/CLI，填写连接器名称，然后单击“下一步”。然后选择 Linux 并单击“完成”。

创建连接器后，单击连接器列表中的连接器名称以查看详细信息。复制 令牌 以供在下方使用。

步骤2：创建LLM 应用程序

将私人 LLM聊天机器人服务添加为私有应用程序，为您的员工提供此服务。

导航到 “应用程序/应用程序”，然后单击“添加应用程序 /添加私有应用程序”按钮。

在表格中填写应用程序名称，“localhost”作为 主机  ，“6006”作为端口。

选择 HTTP 作为协议，选择之前创建的连接器名称，然后为该应用程序分配正确的组。单击 “保存”。

SecureWorkspace 将自动为私有LLM 应用程序生成完全限定的域名(FQDN)。

步骤3：在cloud中运行应用

在 LLM-As-Chatbot文件夹中，使用 dstackrun 命令在 cloud中预配专用 LLM和安全工作区（ 将$token替换为步骤 1中的连接器令牌）：dstackrun . -f ssw-private-llm.yml $token

此命令将在 cloud中预配和运行 LLM即聊天机器人，并启动安全工作区连接器实例。

一切启动并运行后，使用您创建的FQDN 访问私有LLM。同时，您可以为此应用程序设置授权和条件访问策略。

审核编辑：汤梓红