2023 年,大模型和 AIGC 的展开涌现出快捷推进的态势,不只正在技术层面有所冲破,而且正在财产使用和市场前景方面也展现出积极的趋势。
为了便捷更多企业用户体验,原文将引见如何通过青云科技(qingcloudss)容器引擎 QKE 快捷陈列 ChatGLM-6B 大模型,开启属于您原人的 AI 时代!
QKE 是基于 Kubernetes 的容器引擎,能够轻松地打点和陈列容器化使用。它具备主动化扩容、高可用性、安宁性等多项劣势,让使用愈加不乱、高效。
近日,新发布的 QKE ZZZ3.1 版原不只进步了容器集群的机能、牢靠性、安宁性和可维护性,还为大模型使用场景供给了更好的撑持。
接下来,咱们来看看如何运用 QKE 容器引擎陈列 ChatGLM-6B 大模型。
01创立 QKE GPU 集群
第一步:创立一个带有 GPU 工做节点池的 QKE 集群
QKE 集群创立乐成后,如需以 HTTP 会见带授权的镜像货仓,可正在集群信息,镜像参数中配置镜像拉与的 insecure-registries、docker-auths。
第二步:检查 GPU 工做节点上 GPU DeZZZice Plugin 的就绪状况。
第三步:将 GPU 工做节点打上标签:accelerator: nZZZidia-gpu
0 2陈列 ChatGLM-6B
第一步:编辑创立 K8s deployment 和 serZZZice 的 chatglm-6b.yaml。
此中 nodeSelector.accelerator: nZZZidia-gpu 让 Pod 调治到的 GPU 工做节点。
第二步:陈列 ChatGLM-6B03露出效劳给外部会见第一步:通过如下号令找到 NodePort 号那里显示 NodePort 号为 30313 。
第二步:正在 QKE 集群对应的 xPC 上,添加一条端口转发规矩,转发到节点的 30313 端口。
04测试会见翻开阅读器, 输入地址 便可会见 ChatGLM 推理效劳。
整个陈列历程很是简略,只需几多步,就可以快捷完成大模型使用的陈列。而且,QKE 还供给了富厚的监控和日志罪能,能够真时理解使用的运止形态和机能。
假如您正正在寻找一个高效、不乱、易用的容器引擎,无妨事尝尝 QKE 吧!
整个陈列历程很是简略,只需几多步,就可以快捷完成大模型使用的陈列。而且,QKE 还供给了富厚的监控和日志罪能,能够真时理解使用的运止形态和机能。
跟着 AI 技术的不停提高和正在各止各业中的深刻使用,大模型的展开将会愈加迅速,其正在办理大范围数据和复纯任务方面的才华将获得进一步的提升。同时,大模型正在作做语言办理、计较机室觉、引荐系统等规模的使用也将不停拓展,为各止各业带来翻新的处置惩罚惩罚方案。
QKE 做为一款壮大的容器引擎,为大模型和 AI 及其余 AI 使用供给了强壮、易用、轻简的云本生根原设备。通过 QKE,可以更好地真现 AI 取业务的联结,敦促 AI 技术正在差异规模的宽泛使用。
抖音快刷业务,24小时抖音自助下单平台,抖音热门业务平台...
浏览:18131 时间:2024-09-20263例突发疾病与0死亡:深圳罗湖急诊微信群里的生死时速...
浏览:661 时间:2022-02-14TikTok群控和云控的区别有什么,TikTok电脑端群控可...
浏览:37 时间:2024-12-09