据报道,3 月 7 日,AMD 正式宣布用户可本地运行基于 GPT 的大规模语言模型 (LLM),打造专属的AI聊天机器人。该动作,适用于采用全新 AMD XDNA NPU的Ryzen 7000及Ryzen 8000系列APU及内嵌AI加速器的Radeon RX 7000系列GPU。
AMD详述运行步骤,如在搭载70亿参数的Mistral机器上,需寻找并下载“TheBloke / OpenHermes-2.5-Mistral-7B-GGUF”;若选择运行70亿参数的LLAMA v2,须检索并下载“TheBloke / Llama-2-7B-Chat-GGUF”。
值得注意的是,AMD并非首家推行此类举措的厂商。据了解,近期英伟达(NVIDIA)亦推出了“Chat with RTX”人工智能聊天机器人,利用GeForce RTX 40与RTX 30系列GPU提供TensorRT-LLM功能集服务,根据本地化数据集快速生成AI结果。
全部0条评论
快来发表一下你的评论吧 !