【模型接入】腾讯混元
项目基于 Spring AI + 自己实现的 models/hunyuan
,实现 hunyuan 混元大模型 (opens new window) 的接入:
功能 | 模型 | Spring AI 客户端 |
---|---|---|
AI 对话 | hunyuan-turbo、hunyuan-large 等 | HunYuanChatModel |
AI 绘画 | 混元生图 (opens new window) 等 | 暂未接入 |
# 1. 申请密钥
由于腾讯混元是非开源的模型,所以无法私有化部署,需要去官网申请 API Key,然后通过 Spring AI 提供的客户端接入。
# 1.1 申请腾讯密钥
① 在 腾讯云 (opens new window) 上,注册一个账号。
② 在 管理 -> API Key 管理 (opens new window) 上,创建一个 API Key 密钥。
申请完成后,可以在我们系统的 [AI 大模型 -> 控制台 -> API 密钥] 菜单,进行密钥的配置。需要填写“密钥” + “自定义 API URL”(因为让 Spring AI 使用该地址)。如下图所示:
# 1.2 补充说明
① 【对话】如果后续你要体验 《AI 对话》 ,需要在 [AI 大模型 -> 控制台 -> 聊天模型] 菜单,配置对应的聊天模型。注意,每个模型标识的 max_tokens
(回复数 Token 数)一般是 4096。
具体有哪些模型,可以点击 混元生文 (opens new window) 进行查看。例如说:hunyuan-turbo
、hunyuan-large
等等。
# 2. 如何使用?
① 如果你的项目里需要直接通过 @Resource
注入 HunYuanChatModel 等对象,需要把 application.yaml
配置文件里的 yudao.ai.hunyuan
配置项,替换成你的!
yudao:
ai:
hunyuan: # 腾讯混元
enable: true
api-key: 5c1b5747-26d2-4ebd-a4e0-dd0e8d8b4272
model: hunyuan-1-5-lite-32k-250115
② 如果你希望使用 [AI 大模型 -> 控制台 -> API 密钥] 菜单的密钥配置,则可以通过 AiApiKeyService 的 #getChatModel(...)
方法,获取对应的模型对象。
① 和 ② 这两者的后续使用,就是标准的 Spring AI 客户端的使用,调用对应的方法即可。
另外,HunYuanChatModelTests 里有对应的测试用例,可以参考。