智能决策器是一个动态的AI驱动路由系统,能根据查询内容和目的自动选择最合适的大语言模型(LLM)来响应用户查询。
该工作流通过智能路由将查询分配给最匹配的模型,确保动态优化的AI响应。
优势
-
🔁 自动模型路由:
自动选择最佳模型,提高响应效率和相关性。 -
🎯 资源优化利用:
将简单查询路由到轻量级模型,避免过度使用GPT-4等昂贵模型。 -
📚 模型感知推理:
利用模型能力的详细元数据(如推理、编码、网络搜索)进行智能选择。 -
📥 模块化可扩展:
易于集成其他工具,或通过添加更多模型/自定义决策逻辑进行扩展。 -
👨💻 适合RAG和多代理系统:
可作为复杂代理框架或检索增强生成流程的核心决策模块。
工作原理
- 聊天触发:用户发送消息时触发路由代理
- 模型选择:AI代理分析查询并从可用选项中选择最佳模型(如Claude 3.7处理代码,Perplexity/Sonar处理网络搜索,GPT-4o Mini处理推理)
- 结构化输出:代理返回包含用户提示和所选模型的JSON响应
- 执行:选定模型处理查询并生成响应,确保任务最优性能
配置步骤
-
节点配置:
- 聊天触发器:设置接收用户消息的webhook
- 路由代理:定义包含模型特性和JSON输出规则的系统消息
- OpenRouter聊天模型:连接OpenRouter获取模型访问权限
- 结构化输出解析器:确保验证JSON响应格式(prompt+model)
- 执行代理:配置其将提示转发给选定模型
-
节点连接:
- 将聊天触发器连接至路由代理
- 连接OpenRouter聊天模型和输出解析器到路由代理
- 将解析后的JSON路由至通过OpenRouter聊天模型1使用选定模型的执行代理
-
凭证设置:
- 确保两个聊天模型节点正确设置OpenRouter API凭证
-
测试部署:
- 激活工作流并用示例查询测试模型选择逻辑
- 根据需要调整路由规则以提高准确性