CoPaw 模型配置详解

AI人工智能 13 小时前 0 1

CoPaw 模型配置详解

CoPaw 支持多种大语言模型，包括云端模型（OpenAI、Anthropic、Google 等）和本地模型（Ollama、LM Studio 等）。本文将详细介绍如何配置和使用这些模型，包括 API 密钥配置、模型选择、参数优化等。

模型概述

支持的模型类型

CoPaw 支持以下类型的模型：

云端模型

OpenAI：GPT-4、GPT-3.5 Turbo、GPT-4 Turbo
Anthropic：Claude 3 Opus、Claude 3 Sonnet、Claude 3 Haiku
Google：Gemini Pro、Gemini Ultra
其他：DeepSeek、通义千问、智谱 AI 等

本地模型

Ollama：Llama 2、Mistral、Code Llama 等
LM Studio：多种 GGUF 格式模型
vLLM：高性能本地推理
Text Generation WebUI：兼容 OpenAI API

模型选择建议

| 使用场景 | 推荐模型 | 说明 |
|---------|---------|------|
| 代码开发 | GPT-4 Turbo | 代码能力强，上下文大 |
| 日常对话 | GPT-3.5 Turbo | 响应快，成本低 |
| 深度分析 | Claude 3 Opus | 推理能力强，质量高 |
| 本地部署 | Ollama Mistral | 隐私好，离线可用 |
| 中文任务 | 通义千问 Qwen | 中文理解好 |

OpenAI 模型配置

获取 API Key

访问 OpenAI API Platform
登录或注册账号
进入 API Keys 页面
点击 "Create new secret key"
复制生成的 API Key

基础配置

通过配置文件配置 OpenAI 模型：

{
  "model": {
    "provider": "openai",
    "model_name": "gpt-4-turbo-preview",
    "api_key": "sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
    "base_url": "https://api.openai.com/v1"
  }
}

可用模型

| 模型名称 | 上下文窗口 | 输入价格 | 输出价格 | 特点 |
|---------|-----------|---------|---------|------|
| gpt-4-turbo-preview | 128K | $10/1M | $30/1M | 最新 GPT-4，性能最佳 |
| gpt-4 | 8K | $30/1M | $60/1M | 标准 GPT-4 |
| gpt-3.5-turbo | 16K | $0.5/1M | $1.5/1M | 快速经济 |

通过控制台配置

# 设置 OpenAI API Key
/config set model.provider openai
/config set model.api_key sk-xxxxxxxxxxxxxxxx
/config set model.model_name gpt-4-turbo-preview
/config save

# 切换模型
/model switch gpt-4-turbo-preview

高级配置

{
  "model": {
    "provider": "openai",
    "model_name": "gpt-4-turbo-preview",
    "api_key": "sk-xxxxxxxxxxxxxxxx",
    "base_url": "https://api.openai.com/v1",
    "temperature": 0.7,
    "max_tokens": 4096,
    "top_p": 1.0,
    "frequency_penalty": 0.0,
    "presence_penalty": 0.0,
    "timeout": 60
  }
}

参数说明

temperature：控制输出随机性（0.0-2.0）
0.0：确定性强，适合代码、数学
0.7：平衡，适合日常对话
1.0+：随机性强，适合创意写作
max_tokens：最大输出令牌数
短对话：1024-2048
长对话：4096-8192
超长对话：16384+
top_p：核采样概率（0.0-1.0）
0.1：保守，只选最可能的词
1.0：开放，选择所有可能
frequency_penalty：频率惩罚（-2.0 到 2.0）
正值：减少重复
负值：鼓励重复
presence_penalty：存在惩罚（-2.0 到 2.0）
正值：鼓励新话题
负值：鼓励旧话题

Anthropic Claude 模型配置

获取 API Key

访问 Anthropic Console
登录或注册账号
进入 API Keys 页面
点击 "Create Key"
复制生成的 API Key

基础配置

{
  "model": {
    "provider": "anthropic",
    "model_name": "claude-3-sonnet-20240229",
    "api_key": "sk-ant-xxxxxxxxxxxxxxxx",
    "base_url": "https://api.anthropic.com/v1"
  }
}

可用模型

| 模型名称 | 上下文窗口 | 输入价格 | 输出价格 | 特点 |
|---------|-----------|---------|---------|------|
| claude-3-opus-20240229 | 200K | $15/1M | $75/1M | 最强推理，高质量 |
| claude-3-sonnet-20240229 | 200K | $3/1M | $15/1M | 平衡性能和成本 |
| claude-3-haiku-20240307 | 200K | $0.25/1M | $1.25/1M | 快速经济 |

通过控制台配置

# 设置 Anthropic API Key
/config set model.provider anthropic
/config set model.api_key sk-ant-xxxxxxxxxxxxxxxx
/config set model.model_name claude-3-sonnet-20240229
/config save

Claude 特有参数

{
  "model": {
    "provider": "anthropic",
    "model_name": "claude-3-sonnet-20240229",
    "api_key": "sk-ant-xxxxxxxxxxxxxxxx",
    "temperature": 0.7,
    "max_tokens": 4096,
    "top_k": 40,
    "top_p": 1.0,
    "stream": true
  }
}

top_k：限制采样范围
stream：是否使用流式输出

Google Gemini 模型配置

获取 API Key

访问 Google AI Studio
登录 Google 账号
创建新项目或选择现有项目
启用 Gemini API
生成 API Key

基础配置

{
  "model": {
    "provider": "google",
    "model_name": "gemini-pro",
    "api_key": "AIzaxxxxxxxxxxxxxxxxx",
    "base_url": "https://generativelanguage.googleapis.com/v1beta"
  }
}

可用模型

| 模型名称 | 上下文窗口 | 输入价格 | 输出价格 | 特点 |
|---------|-----------|---------|---------|------|
| gemini-pro | 1M | 免费 | 免费 | 免费使用 |
| gemini-ultra | 1M | $1/1M | $1/1M | 最强模型 |

通过控制台配置

# 设置 Google API Key
/config set model.provider google
/config set model.api_key AIzaxxxxxxxxxxxxxxxxx
/config set model.model_name gemini-pro
/config save

Ollama 本地模型配置

安装 Ollama

# macOS/Linux
curl -fsSL https://ollama.ai/install.sh | sh

# Windows
# 下载安装包：https://ollama.ai/download

下载模型

# 下载 Mistral 模型
ollama pull mistral

# 下载 Llama 2 模型
ollama pull llama2

# 下载 Code Llama 模型
ollama pull codellama

# 列出已下载的模型
ollama list

启动 Ollama 服务

# 启动服务（默认端口 11434）
ollama serve

# 指定端口启动
OLLAMA_HOST=0.0.0.0:11434 ollama serve

配置 Ollama

{
  "model": {
    "provider": "ollama",
    "model_name": "mistral",
    "base_url": "http://localhost:11434",
    "temperature": 0.7,
    "max_tokens": 2048
  }
}

通过控制台配置

# 切换到 Ollama
/config set model.provider ollama
/config set model.base_url http://localhost:11434
/config set model.model_name mistral
/config save

# 测试连接
/model info

常用 Ollama 模型

| 模型名称 | 参数量 | 特点 | 推荐 |
|---------|-------|------|------|
| mistral | 7B | 平衡性能和速度 | 通用 |
| llama2 | 7B/13B/70B | Meta 开源 | 研究 |
| codellama | 7B/13B/34B | 代码专用 | 编程 |
| phi | 2.7B | 小巧快速 | 轻量级 |

高级配置

{
  "model": {
    "provider": "ollama",
    "model_name": "mistral",
    "base_url": "http://localhost:11434",
    "temperature": 0.7,
    "num_ctx": 4096,
    "num_predict": 2048,
    "repeat_penalty": 1.1,
    "top_k": 40,
    "top_p": 0.9
  }
}

num_ctx：上下文窗口大小
num_predict：最大预测令牌数
repeat_penalty：重复惩罚

LM Studio 配置

安装 LM Studio

下载并安装 LM Studio：https://lmstudio.ai/

下载模型

打开 LM Studio
进入 "AI Models" 标签
搜索并下载模型（推荐 GGUF 格式）
等待下载完成

启动 API 服务

点击左侧 "AI" 图标
选择下载的模型
设置参数（CPU/GPU，上下文大小）
点击 "Start Server"
默认端口：http://localhost:1234

配置 LM Studio

{
  "model": {
    "provider": "openai",
    "model_name": "local-model",
    "api_key": "dummy",  # LM Studio 不需要真实 API Key
    "base_url": "http://localhost:1234/v1"
  }
}

通过控制台配置

# 配置 LM Studio
/config set model.provider openai
/config set model.base_url http://localhost:1234/v1
/config set model.model_name local-model
/config set model.api_key dummy
/config save

其他模型提供商

DeepSeek

{
  "model": {
    "provider": "deepseek",
    "model_name": "deepseek-chat",
    "api_key": "sk-xxxxxxxxxxxxxxxx",
    "base_url": "https://api.deepseek.com/v1"
  }
}

通义千问

{
  "model": {
    "provider": "dashscope",
    "model_name": "qwen-turbo",
    "api_key": "sk-xxxxxxxxxxxxxxxx",
    "base_url": "https://dashscope.aliyuncs.com/compatible-mode/v1"
  }
}

智谱 AI

{
  "model": {
    "provider": "zhipu",
    "model_name": "glm-4",
    "api_key": "xxxxxxxxxxxxxxxx",
    "base_url": "https://open.bigmodel.cn/api/paas/v4"
  }
}

模型参数优化

代码开发场景

{
  "model": {
    "temperature": 0.1,
    "max_tokens": 4096,
    "top_p": 0.95,
    "frequency_penalty": 0.0,
    "presence_penalty": 0.0
  }
}

低温度：确保代码准确性
足够的 token：支持长代码

创意写作场景

{
  "model": {
    "temperature": 0.9,
    "max_tokens": 2048,
    "top_p": 0.9,
    "frequency_penalty": 0.5,
    "presence_penalty": 0.5
  }
}

高温度：增加创造性
惩罚重复：避免重复内容

数据分析场景

{
  "model": {
    "temperature": 0.3,
    "max_tokens": 8192,
    "top_p": 1.0,
    "frequency_penalty": 0.0,
    "presence_penalty": 0.0
  }
}

中等温度：平衡准确性和灵活性
大 token：支持详细分析

模型切换和管理

查看当前模型

/model

输出：

当前模型：
  提供商：OpenAI
  模型名称：gpt-4-turbo-preview
  温度：0.7
  最大令牌：4096

查看可用模型

/model list

输出：

可用模型：
  1. gpt-4-turbo-preview (OpenAI)
  2. gpt-3.5-turbo (OpenAI)
  3. claude-3-sonnet-20240229 (Anthropic)
  4. gemini-pro (Google)
  5. mistral (Ollama)

切换模型

/model switch gpt-4-turbo-preview

设置模型参数

/model set temperature 0.5
/model set max_tokens 8000
/model set top_p 0.9

批量设置参数

/model config << 'EOF'
{
  "temperature": 0.5,
  "max_tokens": 8000,
  "top_p": 0.9,
  "frequency_penalty": 0.2
}
EOF

多模型策略

根据任务类型自动切换

在 AGENTS.md 中定义：

# 模型选择策略

## 代码任务
使用 gpt-4-turbo-preview
温度：0.1

## 创意任务
使用 claude-3-opus-20240229
温度：0.9

## 日常对话
使用 gpt-3.5-turbo
温度：0.7

成本优化

# 简单任务使用便宜模型
/model switch gpt-3.5-turbo

# 复杂任务使用强力模型
/model switch gpt-4-turbo-preview

环境变量配置

OpenAI

export OPENAI_API_KEY="sk-xxxxxxxxxxxxxxxx"

Anthropic

export ANTHROPIC_API_KEY="sk-ant-xxxxxxxxxxxxxxxx"

Google

export GOOGLE_API_KEY="AIzaxxxxxxxxxxxxxxxxx"

Ollama

export OLLAMA_BASE_URL="http://localhost:11434"

常见问题

Q1: API Key 无效？

检查以下几点：

API Key 是否正确复制
API Key 是否已过期
账户是否有足够余额
网络连接是否正常

# 测试 API Key
curl https://api.openai.com/v1/models \
  -H "Authorization: Bearer YOUR_API_KEY"

Q2: 模型响应慢？

可能的原因和解决方案：

云端模型网络延迟

   # 检查网络
   ping api.openai.com

本地模型资源不足

   # 检查 CPU/GPU 使用率
   htop

   # 减少 token 数
   /model set max_tokens 1024

上下文太长

   # 清理旧会话
   /session delete old_session

Q3: 如何测试模型性能？

# 发送测试消息
/model test "Hello, how are you?"

# 查看响应时间
/model benchmark

Q4: 切换到本地模型后如何离线使用？

# 1. 确保本地模型已下载
ollama list

# 2. 切换到本地模型
/config set model.provider ollama
/config set model.model_name mistral
/config save

# 3. 断网测试
# 断开网络连接后仍然可以使用

Q5: 如何节省 API 费用？

使用缓存

   /config set memory.cache_enabled true

选择合适的模型

简单任务：gpt-3.5-turbo
复杂任务：gpt-4-turbo-preview

限制 token

   /model set max_tokens 2048

使用本地模型

   /model switch ollama/mistral

Q6: 如何处理模型幻觉？

降低温度

   /model set temperature 0.3

增加上下文

   /model set max_tokens 8192

要求验证

   大哥：请告诉我 Python 3.11 的新特性
   小弟：Python 3.11 的新特性包括：
   1. 更快的解释器（1.5-2.0x）
   2. 更好的错误消息
   3. 类型变量改进
   ...
   （请查阅官方文档确认）

最佳实践

1. 根据任务选择模型

代码开发 → GPT-4 Turbo
日常对话 → GPT-3.5 Turbo
深度分析 → Claude 3 Opus
隐私保护 → Ollama Mistral

2. 合理设置参数

准确性任务 → temperature: 0.1-0.3
创造性任务 → temperature: 0.7-1.0
代码生成 → temperature: 0.1-0.2
数据分析 → temperature: 0.3-0.5

3. 定期检查成本

# 查看使用统计
/model usage

4. 使用缓存减少请求

/config set memory.cache_enabled true
/config set memory.cache_ttl 3600

5. 准备备用模型

# 配置备用模型
/config set model.fallback gpt-3.5-turbo

总结

通过本教程，你应该已经掌握了：

✅ OpenAI、Anthropic、Google 等云端模型的配置
✅ Ollama、LM Studio 等本地模型的配置
✅ 模型参数的优化和调整
✅ 多模型策略和切换
✅ 成本优化和性能调优
✅ 常见问题排查

在下一章中，我们将学习 CoPaw 频道配置，了解如何配置和使用多种交互频道，包括 Slack、Discord、Telegram、企业微信等。

CoPaw 模型配置详解

模型概述

支持的模型类型

云端模型

本地模型

模型选择建议

OpenAI 模型配置

获取 API Key

基础配置

可用模型

通过控制台配置

高级配置

参数说明

Anthropic Claude 模型配置

获取 API Key

基础配置

可用模型

通过控制台配置

Claude 特有参数

Google Gemini 模型配置

获取 API Key

基础配置

可用模型

通过控制台配置

Ollama 本地模型配置

安装 Ollama

下载模型

启动 Ollama 服务

配置 Ollama

通过控制台配置

常用 Ollama 模型

高级配置

LM Studio 配置

安装 LM Studio

下载模型

启动 API 服务

配置 LM Studio

通过控制台配置

其他模型提供商

DeepSeek

通义千问

智谱 AI

模型参数优化

代码开发场景

创意写作场景

数据分析场景

模型切换和管理

查看当前模型

查看可用模型

切换模型

设置模型参数

批量设置参数

多模型策略

根据任务类型自动切换

成本优化

环境变量配置

OpenAI

Anthropic

Google

Ollama

常见问题

Q1: API Key 无效？

Q2: 模型响应慢？

Q3: 如何测试模型性能？

Q4: 切换到本地模型后如何离线使用？

Q5: 如何节省 API 费用？

Q6: 如何处理模型幻觉？

最佳实践

1. 根据任务选择模型

2. 合理设置参数

3. 定期检查成本

4. 使用缓存减少请求

5. 准备备用模型

总结

下一章

相关资源

相关文章

发表回复 取消回复

发表回复取消回复