> ## Documentation Index
> Fetch the complete documentation index at: https://blog.pig4cloud.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 激动地把OpenAI的GPT跑在本地，结果Ollama却告诉我：想搜索？先交钱

> OpenAI 发布了其最新的开源模型 gpt-oss，并与 Ollama 合作，让开发者可以前所未有地轻松在本地运行和使用这些强大的模型。本文将深入介绍 gpt-oss 的核心特性，并提供一份详尽的上手指南。

OpenAI 发布了其最新的开源权重模型系列——`gpt-oss`。更棒的是，为了让广大开发者能够轻松在本地环境中使用这些模型，OpenAI 与广受欢迎的本地大模型运行框架 Ollama 展开了深度合作。

现在，只需要一条命令，就可以在自己的电脑上运行拥有强大推理能力和代理（Agent）功能的 `gpt-oss` 模型。无论是想进行本地开发、功能测试，还是希望拥有一个不受网络限制的私有AI助手，这都将是一个绝佳的选择。

## gpt-oss 模型概览

此次 OpenAI 推出了两个不同规模的模型，以满足不同场景的需求：

* **`gpt-oss-20b`**：一个200亿参数的模型，专为低延迟、本地化或特定领域的应用场景设计。它在速度和性能之间取得了很好的平衡，非常适合在个人电脑上运行。
* **`gpt-oss-120b`**：一个1200亿参数的旗舰模型，为生产环境、通用目的和高强度推理任务而生。它能提供顶级的性能，适合在配备专业级GPU的服务器上部署。

## 核心特性

`gpt-oss` 不仅仅是一个聊天机器人，它还内置了一系列强大的“代理”功能。

* **代理能力（Agentic Capabilities）**：模型原生支持函数调用（Function Calling）、网络浏览（Web Browsing）、生成结构化输出（如JSON）。Ollama 还为其提供了可选的内置网络搜索功能，让模型能够获取最新信息。
* **完整的思维链（Full Chain-of-Thought）**：模型完整的推理过程都是可访问的，这极大地简化了调试，并提升了结果的可信度。
* **可配置的推理级别（Configurable Reasoning Effort）**：可以根据应用场景对速度和细节的需求，轻松调整模型的推理级别（低、中、高）。
* **可微调（Fine-tunable）**：开发者可以根据自己的特定需求，通过参数微调来完全定制模型。
* **友好的 Apache 2.0 许可证**：这意味着可以自由地进行构建、测试、个性化和商业部署，没有版权限制或专利风险。

![Ollama 支持内置搜索](https://minio.pigx.vip/oss/202508/k7OHoz.png)

![搞了tuo大的](https://minio.pigx.vip/oss/202508/41da1fe912a0b6b3f377d7aa1e6db95f.png)

## 技术揭秘：MXFP4 量化

为了让这些庞大的模型能够在消费级硬件上运行，OpenAI 采用了一种名为 `MXFP4` 的量化技术。

模型中超过90%的参数来自于专家混合（MoE）层的权重。通过将这些权重进行训练后量化到 `MXFP4` 格式（每个参数约4.25位），模型的内存占用被大幅降低。这使得 `gpt-oss-20b` 模型能够在仅有16GB内存的系统上流畅运行，而 `gpt-oss-120b` 模型也足以装入单个80GB的GPU中。

Ollama 框架原生支持 `MXFP4` 格式，无需额外的量化或转换，并与 OpenAI 的参考实现进行了基准测试，以确保相同的输出质量。

## 快速上手指南

得益于 Ollama 的便捷性，在本地运行 `gpt-oss` 只需两步。

### 第一步：安装 Ollama

访问 [Ollama 官网](https://ollama.com/download)，下载并安装适用于相应操作系统（macOS, Windows, Linux）的最新版本。

安装完成后，在 macOS 上，可以在菜单栏看到 Ollama 的图标。在终端（或 Windows 的 CMD/PowerShell）中，可以通过运行 `ollama` 命令来验证安装是否成功。

> **重要提醒**：如果已经安装过 Ollama，请务必升级到最新版本以确保对 `gpt-oss` 模型的完整支持。可以通过重新下载安装包或使用包管理器来更新。

![7c2bfac1976330ff184a333383499327](https://minio.pigx.vip/oss/202508/7c2bfac1976330ff184a333383499327.png)

### 第二步：运行 gpt-oss 模型

打开终端，输入以下命令即可下载并运行 `gpt-oss-20b` 模型：

```bash theme={null}
ollama run gpt-oss:20b
```

如果你拥有强大的硬件（如80GB显存的GPU），可以尝试运行120B的旗舰版本：

```bash theme={null}
ollama run gpt-oss:120b
```

命令执行后，Ollama 会自动下载模型文件并加载。完成后，就可以直接在终端中与模型进行对话了。

## 多种方式与模型交互

### 1. 命令行工具

运行 `ollama run` 命令后，可以直接在终端提问。还可以使用一些内置命令来获取模型信息：

![n2fAOV](https://minio.pigx.vip/oss/202508/n2fAOV.png)

### 2. 使用 cURL 调用 API

Ollama 会在本地 `11434` 端口启动一个HTTP服务。可以像调用任何REST API一样与模型交互：

```bash theme={null}
curl http://localhost:11434/api/generate -d '{
  "model": "gpt-oss:20b",
  "prompt": "What is water made of?"
}'
```

### 3. 使用 Java 代码

通过 `spring-ai-ollama` 库，可以轻松地将 `gpt-oss` 集成到 Java 应用中。

首先，安装库：

```bash theme={null}
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-ollama</artifactId>
</dependency>
```

配置链接熟悉

```
spring.ai.ollama.base-url=http://localhost:11434
spring.ai.ollama.chat.model=gpt-oss:20b
```

然后，使用以下代码与模型交互：

```java theme={null}
@Autowired
private ChatModel chatModel;

@Test
void contextLoads() {
    String called = chatModel.call("青岛大虾的价格是多少？");
    System.out.println(called);
}
```

需要注意的是，在最新的 Spring AI 1.0 版本中，暂时不支持配置 `gpt-oss` 的推理级别参数。如果需要使用推理功能，可以考虑直接通过 HTTP API 调用的方式来设置相关参数。