Phi-4是微软研究院推出的一个约140亿参数的稠密语言模型，采用仅解码器架构，并在数学、代码和通用推理任务上进行了大量合成数据训练。虽然参数规模远小于当前动辄数百亿甚至上千亿的旗舰模型，但它在若干基准上的表现并不弱，尤其适合资源受限的部署环境。实际推理部署中，选对引擎和量化策略比单纯换一台更大显存的机器更关键。

一、Phi-4模型特性与推理前准备

Phi-4官方权重以microsoft/phi-4的名称发布在Hugging Face上，使用MIT许可证，支持Hugging Face Transformers 4.37及以上版本。模型的上下文长度可达16K token，适合长文档问答、代码补全和中等长度的推理链生成。与更大模型相比，Phi-4在14B参数量级下对逻辑符号和数学表达式的建模更紧凑，单次前向计算的显存占用也更低。开始推理之前，建议准备Python 3.10或更高版本，安装PyTorch、Transformers和Accelerate。如果使用CUDA显卡，PyTorch版本需要与驱动匹配，否则可能出现CUDA初始化失败。

下载模型时可以直接使用from_pretrained方法，首次会从远程拉取约28GB的bfloat16权重。网络不稳定的环境可以先通过Hugging Face CLI把权重下载到本地目录，再使用local_files_only=True加载，避免每次启动都检查远程更新。为了快速验证依赖是否正常，建议先加载tokenizer和配置，确认无误后再加载完整模型。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
    "microsoft/phi-4",
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=False
)
tokenizer = AutoTokenizer.from_pretrained("microsoft/phi-4")

上述代码在单张支持bfloat16的显卡上可以加载完整权重。如果显存小于30GB，加载过程可能会触发OOM，这时就需要使用下一节介绍的量化方案或改用llama.cpp。

二、本地推理方案：Transformers与llama.cpp

本地推理最常见的方式是直接使用Transformers进行逐token生成。对于14B模型，bfloat16权重本身约28GB，再加上KV Cache和激活值，24GB显卡很容易超限。引入bitsandbytes的4bit量化后，权重大小可降到约8GB，计算时动态反量化，显存压力大幅降低。下面对比了4bit量化与8bit量化的加载方式。4bit量化在数学推理任务上偶尔会出现精度下降，如果对数值计算要求较高，可以优先使用8bit量化或GPTQ格式。

from transformers import BitsAndBytesConfig
quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=torch.bfloat16
)
model = AutoModelForCausalLM.from_pretrained(
    "microsoft/phi-4",
    quantization_config=quant_config,
    device_map="auto"
)

llama.cpp是另一个适合资源有限环境的推理引擎，支持CPU、CUDA和Apple Metal后端。它使用GGUF格式保存量化权重，14B模型在M系列Mac上也能以较低速度运行，适合个人开发和小批量任务。使用llama.cpp前需要先将原始权重转换为GGUF，或直接下载社区已转换好的量化文件。下面的命令加载一个4bit量化模型并生成回答。

./llama-cli -m phi-4.Q4_K_M.gguf -p "请解释什么是快速排序" -n 512 -t 8 -c 4096

两种方案各有侧重。Transformers生态完善，适合快速实验和模型微调后的验证；llama.cpp资源占用低，适合CPU或笔记本环境，但单并发吞吐和动态批处理能力较弱。如果只是个人使用或跑测试用例，llama.cpp足够；如果要对外提供稳定的API服务，更推荐下一节介绍的vLLM。

三、高性能服务化部署：vLLM与FastAPI

当模型需要同时服务多个用户或接入业务系统时，单条生成的方式就不够用了。vLLM是目前吞吐量较高的开源推理引擎之一，核心是PagedAttention机制，它将KV Cache按页管理，减少显存碎片并支持连续批处理。vLLM启动后会自动暴露OpenAI兼容接口，客户端可以直接使用openai库调用，无需修改原有代码。

安装vLLM时要注意CUDA版本与PyTorch版本的兼容性，推荐使用官方Docker镜像。启动服务时可以通过--max-model-len限制上下文长度，通过--gpu-memory-utilization控制显存使用比例。下面的命令在单张24GB显卡上以float16精度启动Phi-4服务。

vllm serve microsoft/phi-4 \
    --dtype float16 \
    --max-model-len 4096 \
    --gpu-memory-utilization 0.9

服务启动后，可以在Python中像调用OpenAI一样发送请求。下面的代码向本机vLLM服务发送一个数学问题，并打印返回结果。

from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")
resp = client.chat.completions.create(
    model="microsoft/phi-4",
    messages=[{"role": "user", "content": "用反证法证明根号2是无理数"}],
    temperature=0.2,
    max_tokens=1024
)
print(resp.choices[0].message.content)

如果不想依赖vLLM，也可以使用FastAPI包装Transformers模型，但高并发下需要自己处理排队和动态批处理。下面是一个最小示例，用于说明请求和响应的基本结构。实际生产环境建议在generate路径中增加信号量或任务队列，避免多请求同时争抢显存。

from fastapi import FastAPI
from pydantic import BaseModel
import torch
app = FastAPI()
model = AutoModelForCausalLM.from_pretrained("microsoft/phi-4", torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("microsoft/phi-4")
class PromptRequest(BaseModel):
    prompt: str
    max_new_tokens: int = 512
@app.post("/generate")
async def generate(req: PromptRequest):
    inputs = tokenizer(req.prompt, return_tensors="pt").to("cuda")
    outputs = model.generate(**inputs, max_new_tokens=req.max_new_tokens)
    return {"text": tokenizer.decode(outputs[0], skip_special_tokens=True)}

采样参数对生成质量影响明显。数学推理和代码生成建议使用较低的temperature值，例如0.2，并在调用时设置top_p=0.9，避免输出发散。对于创意写作或头脑风暴，可以适当提高到0.7以上，但需要限制最大生成长度。

四、推理性能优化与资源估算

推理成本主要由权重显存和KV Cache构成。以Phi-4的14B参数为例，bfloat16权重约28GB；KV Cache的计算方式为2乘以层数、隐藏维度、序列长度、批大小和字节数。Phi-4约40层，隐藏维度为5120，单个token在batch为1时的KV Cache约为0.8MB。如果上下文长度为4096，则KV Cache约3.3GB；当batch扩大到8时，KV Cache会增至约26GB。因此单张24GB显卡在bfloat16下支撑长上下文高并发比较困难，必须通过量化或限制max_model_len来控制。

下表给出不同精度下的资源占用估算，可用于反向选择部署配置。可以看到4bit量化能显著降低权重显存，但KV Cache仍与精度无关，长上下文场景需要单独控制。

提升吞吐的具体手段包括启用FlashAttention 2、开启前缀缓存、使用连续批处理。vLLM的启动参数中可以加入--enable-prefix-caching来复用相同前缀的KV Cache，显著降低重复请求的延迟。对于长文本场景，可以适当降低--max-model-len，把预留显存分给更大的并发batch。下面给出一个优化后的vLLM启动命令。

vllm serve microsoft/phi-4 \
    --dtype float16 \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.95 \
    --enforce-eager \
    --enable-prefix-caching

如果完全使用CPU环境，建议选择GGUF格式的Q4_K_M量化模型，并通过llama.cpp设置合理的线程数。CPU推理速度通常低于GPU，但内存充足时可以在无显卡服务器上稳定运行。最后，无论采用哪种方案，都应先用少量示例验证生成质量，再逐步提高并发和上下文长度，避免在业务高峰期出现显存溢出。