视频摘要生成的目标很明确：输入一段较长的视频，输出一份既包含关键画面又包含文字描述的浓缩结果。与单纯提取音频转写不同，视频摘要更侧重视觉信息的压缩，它需要判断哪些帧最能代表视频主线，并把这些帧的语义用自然语言表达出来。这项技术在会议记录、安防监控、短视频运营、在线教育等场景中都有实际需求。接下来会从关键帧提取、文字摘要生成和工程落地三个方面展开。
关键帧提取：从冗余帧序列中找到代表画面
视频本质上是连续帧的集合，一秒钟可能包含24帧、30帧甚至60帧，如果直接对每一帧做分析，计算开销会非常惊人。关键帧提取的目的就是用一个很小的子集来代表整段视频的主要内容。最原始的方法是等间隔抽帧，比如每隔一秒取一帧，这种方式实现简单，但很容易漏掉短时出现的重点画面，同时又会保留大量重复场景。例如一段长达十分钟的静态监控画面，等间隔抽帧会得到几百张几乎相同的图片，对后续文字摘要没有任何帮助。
更合理的做法是结合画面差异和语义信息进行自适应选择。基于帧差法或光流法可以检测画面运动强度，当镜头快速切换或者物体发生明显位移时，算法会倾向于保留这些帧。不过帧差法对光照变化和镜头抖动比较敏感，容易产生噪声。另一种思路是基于聚类的关键帧提取，它先把所有采样帧映射到特征空间，再用K-means等算法聚成若干簇，每个簇的中心帧就可以作为关键帧。这样做的好处是帧之间差异较大，能够覆盖视频的不同阶段，但聚类数量需要人为指定，而且聚类结果不一定符合人类的语义理解。
下面这个示例使用OpenCV读取视频，每隔几帧采样一次并转成灰度向量，再利用K-means聚类选出指定数量的关键帧。
import cv2
import numpy as np
from sklearn.cluster import KMeans
def extract_keyframes(video_path, num_keyframes=5):
cap = cv2.VideoCapture(video_path)
frames = []
frame_indices = []
idx = 0
while True:
ret, frame = cap.read()
if not ret:
break
if idx % 10 == 0: # 每10帧采样一次降低计算量
resized = cv2.resize(frame, (224, 224))
gray = cv2.cvtColor(resized, cv2.COLOR_BGR2GRAY)
frames.append(gray.flatten())
frame_indices.append(idx)
idx += 1
cap.release()
if len(frames) < num_keyframes:
return frame_indices
kmeans = KMeans(n_clusters=num_keyframes, random_state=0, n_init='auto').fit(frames)
centers = kmeans.cluster_centers_
key_indices = []
for center in centers:
distances = np.linalg.norm(frames - center, axis=1)
key_indices.append(frame_indices[int(np.argmin(distances))])
return sorted(key_indices)
这段代码先把视频帧压缩成低维灰度特征，再通过聚类找到代表性帧。它的优点是简单直观，适合短视频或对实时性要求不高的场景。但灰度特征丢失了颜色和纹理信息，对于色彩变化明显但灰度接近的画面区分能力不足。实际系统中往往需要引入卷积神经网络提取深度特征，例如使用ResNet或ViT模型对每一帧编码，这样聚类结果会更接近人眼的视觉判断。另一个常见优化是先做镜头边界检测，把视频切分成多个镜头，再在每个镜头内部提取关键帧，避免跨镜头聚类造成语义混淆。
文字摘要生成：从关键帧到自然语言描述
拿到关键帧之后，下一步是把画面内容转成文字。最直接的方法是使用图像描述模型，例如BLIP、OFA或者最新的多模态大模型。这些模型接收单张图片，输出一句简短的英文或中文描述。对于每一个关键帧调用一次模型，就能得到一组描述句子，再把它们按时间顺序拼接起来，就形成了一份初步的文字摘要。但这种方式输出的是孤立的事实描述，缺少对整体内容的概括，而且多个关键帧之间可能存在语义重复。
更高级的做法是把关键帧序列看成一个整体，交给多模态大模型进行统一理解。例如把若干关键帧按时间顺序排列，再给出一个提示词，要求模型生成一段不超过200字的摘要。多模态大模型能够自动识别帧之间的因果关系、人物动作变化和场景切换，从而生成更连贯的文字。下面是使用Hugging Face Transformers调用BLIP模型对单帧生成描述的示例。
from transformers import BlipProcessor, BlipForConditionalGeneration
from PIL import Image
processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")
def caption_frame(frame):
image = Image.fromarray(frame)
inputs = processor(images=image, return_tensors="pt")
out = model.generate(**inputs, max_length=50)
caption = processor.decode(out[0], skip_special_tokens=True)
return caption
如果关键帧数量较多，单帧描述会产生大量重复或碎片化信息。此时可以增加一个文本摘要步骤：先把所有关键帧描述拼成一段长文本，再用文本摘要模型进行二次压缩。文本摘要模型能够识别重复表达，保留最关键的事件和结论。另一种流行方案是直接使用支持视频输入的多模态大模型，比如某些商业API支持传入短视频片段，模型内部完成关键帧采样、视觉编码和文本生成，开发者只需要调用一个接口即可。不过这类API通常有视频长度和数据隐私的限制，在本地部署场景中，分步实现仍然更灵活。
工程落地中的去重、对齐与评估
关键帧提取和文字摘要只是核心算法，真正落地成一个可用的视频摘要服务还需要处理很多细节。首先是帧间去重问题。即使使用聚类，也可能选出相邻时间点上的两个几乎相同的帧，尤其是镜头缓慢推进时。可以在选帧后计算相邻关键帧的结构相似性指数（SSIM）或者特征余弦相似度，如果相似度超过阈值，就只保留其中一帧。去重后再补选新的关键帧，直到达到目标数量或者没有更多候选帧。
其次是时间戳对齐。视频摘要往往需要告诉用户每个关键画面出现在视频的什么位置，所以关键帧的索引必须映射回原始视频的时间。比如使用OpenCV读取时，帧索引除以帧率就可以得到时间点。如果视频存在可变帧率，还需要用PTS（Presentation Time Stamp）来计算真实时间，避免误差累积。文字摘要中的每个句子也应当尽量关联到对应的时间片段，这样用户可以快速跳转到感兴趣的部分。
评估视频摘要的质量同样不是一个简单问题。常用指标包括摘要覆盖率、准确率和冗余度，但人工评估仍然是最可靠的方式。自动化评估可以借用图像描述领域的CIDEr、BLEU等指标，但视频摘要更强调概括性而非逐帧复述。在实际项目中，可以先准备一个小规模人工标注数据集，用关键帧覆盖率和文字摘要的事实一致性作为核心指标，同时监控端到端处理时延和GPU占用。只有把算法效果和工程性能都纳入评估，才能让视频摘要生成真正从原型走向生产环境。
