主动学习Agent的核心目标不是训练一个新模型，而是让标注资源流向那些模型真正拿不准、又能带来最大信息增益的样本。相比随机选择未标注数据，主动学习把样本获取变成一个可决策的循环：模型先给出当前判断，Agent根据策略评估每个未标注样本的价值，排序后选择一小批请求人工标注，再把新标注数据合并回训练集。这个过程会在多轮迭代中逐步收紧模型的决策边界。

主动学习Agent的决策循环与状态维护

一个完整的主动学习Agent通常由四个部分组成：一个可增量训练的模型、一个未标注样本池、一个标注器（人工或规则引擎），以及一个查询策略。查询策略是Agent的大脑，它接收模型对未标注样本的预测结果，输出一组最值得标注的样本ID。与其他自动机器学习组件不同，主动学习Agent强调跨轮次的状态维护：上一轮选择的样本、模型的历史置信度、已经标注的数据规模，都会影响下一轮选择。

循环开始时，模型只在少量初始标注数据上训练。此时模型能力很弱，如果直接使用不确定性采样，选出来的样本可能集中在少数几个区域，导致冷启动偏移。因此实际实现中通常会先随机选一小批样本，或者使用聚类中心作为初始种子。随后每一轮迭代包含五步：训练或更新模型、对所有未标注样本打分、按策略选出Top-K、获取标注、合并数据进入下一轮。这个循环看起来简单，但每一步都有实现细节，尤其是打分阶段能否同时考虑不确定性、多样性和标注成本。

状态维护还涉及样本去重和版本管理。未标注池中可能存在大量近似重复的文本或图像，如果不加约束，Agent很容易在一次批量选择中反复请求标注相似内容。一个简单做法是记录已选样本的特征向量，在后续打分时对与已选样本过于接近的对象做降权，或者直接引入多样性惩罚项。这个机制让Agent的行为更接近一个谨慎的标注规划者，而不是一个只看置信度的贪心算法。

度量样本价值的核心策略

最常用的样本价值信号是模型不确定性。对于分类任务，可以取预测概率最大值作为置信度，选择置信度最低的样本，这就是最不置信采样。如果二分类模型对某条文本输出[0.51, 0.49]，说明模型几乎在随机猜，这条样本对边界修正很可能有价值。还可以使用边缘采样，比较最高概率与次高概率的差值，差值越小代表两个类别竞争越激烈。熵采样则基于整个概率分布计算信息量，适合多分类场景。

仅依赖不确定性有一个明显缺陷：批量选择时会选出很多高度相似的边界样本。比如在图像分类中，模型可能对同一类模糊目标的多个裁剪版本都给出低置信度，但这些样本提供的增量信息有限。解决思路是引入多样性。核心集方法在特征空间中寻找能覆盖未标注池几何结构的子集；聚类方法先把未标注数据聚成若干簇，再在每个簇中选择不确定性最高的样本；还有基于模型委员会的方法，让多个模型对同一样本投票，分歧越大价值越高。混合策略通常将不确定性分数和多样性惩罚加权，或先做聚类再做不确定性Top-K。

不同策略适合不同数据分布。文本分类中不确定性采样简单有效，但噪声较多时容易选中错误标注或边界模糊但无学习价值的样本。图像和语音任务往往需要多样性约束，因为原始数据中存在大量帧间冗余。一个可操作的方案是：先用向量检索或聚类把未标注池分成若干组，再在每组内按熵排序，每组只取1到2条。这样既保证了单条样本的难度，又避免了批量查询集中在同一区域。

实现一个轻量级主动学习Agent

下面这段代码用Python和scikit-learn实现了一个最小可运行的主动学习Agent。它维护已标注索引和未标注索引，使用逻辑回归作为基模型，每轮通过熵采样评估样本价值，再从高分样本中随机抽取少量作为本次查询。为了简单，代码省去了特征预处理和标注器接口，重点展示查询循环。

import numpy as np
from sklearn.linear_model import LogisticRegression
from scipy.stats import entropy
class ActiveLearningAgent:
    def __init__(self, X_pool, y_pool, seed_idx, n_query=10):
        self.X_pool = X_pool
        self.y_pool = y_pool
        self.labeled_idx = list(seed_idx)
        self.unlabeled_idx = [i for i in range(len(X_pool)) if i not in seed_idx]
        self.n_query = n_query
        self.model = LogisticRegression(max_iter=1000)
    def train(self):
        X_train = self.X_pool[self.labeled_idx]
        y_train = self.y_pool[self.labeled_idx]
        self.model.fit(X_train, y_train)
    def uncertainty_scores(self):
        proba = self.model.predict_proba(self.X_pool[self.unlabeled_idx])
        # 对所有未标注样本计算熵，熵越高代表模型越不确定
        scores = entropy(proba.T)
        return scores
    def query(self):
        self.train()
        scores = self.uncertainty_scores()
        # 获取分数最高的2倍候选，再随机采样，保留一定探索性
        top_candidates = int(self.n_query * 2)
        top_idx = np.argsort(scores)[-top_candidates:]
        selected_local = np.random.choice(top_idx, size=self.n_query, replace=False)
        selected_pool_idx = [self.unlabeled_idx[i] for i in selected_local]
        # 更新索引状态
        self.labeled_idx.extend(selected_pool_idx)
        self.unlabeled_idx = [i for i in self.unlabeled_idx if i not in selected_pool_idx]
        return selected_pool_idx
# 示例：随机生成数据，10个初始标注，每轮查询5条
if __name__ == "__main__":
    rng = np.random.RandomState(42)
    X = rng.randn(200, 20)
    y = (X[:, 0] + X[:, 1] > 0).astype(int)
    init_seed = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
    agent = ActiveLearningAgent(X, y, init_seed, n_query=5)
    for round_idx in range(5):
        selected = agent.query()
        print("round", round_idx, "selected", selected)

这段实现中，uncertainty_scores方法对未标注样本的预测概率按列计算熵，所以返回的分数与未标注索引一一对应。查询时先从高分候选中做随机采样，而不是直接取最高分，这是为了给模型保留一定探索性，避免每次都在几乎相同的位置打转。实际项目中如果数据量很大，可以预计算特征向量，并把熵采样替换为边缘采样或委员会分歧，但整体框架不变。

需要特别注意的是，代码里的随机采样只适合演示。当未标注池达到百万级时，对每个样本调用predict_proba会产生较大计算开销。工程上可以先对未标注池做分层抽样，缩小评估范围，或者使用轻量模型做预筛。还应该把标注结果写回持久化存储，而不是只保存在内存列表里，否则任务中断后状态会丢失。

冷启动、批量选择与噪声标注

冷启动是主动学习Agent落地时的第一个障碍。模型在没有足够标注时，不确定性分数极不可靠，选出来的样本可能集中在某个偶然形成的伪边界上。更稳妥的做法是先用无监督聚类或特征空间覆盖方法挑选初始种子，让初始标注分布尽量贴近真实数据分布。也可以先随机标注一小批，等模型具备初步判别能力后再切换到主动查询策略。判断切换时机可以看验证集准确率是否超过预设阈值，或者简单固定为总预算的百分之五到百分之十。

批量选择与单条查询的区别在于要考虑批次内部的互补性。假设每轮需要标注100条，直接取不确定性最高的100条通常会浪费预算，因为这100条可能高度相似。常见做法是先对未标注池做K-Means聚类，把K设为本轮批次数，再在每个簇中选择分数最高的1到2条。这样选出的批次既包含模型拿不准的样本，又覆盖不同数据区域。对于文本任务，还可以在嵌入空间做最大边际多样性搜索，逐条加入与已选集合距离最远的样本。

噪声标注对主动学习的影响常被低估。主动学习天生偏向选择模型不确定的样本，而这类样本往往也是人工标注最容易出错的地方。一旦错误标注进入训练集，下一轮模型会更倾向于沿着错误边界继续挑选同类噪声，形成恶性循环。缓解手段包括：在查询界面上允许标注员标记不确定或无法判断的选项；对每条新标注样本记录标注者ID和耗时；当某条样本在后续轮次仍被反复选中时，触发复核流程。还可以在训练时使用标签平滑或鲁棒损失函数，降低个别错误标签对模型边界的干扰。

停止准则同样需要提前设计。主动学习不需要无限循环，可以用验证集性能提升幅度作为退出条件，如果连续两轮提升低于千分之一就停止查询。也可以设置总标注预算，预算耗尽后进入人工复盘。无论哪种方式，都应该在每一轮记录查询数量、模型指标和已标注池构成，这些日志能帮助定位是策略失效还是数据质量问题。把上述机制组合起来，主动学习Agent才能从演示级脚本变成真正节省标注成本的工程组件。