任务同质批处理任务同质批处理是另一个有的因素。该技术构建仅由来自单个任务的样本组成的批次。因此，批次内否定变得更具挑战性，因为批次内的其他示例与测试用例场景非常相似。实验结果表明，使用任务同质批处理后，检索任务的性能显著增强，特别是增加了 0.8 个点。
硬底片的影响
训练嵌入模型的一种有效方法是使用“困难负样本”——模型难以区分 手机号码数据 的数据点与正样本。默认情况下，我们使用bge-base 模型来挖掘困难负样本。
消除假阴性的策略
检查挖掘出的负样本后，相当一部分似乎是假负样本，这意味着它们在语义上与相应的正样本文档相同，但被错误地视为负样本。准确高效地选择硬负样本的策略对于嵌入训练至关重要，因为它有助于模型识别与查询最相关的文档。
结果表明，30 到 100 之间的范围可以提高性能。这意味着排名靠前的文档（0-100）可能包含一些假阴性，而排名较低的文档（50-100）缺乏足够的挑战性。因此，在对比训练中，找到这些因素之间的正确平衡非常重要。
对比学习中使用的硬性否
定的数量会显著影响模型的学习动态。包含更多硬性否定提示可使模型区分更细微的区别，从而可能增强其泛化能力。尽管如此，我们的研究结果表明，无论使用多少硬性否定，训练过程都保持相对稳定。
事实证明，利用较大的批次大小是有利的，这主要是因为可 ig 号码 以包含更具挑战性的负面示例。我们利用gradcache来促进大批次大小的训练。我们进行了批次大小为 128、2,048 和 8,192 的实验，以评估批次大小的影响。与传统用于微调的较小批次大小（ 例如 128）相比，利用较大的 真实可靠地服务于 批次大小（2k+）可以带来显着的改进。但是，将批次大小从 2048 扩大到 8192 不会导致性能发生任何显着变化。