操作指南本节中的每个指南都针对您作为有经验的用户在使用 Ragas 时可能遇到的实际问题提供了专注的解决方案。这些指南设计得简洁直接为您的问题提供快速解决方案。我们假设您对 Ragas 的概念有基本了解且能够熟练使用。如果不是请先浏览 快速入门 Get Started部分。从 v0.1 迁移到 v0.2v0.2 标志着 Ragas 从 RAG 管道评估库向更通用的库过渡的开始您可以使用它来评估您构建的任何 LLM 应用程序。这意味着我们必须对库进行一些根本性的更改这些更改将破坏您的工作流程。希望本指南能使过渡尽可能容易。概述评估数据集Evaluation Dataset指标Metrics测试集生成Testset Generation提示对象Prompt Object评估数据集我们已经从使用 HuggingFace Datasets 迁移到我们自己的 EvaluationDataset 。您可以从核心概念部分关于 EvaluationDataset 和 EvaluationSample 的信息。您可以轻松转换fromragasimportEvaluationDataset,SingleTurnSample hf_dataset...# your huggingface evaluation dataseteval_datasetEvaluationDataset.from_hf_dataset(hf_dataset)# save eval dataseteval_dataset.to_csv(path/to/save/dataset.csv)# load eva dataseteval_datasetEvaluationDataset.from_csv(path/to/save/dataset.csv)指标所有默认指标仍然支持并且添加了许多新指标。查看文档页面获取完整列表。但是指标的使用方式有几个变化首先现在更推荐使用您选择的评估器 LLM 初始化指标而不是将初始化版本的指标传入 evaluate() 。这避免了关于在哪里使用哪些 LLM 的许多混淆。fromragas.metricsimportfaithfullness# old way, not recommended but still supported till v0.3fromragas.metricsimportFaithfulness# preffered wayfaithfulness_metricFaithfulness(llmyour_evaluator_llm)其次 [metrics.ascore][ragas.metrics.base.Metric.ascore] 现已弃用改为使用 metrics.single_score 。您可以这样进行过渡# create a Single Turn SamplefromragasimportSingleTurnSample sampleSingleTurnSample(user_inputuser query,responseresponse from your pipeline,retrieved_contexts[retrieved,contexts,from your pipeline])# Init the metricfromragas.metricsimportFaithfulness faithfulness_metricFaithfulness(llmyour_evaluator_llm)awaitfaithfulness_metric.single_turn_ascore(sample)输出1测试集生成测试集生成已重新设计以更加节省成本。如果您之前使用端到端工作流请查看入门指南。显著变化移除了 Docstore改用新的知识图谱Knowledge Graph添加了 Transforms将传入的文档转换为丰富的知识图谱使用 Synthesizer 对象更加可定制。另请参考文档。新工作流使成本大大降低并且中间状态可以轻松保存这可能有点粗糙但如果您确实需要帮助请随时在此聊天或提及我们很乐意提供帮助 提示对象所有提示都已重写为使用 PydanticPrompts 它基于 BasePrompt 对象。如果您使用的是旧的 Prompt 对象您将需要将其升级到新的对象请查看文档了解如何操作。如何创建新提示的指南更改的 GitHub PR需要进一步帮助如果您有任何其他问题请随时在此 GitHub issue 中发布或通过 cal.com 联系我们。