8000 关于计算评价指标 · Issue #56 · thu-coai/CDial-GPT · GitHub
[go: up one dir, main page]

Skip to content

关于计算评价指标 #56

Open
Open

Description

@huanghonggit

请问已经生成STC_result.txt,想生成像Readme 评价指标表格中的 PPL | BLEU-2 | BLEU-4 | Dist-1 | Dist-2 | Greedy Matching | Embedding Average 这些值,请问你们是怎么计算的?

Activity

  1. lemon234071 commented on Feb 23, 2021

    @lemon234071
    Member

    您看下历史的issue, 这些指标的计算方式之前有人问过#53

  2. Ultraman-Orb commented on Mar 21, 2021

    @Ultraman-Orb

    您好,请问在评测指标中(infer.py)中的超参数,您设置的max_history是多少,我在评测中,max_history是30,top_p是0,temperate是1,导致bleu2是34.多,bleu4是17点多,所以想请问一下您设置的max_history是多少,以及还想确认一下其他的参数,看看是不是参数的问题,测试集采用的是stc_test.json。

  3. lemon234071 commented on Mar 21, 2021

    @lemon234071
    Member

    您好,请问在评测指标中(infer.py)中的超参数,您设置的max_history是多少,我在评测中,max_history是30,top_p是0,temperate是1,导致bleu2是34.多,bleu4是17点多,所以想请问一下您设置的max_history是多少,以及还想确认一下其他的参数,看看是不是参数的问题,测试集采用的是stc_test.json。

    论文里有报呀,用的STC只有pair级别数据, 所以max_history不影响结果, top p 0.9, temperature 0.7。

  4. Jiaxu-Zhao commented on Feb 9, 2022

    @Jiaxu-Zhao

    请问已经生成STC_result.txt,想生成像Readme 评价指标表格中的 PPL | BLEU-2 | BLEU-4 | Dist-1 | Dist-2 | Greedy Matching | Embedding Average 这些值,请问你们是怎么计算的?

    请问你评测指标的代码的结果符合论文里的了吗,可以分享一下吗,我的一直些问题。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions

      0