Avaliação dos métodos de correção do Julgamento

Sistema: ../50R/golden/50R_udpipe.conllu

Sistema guia (pré-correções): ../50R/golden/50R_jptdp.conllu

Golden (pós-correções): ../50R/golden/50R_golden.conllu

Características do corpus

ArquivosSentençasTokens
Sistema37913293
Sistema guia37913293
Golden37913293
Sentenças comparáveis379
Tokens corrigidos1949

Avaliação dos métodos

MétodoErros detectados (por token)Verdadeiro PositivoFalso PositivoPrecisãoAbrangênciaErros repetidosRepetidos VP
Nenhum método513
Erros de validação46135510677.00650759219089%18.214468958440225%Não se aplicaNão se aplica
Erros de validação + Matriz de confusão27611419134251.39442231075697%72.8065674704977%367329
Erros de validação + N-grams gramaticais46135510677.00650759219089%18.214468958440225%00
Erros de validação + N-grams lexicais59338920465.59865092748736%19.95895330938943%20
Erros de validação + Matriz de confusão + N-grams gramaticais27611419134251.39442231075697%72.8065674704977%00
Erros de validação + Matriz de confusão + N-grams lexicais28661436143050.10467550593161%73.6788096459723%00
Erros de validação + N-grams gramaticais + N-grams lexicais59338920465.59865092748736%19.95895330938943%00
Erros de validação + Matriz de confusão + N-grams gramaticais + N-grams lexicais28661436143050.10467550593161%73.6788096459723%00
Matriz de confusão26671393127452.23097112860892%71.47255002565419%Não se aplicaNão se aplica
Matriz de confusão + N-grams gramaticais26671393127452.23097112860892%71.47255002565419%00
Matriz de confusão + N-grams lexicais27741410136450.829127613554434%72.34479220112878%2717
Matriz de confusão + N-grams gramaticais + N-grams lexicais27741410136450.829127613554434%72.34479220112878%00
N-grams gramaticais0000%0.0%Não se aplicaNão se aplica
N-grams gramaticais + N-grams lexicais1343410025.37313432835821%1.7444843509492047%00
N-grams lexicais1343410025.37313432835821%1.7444843509492047%Não se aplicaNão se aplica

Detalhe: matriz de confusão

ColunaDivergências (por coluna)sistema_guia estava correto (não é erro)Não é erro %sistema estava correto (erro de fato)Ninguém estava correto (erro de fato)Erro de fato %sistema estava correto %Precisa de correção cuidadosa (ninguém estava correto)
dephead2080122558.89423076923077%49236341.10576923076923%23.653846153846153%17.451923076923077%
deprel128763549.339549339549336%40524750.660450660450664%31.46853146853147%19.19191919191919%
upos49624148.58870967741935%2074851.41129032258065%41.733870967741936%9.67741935483871%
Total3863210154.387781516955734%110465845.612218483044266%28.578824747605488%17.03339373543878%

ColunaConvergências (por coluna)Convergência corretaConvergência incorretaConfiança das convergências
dephead122181179542396.53789490915044%
deprel130111259341896.7873337944816%
upos138021362717598.7320678162585%
Total3903138015101697.39694089313622

Dos 1210 tokens com erros de fato, o método encontrou:Dos 749 tokens com convergência incorreta, o método encontrou:
Nenhum método (apenas a matriz)965 (79.75206611570248%)649 (86.64886515353805%)
Erros de validação229 (18.925619834710744%)83 (11.081441922563418%)
N-grams gramaticais0 (0.0%)0 (0.0%)
N-grams lexicais16 (1.322314049586777%)17 (2.2696929238985315%)