Avaliação dos métodos de correção do Julgamento

Relatório gerado: 10/04/2021, 15:22:55

Sistema: Petroles_2_udpipe.conllu

Sistema guia (pré-correções): Petroles_2_B.conllu

Golden (pós-correções): Petroles_2_golden.conllu

Características do corpus

Arquivos	Sentenças	Tokens
Sistema	166	5248
Sistema guia	166	5248
Golden	166	5248

Sentenças comparáveis	166
Tokens corrigidos	1272

Avaliação dos métodos

Método	Erros detectados (por token)	Verdadeiro Positivo	Falso Positivo	Precisão	Abrangência	Erros repetidos	Repetidos VP
Nenhum método	852
Erros de validação	167	119	48	71.26%	9.36%	Não se aplica	Não se aplica
Erros de validação + Matriz de confusão	998	414	584	41.48%	32.55%	94	79
Erros de validação + N-grams gramaticais	167	119	48	71.26%	9.36%	0	0
Erros de validação + N-grams lexicais	195	132	63	67.69%	10.38%	1	1
Erros de validação + Matriz de confusão + N-grams gramaticais	998	414	584	41.48%	32.55%	0	0
Erros de validação + Matriz de confusão + N-grams lexicais	1015	420	595	41.38%	33.02%	0	0
Erros de validação + N-grams gramaticais + N-grams lexicais	195	132	63	67.69%	10.38%	0	0
Erros de validação + Matriz de confusão + N-grams gramaticais + N-grams lexicais	1015	420	595	41.38%	33.02%	0	0
Matriz de confusão	925	374	551	40.43%	29.40%	Não se aplica	Não se aplica
Matriz de confusão + N-grams gramaticais	925	374	551	40.43%	29.40%	0	0
Matriz de confusão + N-grams lexicais	943	381	562	40.40%	29.95%	11	7
Matriz de confusão + N-grams gramaticais + N-grams lexicais	943	381	562	40.40%	29.95%	0	0
N-grams gramaticais	0	0	0	0.00%	0.00%	Não se aplica	Não se aplica
N-grams gramaticais + N-grams lexicais	29	14	15	48.28%	1.10%	0	0
N-grams lexicais	29	14	15	48.28%	1.10%	Não se aplica	Não se aplica

Detalhe: matriz de confusão

Coluna	Divergências (por coluna)	sistema_guia estava correto (não é erro)	Não é erro %	sistema estava correto (erro de fato)	Ninguém estava correto (erro de fato)	Erro de fato %	sistema estava correto %	Precisa de correção cuidadosa (ninguém estava correto)
deprel	545	361	66.24%	105	79	33.76%	19.27%	14.50%
dephead	626	416	66.45%	118	92	33.55%	18.85%	14.70%
upos	230	227	98.70%	1	2	1.30%	0.43%	0.87%
Total	1401	1004	71.66%	224	173	28.34%	15.99%	12.35%

Coluna	Convergências (por coluna)	Convergência correta	Convergência incorreta	Confiança das convergências
deprel	5138	4798	340	93.38%
dephead	5057	4675	382	92.45%
upos	5453	5447	6	99.89%
Total	15648	14920	728	95.35%

	Dos 341 tokens com erros de fato, o método encontrou:	Dos 519 tokens com convergência incorreta, o método encontrou:
Nenhum método (apenas a matriz)	259 (75.95%)	465 (89.60%)
Erros de validação	76 (22.29%)	46 (8.86%)
N-grams gramaticais	0 (0.00%)	0 (0.00%)
N-grams lexicais	6 (1.76%)	9 (1.73%)

Detalhe: n-grams inconsistentes

Tipo	Pares	Pares com pelo menos 1 token corrigido	Precisão	Pares em que o pai tem mesmo deprel (dependency context)	Pares com pelo menos 1 token corrigido quando pai tem mesmo deprel	Precisão quando o pai nos pares tem mesmo deprel	Abrangência do "dependency context" (comparando com os pares sem restrição de deprel no pai)
N-grams gramaticais	0	0	0.00%	0	0	0.00%	0.00%
N-grams lexicais	11	10	90.91%	20	13	65.00%	118.18%