Avaliação dos métodos de correção do Julgamento

Relatório gerado: 10/04/2021, 15:22:05

Sistema: Petroles_2_udpipe.conllu

Sistema guia (pré-correções): Petroles_2_A.conllu

Golden (pós-correções): Petroles_2_golden.conllu

Características do corpus

Arquivos	Sentenças	Tokens
Sistema	166	5248
Sistema guia	166	5248
Golden	166	5248

Sentenças comparáveis	166
Tokens corrigidos	1349

Avaliação dos métodos

Método	Erros detectados (por token)	Verdadeiro Positivo	Falso Positivo	Precisão	Abrangência	Erros repetidos	Repetidos VP
Nenhum método	862
Erros de validação	173	131	42	75.72%	9.71%	Não se aplica	Não se aplica
Erros de validação + Matriz de confusão	1003	478	525	47.66%	35.43%	105	92
Erros de validação + N-grams gramaticais	173	131	42	75.72%	9.71%	0	0
Erros de validação + N-grams lexicais	207	149	58	71.98%	11.05%	1	1
Erros de validação + Matriz de confusão + N-grams gramaticais	1003	478	525	47.66%	35.43%	0	0
Erros de validação + Matriz de confusão + N-grams lexicais	1026	487	539	47.47%	36.10%	0	0
Erros de validação + N-grams gramaticais + N-grams lexicais	207	149	58	71.98%	11.05%	0	0
Erros de validação + Matriz de confusão + N-grams gramaticais + N-grams lexicais	1026	487	539	47.47%	36.10%	0	0
Matriz de confusão	935	439	496	46.95%	32.54%	Não se aplica	Não se aplica
Matriz de confusão + N-grams gramaticais	935	439	496	46.95%	32.54%	0	0
Matriz de confusão + N-grams lexicais	959	449	510	46.82%	33.28%	11	9
Matriz de confusão + N-grams gramaticais + N-grams lexicais	959	449	510	46.82%	33.28%	0	0
N-grams gramaticais	0	0	0	0.00%	0.00%	Não se aplica	Não se aplica
N-grams gramaticais + N-grams lexicais	35	19	16	54.29%	1.41%	0	0
N-grams lexicais	35	19	16	54.29%	1.41%	Não se aplica	Não se aplica

Detalhe: matriz de confusão

Coluna	Divergências (por coluna)	sistema_guia estava correto (não é erro)	Não é erro %	sistema estava correto (erro de fato)	Ninguém estava correto (erro de fato)	Erro de fato %	sistema estava correto %	Precisa de correção cuidadosa (ninguém estava correto)
deprel	557	312	56.01%	136	109	43.99%	24.42%	19.57%
dephead	614	378	61.56%	132	104	38.44%	21.50%	16.94%
upos	230	227	98.70%	1	2	1.30%	0.43%	0.87%
Total	1401	917	65.45%	269	215	34.55%	19.20%	15.35%

Coluna	Convergências (por coluna)	Convergência correta	Convergência incorreta	Confiança das convergências
deprel	5126	4767	359	93.00%
dephead	5069	4661	408	91.95%
upos	5453	5447	6	99.89%
Total	15648	14875	773	95.06%

	Dos 404 tokens com erros de fato, o método encontrou:	Dos 547 tokens com convergência incorreta, o método encontrou:
Nenhum método (apenas a matriz)	308 (76.24%)	490 (89.58%)
Erros de validação	88 (21.78%)	46 (8.41%)
N-grams gramaticais	0 (0.00%)	0 (0.00%)
N-grams lexicais	8 (1.98%)	12 (2.19%)

Detalhe: n-grams inconsistentes

Tipo	Pares	Pares com pelo menos 1 token corrigido	Precisão	Pares em que o pai tem mesmo deprel (dependency context)	Pares com pelo menos 1 token corrigido quando pai tem mesmo deprel	Precisão quando o pai nos pares tem mesmo deprel	Abrangência do "dependency context" (comparando com os pares sem restrição de deprel no pai)
N-grams gramaticais	0	0	0.00%	0	0	0.00%	0.00%
N-grams lexicais	12	12	100.00%	23	17	73.91%	141.67%