Avaliação dos métodos de correção do Julgamento

Relatório gerado: 28/10/2020, 15:20:35

Sistema: Petroles v1_udpipe.conllu

Sistema guia (pré-correções): Petroles v1_stanza.conllu

Golden (pós-correções): Petroles v1.conllu

Características do corpus

Arquivos	Sentenças	Tokens
Sistema	652	22288
Sistema guia	652	22288
Golden	652	22288

Sentenças comparáveis	652
Tokens corrigidos	4394

Avaliação dos métodos

Método	Erros detectados (por token)	Verdadeiro Positivo	Falso Positivo	Precisão	Abrangência	Erros repetidos	Repetidos VP
Nenhum método	1812
Erros de validação	298	169	129	56.71%	3.85%	Não se aplica	Não se aplica
Erros de validação + Matriz de confusão	4518	2555	1963	56.55%	58.15%	169	110
Erros de validação + N-grams gramaticais	298	169	129	56.71%	3.85%	0	0
Erros de validação + N-grams lexicais	488	271	217	55.53%	6.17%	1	1
Erros de validação + Matriz de confusão + N-grams gramaticais	4518	2555	1963	56.55%	58.15%	0	0
Erros de validação + Matriz de confusão + N-grams lexicais	4612	2582	2030	55.98%	58.76%	1	1
Erros de validação + N-grams gramaticais + N-grams lexicais	488	271	217	55.53%	6.17%	0	0
Erros de validação + Matriz de confusão + N-grams gramaticais + N-grams lexicais	4612	2582	2030	55.98%	58.76%	0	0
Matriz de confusão	4389	2496	1893	56.87%	56.80%	Não se aplica	Não se aplica
Matriz de confusão + N-grams gramaticais	4389	2496	1893	56.87%	56.80%	0	0
Matriz de confusão + N-grams lexicais	4483	2523	1960	56.28%	57.42%	97	76
Matriz de confusão + N-grams gramaticais + N-grams lexicais	4483	2523	1960	56.28%	57.42%	0	0
N-grams gramaticais	0	0	0	0.00%	0.00%	Não se aplica	Não se aplica
N-grams gramaticais + N-grams lexicais	191	103	88	53.93%	2.34%	0	0
N-grams lexicais	191	103	88	53.93%	2.34%	Não se aplica	Não se aplica

Detalhe: matriz de confusão

Coluna	Divergências (por coluna)	sistema_guia estava correto (não é erro)	Não é erro %	sistema estava correto (erro de fato)	Ninguém estava correto (erro de fato)	Erro de fato %	sistema estava correto %	Precisa de correção cuidadosa (ninguém estava correto)
dephead	3433	2021	58.87%	613	799	41.13%	17.86%	23.27%
deprel	2095	1201	57.33%	423	471	42.67%	20.19%	22.48%
upos	819	499	60.93%	184	136	39.07%	22.47%	16.61%
Total	6347	3721	58.63%	1220	1406	41.37%	19.22%	22.15%

Coluna	Convergências (por coluna)	Convergência correta	Convergência incorreta	Confiança das convergências
dephead	20449	19374	1075	94.74%
deprel	21787	20766	1021	95.31%
upos	23063	22702	361	98.43%
Total	65299	62842	2457	96.24%

	Dos 2058 tokens com erros de fato, o método encontrou:	Dos 1826 tokens com convergência incorreta, o método encontrou:
Nenhum método (apenas a matriz)	1896 (92.13%)	1727 (94.58%)
Erros de validação	94 (4.57%)	70 (3.83%)
N-grams gramaticais	0 (0.00%)	0 (0.00%)
N-grams lexicais	69 (3.35%)	29 (1.59%)

Detalhe: n-grams inconsistentes

Tipo	Pares	Pares com pelo menos 1 token corrigido	Precisão	Pares em que o pai tem mesmo deprel (dependency context)	Pares com pelo menos 1 token corrigido quando pai tem mesmo deprel	Precisão quando o pai nos pares tem mesmo deprel	Abrangência do "dependency context" (comparando com os pares sem restrição de deprel no pai)
N-grams gramaticais	0	0	0.00%	0	0	0.00%	0.00%
N-grams lexicais	70	55	78.57%	43	32	74.42%	45.71%