Avaliação dos métodos de correção do Julgamento

Relatório gerado: 10/04/2021, 15:23:31

Sistema: Petroles_2_udpipe.conllu

Sistema guia (pré-correções): Petroles_2_C.conllu

Golden (pós-correções): Petroles_2_golden.conllu

Características do corpus

Arquivos	Sentenças	Tokens
Sistema	166	5248
Sistema guia	166	5248
Golden	166	5248

Sentenças comparáveis	166
Tokens corrigidos	1327

Avaliação dos métodos

Método	Erros detectados (por token)	Verdadeiro Positivo	Falso Positivo	Precisão	Abrangência	Erros repetidos	Repetidos VP
Nenhum método	881
Erros de validação	156	109	47	69.87%	8.21%	Não se aplica	Não se aplica
Erros de validação + Matriz de confusão	973	441	532	45.32%	33.23%	83	71
Erros de validação + N-grams gramaticais	156	109	47	69.87%	8.21%	0	0
Erros de validação + N-grams lexicais	187	124	63	66.31%	9.34%	0	0
Erros de validação + Matriz de confusão + N-grams gramaticais	973	441	532	45.32%	33.23%	0	0
Erros de validação + Matriz de confusão + N-grams lexicais	992	446	546	44.96%	33.61%	0	0
Erros de validação + N-grams gramaticais + N-grams lexicais	187	124	63	66.31%	9.34%	0	0
Erros de validação + Matriz de confusão + N-grams gramaticais + N-grams lexicais	992	446	546	44.96%	33.61%	0	0
Matriz de confusão	900	403	497	44.78%	30.37%	Não se aplica	Não se aplica
Matriz de confusão + N-grams gramaticais	900	403	497	44.78%	30.37%	0	0
Matriz de confusão + N-grams lexicais	919	408	511	44.40%	30.75%	12	10
Matriz de confusão + N-grams gramaticais + N-grams lexicais	919	408	511	44.40%	30.75%	0	0
N-grams gramaticais	0	0	0	0.00%	0.00%	Não se aplica	Não se aplica
N-grams gramaticais + N-grams lexicais	31	15	16	48.39%	1.13%	0	0
N-grams lexicais	31	15	16	48.39%	1.13%	Não se aplica	Não se aplica

Detalhe: matriz de confusão

Coluna	Divergências (por coluna)	sistema_guia estava correto (não é erro)	Não é erro %	sistema estava correto (erro de fato)	Ninguém estava correto (erro de fato)	Erro de fato %	sistema estava correto %	Precisa de correção cuidadosa (ninguém estava correto)
deprel	527	315	59.77%	116	96	40.23%	22.01%	18.22%
dephead	595	367	61.68%	123	105	38.32%	20.67%	17.65%
upos	230	227	98.70%	1	2	1.30%	0.43%	0.87%
Total	1352	909	67.23%	240	203	32.77%	17.75%	15.01%

Coluna	Convergências (por coluna)	Convergência correta	Convergência incorreta	Confiança das convergências
deprel	5156	4787	369	92.84%
dephead	5088	4670	418	91.78%
upos	5453	5447	6	99.89%
Total	15697	14904	793	94.95%

	Dos 367 tokens com erros de fato, o método encontrou:	Dos 559 tokens com convergência incorreta, o método encontrou:
Nenhum método (apenas a matriz)	294 (80.11%)	502 (89.80%)
Erros de validação	65 (17.71%)	49 (8.77%)
N-grams gramaticais	0 (0.00%)	0 (0.00%)
N-grams lexicais	8 (2.18%)	8 (1.43%)

Detalhe: n-grams inconsistentes

Tipo	Pares	Pares com pelo menos 1 token corrigido	Precisão	Pares em que o pai tem mesmo deprel (dependency context)	Pares com pelo menos 1 token corrigido quando pai tem mesmo deprel	Precisão quando o pai nos pares tem mesmo deprel	Abrangência do "dependency context" (comparando com os pares sem restrição de deprel no pai)
N-grams gramaticais	0	0	0.00%	0	0	0.00%	0.00%
N-grams lexicais	11	10	90.91%	19	12	63.16%	109.09%