Avaliação dos métodos de correção do Julgamento

Relatório gerado: 28/10/2020, 15:22:08

Sistema: Petroles v1_udpipe.conllu

Sistema guia (pré-correções): Petroles v1_stanza.conllu

Golden (pós-correções): Petroles v1.conllu

Características do corpus

Arquivos	Sentenças	Tokens
Sistema	652	22288
Sistema guia	652	22288
Golden	652	22288

Sentenças comparáveis	652
Tokens corrigidos	4394

Avaliação dos métodos

Método	Erros detectados (por token)	Verdadeiro Positivo	Falso Positivo	Precisão	Abrangência	Erros repetidos	Repetidos VP
Nenhum método	1795
Erros de validação	307	176	131	57.33%	4.01%	Não se aplica	Não se aplica
Erros de validação + Matriz de confusão	4521	2556	1965	56.54%	58.17%	175	116
Erros de validação + N-grams gramaticais	307	176	131	57.33%	4.01%	0	0
Erros de validação + N-grams lexicais	618	316	302	51.13%	7.19%	1	1
Erros de validação + Matriz de confusão + N-grams gramaticais	4521	2556	1965	56.54%	58.17%	0	0
Erros de validação + Matriz de confusão + N-grams lexicais	4708	2599	2109	55.20%	59.15%	1	1
Erros de validação + N-grams gramaticais + N-grams lexicais	618	316	302	51.13%	7.19%	0	0
Erros de validação + Matriz de confusão + N-grams gramaticais + N-grams lexicais	4708	2599	2109	55.20%	59.15%	0	0
Matriz de confusão	4389	2496	1893	56.87%	56.80%	Não se aplica	Não se aplica
Matriz de confusão + N-grams gramaticais	4389	2496	1893	56.87%	56.80%	0	0
Matriz de confusão + N-grams lexicais	4576	2539	2037	55.49%	57.78%	125	98
Matriz de confusão + N-grams gramaticais + N-grams lexicais	4576	2539	2037	55.49%	57.78%	0	0
N-grams gramaticais	0	0	0	0.00%	0.00%	Não se aplica	Não se aplica
N-grams gramaticais + N-grams lexicais	312	141	171	45.19%	3.21%	0	0
N-grams lexicais	312	141	171	45.19%	3.21%	Não se aplica	Não se aplica

Detalhe: matriz de confusão

Coluna	Divergências (por coluna)	sistema_guia estava correto (não é erro)	Não é erro %	sistema estava correto (erro de fato)	Ninguém estava correto (erro de fato)	Erro de fato %	sistema estava correto %	Precisa de correção cuidadosa (ninguém estava correto)
dephead	3433	2021	58.87%	613	799	41.13%	17.86%	23.27%
deprel	2095	1201	57.33%	423	471	42.67%	20.19%	22.48%
upos	819	499	60.93%	184	136	39.07%	22.47%	16.61%
Total	6347	3721	58.63%	1220	1406	41.37%	19.22%	22.15%

Coluna	Convergências (por coluna)	Convergência correta	Convergência incorreta	Confiança das convergências
dephead	20449	19374	1075	94.74%
deprel	21787	20766	1021	95.31%
upos	23063	22702	361	98.43%
Total	65299	62842	2457	96.24%

	Dos 2058 tokens com erros de fato, o método encontrou:	Dos 1826 tokens com convergência incorreta, o método encontrou:
Nenhum método (apenas a matriz)	1874 (91.06%)	1714 (93.87%)
Erros de validação	100 (4.86%)	73 (4.00%)
N-grams gramaticais	0 (0.00%)	0 (0.00%)
N-grams lexicais	85 (4.13%)	39 (2.14%)

Detalhe: n-grams inconsistentes

Tipo	Pares	Pares com pelo menos 1 token corrigido	Precisão	Pares em que o pai tem mesmo deprel (dependency context)	Pares com pelo menos 1 token corrigido quando pai tem mesmo deprel	Precisão quando o pai nos pares tem mesmo deprel	Abrangência do "dependency context" (comparando com os pares sem restrição de deprel no pai)
N-grams gramaticais	0	0	0.00%	0	0	0.00%	0.00%
N-grams lexicais	107	77	71.96%	71	44	61.97%	41.12%