Avaliação dos métodos de correção do Julgamento

Sistema: ../50R/golden/50R_udpipe.conllu

Sistema guia (pré-correções): ../50R/golden/50R_stanza.conllu

Golden (pós-correções): ../50R/golden/50R_golden.conllu

Características do corpus

Arquivos	Sentenças	Tokens
Sistema	379	13293
Sistema guia	379	13293
Golden	379	13293

Sentenças comparáveis	379
Tokens corrigidos	2387

Avaliação dos métodos

Método	Erros detectados (por token)	Verdadeiro Positivo	Falso Positivo	Precisão	Abrangência	Erros repetidos	Repetidos VP
Nenhum método	1045
Erros de validação	194	109	85	56.18556701030928%	4.566401340594889%	Não se aplica	Não se aplica
Erros de validação + Matriz de confusão	2363	1314	1049	55.60727888277613%	55.04817762882279%	106	77
Erros de validação + N-grams gramaticais	194	109	85	56.18556701030928%	4.566401340594889%	0	0
Erros de validação + N-grams lexicais	328	153	175	46.646341463414636%	6.4097193129451195%	0	0
Erros de validação + Matriz de confusão + N-grams gramaticais	2363	1314	1049	55.60727888277613%	55.04817762882279%	0	0
Erros de validação + Matriz de confusão + N-grams lexicais	2474	1342	1132	54.244139046079226%	56.22119815668203%	0	0
Erros de validação + N-grams gramaticais + N-grams lexicais	328	153	175	46.646341463414636%	6.4097193129451195%	0	0
Erros de validação + Matriz de confusão + N-grams gramaticais + N-grams lexicais	2474	1342	1132	54.244139046079226%	56.22119815668203%	0	0
Matriz de confusão	2275	1282	993	56.35164835164835%	53.7075827398408%	Não se aplica	Não se aplica
Matriz de confusão + N-grams gramaticais	2275	1282	993	56.35164835164835%	53.7075827398408%	0	0
Matriz de confusão + N-grams lexicais	2386	1310	1076	54.90360435875943%	54.88060326770004%	23	16
Matriz de confusão + N-grams gramaticais + N-grams lexicais	2386	1310	1076	54.90360435875943%	54.88060326770004%	0	0
N-grams gramaticais	0	0	0	0%	0.0%	Não se aplica	Não se aplica
N-grams gramaticais + N-grams lexicais	134	44	90	32.83582089552239%	1.8433179723502304%	0	0
N-grams lexicais	134	44	90	32.83582089552239%	1.8433179723502304%	Não se aplica	Não se aplica

Detalhe: matriz de confusão

Coluna	Divergências (por coluna)	sistema_guia estava correto (não é erro)	Não é erro %	sistema estava correto (erro de fato)	Ninguém estava correto (erro de fato)	Erro de fato %	sistema estava correto %	Precisa de correção cuidadosa (ninguém estava correto)
deprel	1110	617	55.585585585585584%	289	204	44.414414414414416%	26.036036036036037%	18.37837837837838%
dephead	1815	1029	56.69421487603306%	387	399	43.30578512396694%	21.322314049586776%	21.983471074380166%
upos	349	180	51.57593123209169%	115	54	48.42406876790831%	32.9512893982808%	15.472779369627506%
Total	3274	1826	55.77275503970678%	791	657	44.22724496029322%	24.160048869883934%	20.067196090409286%

Coluna	Convergências (por coluna)	Convergência correta	Convergência incorreta	Confiança das convergências
deprel	13188	12709	479	96.36791022141341%
dephead	12483	11900	583	95.32964832171754%
upos	13949	13719	230	98.35113628217077%
Total	39620	38328	1292	96.73902069661787

	Dos 1093 tokens com erros de fato, o método encontrou:	Dos 986 tokens com convergência incorreta, o método encontrou:
Nenhum método (apenas a matriz)	1015 (92.86367795059469%)	914 (92.69776876267748%)
Erros de validação	63 (5.763952424519671%)	49 (4.9695740365111565%)
N-grams gramaticais	0 (0.0%)	0 (0.0%)
N-grams lexicais	15 (1.3723696248856359%)	23 (2.332657200811359%)