Avaliação dos métodos de correção do Julgamento

Sistema: bosque-2.6-test/bosque-ud-2.6-test-udpipe.conllu

Sistema guia (pré-correções): bosque-2.6-test/bosque-ud-2.6-test-stanza.conllu

Golden (pós-correções): bosque-2.6-test/bosque-ud-2.6-test.conllu

Características do corpus

Arquivos	Sentenças	Tokens
Sistema	476	10202
Sistema guia	476	10202
Golden	476	10202

Sentenças comparáveis	476
Tokens corrigidos	1589

Avaliação dos métodos

Método	Erros detectados (por token)	Verdadeiro Positivo	Falso Positivo	Precisão	Abrangência	Erros repetidos	Repetidos VP
Nenhum método	750
Erros de validação	160	59	101	36.875%	3.713027061044682%	Não se aplica	Não se aplica
Erros de validação + Matriz de confusão	1891	836	1055	44.209413008989955%	52.6117054751416%	82	43
Erros de validação + N-grams gramaticais	160	59	101	36.875%	3.713027061044682%	0	0
Erros de validação + N-grams lexicais	180	64	116	35.55555555555556%	4.027690371302706%	0	0
Erros de validação + Matriz de confusão + N-grams gramaticais	1891	836	1055	44.209413008989955%	52.6117054751416%	0	0
Erros de validação + Matriz de confusão + N-grams lexicais	1908	839	1069	43.9727463312369%	52.800503461296415%	0	0
Erros de validação + N-grams gramaticais + N-grams lexicais	180	64	116	35.55555555555556%	4.027690371302706%	0	0
Erros de validação + Matriz de confusão + N-grams gramaticais + N-grams lexicais	1908	839	1069	43.9727463312369%	52.800503461296415%	0	0
Matriz de confusão	1813	820	993	45.22890237175952%	51.604782882315924%	Não se aplica	Não se aplica
Matriz de confusão + N-grams gramaticais	1813	820	993	45.22890237175952%	51.604782882315924%	0	0
Matriz de confusão + N-grams lexicais	1830	823	1007	44.97267759562842%	51.793580868470734%	3	2
Matriz de confusão + N-grams gramaticais + N-grams lexicais	1830	823	1007	44.97267759562842%	51.793580868470734%	0	0
N-grams gramaticais	0	0	0	0%	0.0%	Não se aplica	Não se aplica
N-grams gramaticais + N-grams lexicais	20	5	15	25.0%	0.3146633102580239%	0	0
N-grams lexicais	20	5	15	25.0%	0.3146633102580239%	Não se aplica	Não se aplica

Detalhe: matriz de confusão

Coluna	Divergências (por coluna)	sistema_guia estava correto (não é erro)	Não é erro %	sistema estava correto (erro de fato)	Ninguém estava correto (erro de fato)	Erro de fato %	sistema estava correto %	Precisa de correção cuidadosa (ninguém estava correto)
deprel	868	553	63.70967741935484%	180	135	36.29032258064516%	20.737327188940093%	15.55299539170507%
dephead	1407	910	64.67661691542288%	256	241	35.32338308457712%	18.194740582800286%	17.12864250177683%
upos	294	188	63.945578231292515%	91	15	36.054421768707485%	30.952380952380953%	5.1020408163265305%
Total	2569	1651	64.26625145971195%	527	391	35.73374854028805%	20.51381860646166%	15.219929933826391%

Coluna	Convergências (por coluna)	Convergência correta	Convergência incorreta	Confiança das convergências
deprel	10078	9717	361	96.41794006747371%
dephead	9539	9140	399	95.81717161128%
upos	10652	10488	164	98.46038302666166%
Total	30269	29345	924	96.94737189864217

	Dos 717 tokens com erros de fato, o método encontrou:	Dos 709 tokens com convergência incorreta, o método encontrou:
Nenhum método (apenas a matriz)	684 (95.39748953974896%)	678 (95.62764456981664%)
Erros de validação	31 (4.323570432357044%)	27 (3.8081805359661494%)
N-grams gramaticais	0 (0.0%)	0 (0.0%)
N-grams lexicais	2 (0.2789400278940028%)	4 (0.5641748942172073%)