diff --git a/orfeo/eval/eval_ud.makefile b/orfeo/eval/eval_ud.makefile new file mode 100644 index 0000000000000000000000000000000000000000..8b391874fcd27082f3ab9317ec1dcc49bc3b72b1 --- /dev/null +++ b/orfeo/eval/eval_ud.makefile @@ -0,0 +1,114 @@ +TAGGER=maca_trans_tagger +#PARSER=maca_trans_parser_nn +PARSER=maca_trans_parser +CRF_TAGGER=crf_barebones_decoder +MORPHO_ANALYZER=maca_trans_morpho +LEMMATIZER=maca_lemmatizer +EVAL_WPLGFS=../../tools/eval_wplgfs.pl +EVAL_WPLSGF=../../tools/eval_wplsgf.pl +EVAL_WPMLGFS=../../tools/eval_wpmlgfs.pl +EVAL_MCF=../../tools/eval_mcf.pl +WORD_COLUMN=1 +POS_COLUMN=2 +#MORPHO_COLUMN=3 +LEMMA_COLUMN=3 +GOV_COLUMN=4 +LABEL_COLUMN=5 +SENT_SEG_COLUMN=6 +RESULT_FILE=$(LANGUAGE).res +WPMLGFS_MCD_FILE=../../mcd/wpmlgfs.mcd +WPLGFS_MCD_FILE=../../mcd/wplgfs.mcd +WPLSGF_MCD_FILE=../../mcd/wplsgf.mcd + +all: eval + +test_W: $(TEST) + cut -f $(WORD_COLUMN) $< > $@ + +test_P:$(TEST) + cut -f $(POS_COLUMN) $< > $@ + +#test_M:$(TEST) +# cut -f $(MORPHO_COLUMN) $< > $@ + +test_L:$(TEST) + cut -f $(LEMMA_COLUMN) $< > $@ + +test_G:$(TEST) + cut -f $(GOV_COLUMN) $< > $@ + +test_F:$(TEST) + cut -f $(LABEL_COLUMN) $< > $@ + +test_S:$(TEST) + cut -f $(SENT_SEG_COLUMN) $< > $@ + +test_WP:test_W test_P + paste test_W test_P > $@ + +#test_WPM:test_W test_P test_M +# paste test_W test_P test_M > $@ + +test_WPL:test_W test_P test_L + paste test_W test_P test_L > $@ + +test_WPLGFS:test_W test_P test_L test_G test_F test_S + paste test_W test_P test_L test_G test_F test_S > $@ + + +test_Wp: test_W + $(TAGGER) -L $(LANGUAGE) -C $(WPLGFS_MCD_FILE) -i $< -S > $@ +# cat $< | $(CRF_TAGGER) -L $(LANGUAGE) > $@ + +#test_WPm: test_WP +# $(MORPHO_ANALYZER) -C $(WPLGFS_MCD_FILE) -L $(LANGUAGE) -i $< > $@ + +#test_Wpm: test_Wp +# $(MORPHO_ANALYZER) -C $(WPLGFS_MCD_FILE) -L $(LANGUAGE) -i $< > $@ + +#test_WPMl: test_WPM +# $(LEMMATIZER) -C $(WPLGFS_MCD_FILE) -L $(LANGUAGE) -i $< > $@ + +test_WPl: test_WP + $(LEMMATIZER) -C $(WPLGFS_MCD_FILE) -L $(LANGUAGE) -i $< > $@ + +test_Wpl: test_Wp + $(LEMMATIZER) -C $(WPLGFS_MCD_FILE) -L $(LANGUAGE) -i $< > $@ + +test_WPLgfs: test_WPL + $(PARSER) -L $(LANGUAGE) -C $(WPLGFS_MCD_FILE) -i $< $(PARSER_OPTIONS) > $@ + +test_WPlgfs: test_WPl + $(PARSER) -L $(LANGUAGE) -C $(WPLGFS_MCD_FILE) -i $< $(PARSER_OPTIONS) > $@ + +test_WPlgfs: test_WPl + $(PARSER) -L $(LANGUAGE) -C $(WPLGFS_MCD_FILE) -i $< $(PARSER_OPTIONS) > $@ + +test_Wplgfs: test_Wpl + $(PARSER) -L $(LANGUAGE) -C $(WPLGFS_MCD_FILE) -i $< $(PARSER_OPTIONS) > $@ + +eval_header: + echo "file pos morpho lemma uas las srec sacc" > $(RESULT_FILE) + +eval: eval_header test_WPLGFS test_WPLgfs test_WPlgfs test_WPlgfs test_Wplgfs + $(EVAL_MCF) -G WPLGFS -g test_WPLGFS -S WPLGFS -s test_WPLGFS >> $(RESULT_FILE) + $(EVAL_MCF) -G WPLGFS -g test_WPLGFS -S WPLGFS -s test_WPLgfs >> $(RESULT_FILE) + $(EVAL_MCF) -G WPLGFS -g test_WPLGFS -S WPLGFS -s test_WPlgfs >> $(RESULT_FILE) + $(EVAL_MCF) -G WPLGFS -g test_WPLGFS -S WPLGFS -s test_WPlgfs >> $(RESULT_FILE) + $(EVAL_MCF) -G WPLGFS -g test_WPLGFS -S WPLGFS -s test_Wplgfs >> $(RESULT_FILE) + + +test_WPLGFS.conll: test_WPLGFS + mcf2conll -i $< > $@ + +test_Wplgfs.conll: test_Wplgfs + mcf2conll -i $< > $@ + +test_WPLSgf.conll: test_WPLSgf + mcf2conll -C ../../mcd/wplsgf.mcd -i $< > $@ + +eval_ud: test_WPLGFS.conll test_WPLSgf.conll + python ../../tools/conll17_ud_eval.py test_WPLGFS.conll test_WPLSgf.conll +clean: +# -rm $(RESULT_FILE) + -rm test_*