Johannes

ajout des règles pour la tokénisation (parenthèses et guillemets)

maca_tokenizer/src/fr_tok_rules.l

@@ -15,9 +15,13 @@ extern int defait_amalgames;
 
 [0-9]+,[0-9]* printf("%s", yytext);
 [ \t]+   printf("\n");
-\.       printf("\n.");
-\,       printf("\n,");
-…        printf("\n…");
+[ ]*\.       printf("\n.");
+[ ]*\?       printf("\n?");
+[ ]*\!       printf("\n!");
+[ ]*,       printf("\n,");
+[ ]*:       printf("\n:");
+[ ]*;       printf("\n;");
+[ ]*…        printf("\n…");
 '        printf("'\n");
 ’        printf("'\n");
 -je      printf("\n-je");