]> git.wh0rd.org - fontconfig.git/blobdiff - fc-lang/fc-lang.c
[fc-lang] Support excluding characters
[fontconfig.git] / fc-lang / fc-lang.c
index a2699a3c7d23bc0065293101e1f89cb4438a15d0..26f1454e589bf9b35019224e64ffc7742dad425e 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * $RCSId: xc/lib/fontconfig/fc-lang/fc-lang.c,v 1.3 2002/08/22 07:36:43 keithp Exp $
+ * fontconfig/fc-lang/fc-lang.c
  *
  * Copyright © 2002 Keith Packard
  *
  * representations about the suitability of this software for any purpose.  It
  * is provided "as is" without express or implied warranty.
  *
- * KEITH PACKARD DISCLAIMS ALL WARRANTIES WITH REGARD TO THIS SOFTWARE,
+ * THE AUTHOR(S) DISCLAIMS ALL WARRANTIES WITH REGARD TO THIS SOFTWARE,
  * INCLUDING ALL IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS, IN NO
- * EVENT SHALL KEITH PACKARD BE LIABLE FOR ANY SPECIAL, INDIRECT OR
+ * EVENT SHALL THE AUTHOR(S) BE LIABLE FOR ANY SPECIAL, INDIRECT OR
  * CONSEQUENTIAL DAMAGES OR ANY DAMAGES WHATSOEVER RESULTING FROM LOSS OF USE,
  * DATA OR PROFITS, WHETHER IN AN ACTION OF CONTRACT, NEGLIGENCE OR OTHER
  * TORTIOUS ACTION, ARISING OUT OF OR IN CONNECTION WITH THE USE OR
  * PERFORMANCE OF THIS SOFTWARE.
  */
 
-#include "fcint.h"
 #include "fccharset.c"
 #include "fcstr.c"
+#include "fcserialize.c"
 
 /*
  * fc-lang
@@ -47,35 +47,63 @@ FcMemFree (int kind, int size)
 {
 }
 
+FcPrivate void
+FcCacheObjectReference (void *object)
+{
+}
+
+FcPrivate void
+FcCacheObjectDereference (void *object)
+{
+}
+
+int FcDebugVal;
+
 FcChar8 *
 FcConfigHome (void)
 {
-    return getenv ("HOME");
+    return (FcChar8 *) getenv ("HOME");
 }
 
 static void 
-fatal (char *file, int lineno, char *msg)
+fatal (const char *file, int lineno, const char *msg)
 {
-    fprintf (stderr, "%s:%d: %s\n", file, lineno, msg);
+    if (lineno)
+       fprintf (stderr, "%s:%d: %s\n", file, lineno, msg);
+    else
+       fprintf (stderr, "%s: %s\n", file, msg);
     exit (1);
 }
 
 static char *
-get_line (FILE *f, char *line, int *lineno)
+get_line (FILE *f, char *buf, int *lineno)
 {
     char    *hash;
+    char    *line;
+    int            end;
+
+next:
+    line = buf;
     if (!fgets (line, 1024, f))
        return 0;
     ++(*lineno);
     hash = strchr (line, '#');
     if (hash)
        *hash = '\0';
-    if (line[0] == '\0' || line[0] == '\n' || line[0] == '\032' || line[0] == '\r')
-       return get_line (f, line, lineno);
+
+    while (line[0] && isspace (line[0]))
+      line++;
+    end = strlen (line);
+    while (end > 0 && isspace (line[end-1]))
+      line[--end] = '\0';
+
+    if (line[0] == '\0' || line[0] == '\n' || line[0] == '\r')
+      goto next;
+
     return line;
 }
 
-char   *dir = 0;
+static char    *dir = 0;
 
 static FILE *
 scanopen (char *file)
@@ -105,30 +133,45 @@ scanopen (char *file)
  */
 
 static FcCharSet *
-scan (FILE *f, char *file)
+scan (FILE *f, char *file, FcCharSetFreezer *freezer)
 {
-    FcCharSet  *c = 0;
-    FcCharSet  *n;
-    int                start, end, ucs4;
-    char       line[1024];
-    int                lineno = 0;
-
-    while (get_line (f, line, &lineno))
+    FcCharSet      *c = 0;
+    FcCharSet      *n;
+    FcBool         del;
+    int                    start, end, ucs4;
+    char           buf[1024];
+    char           *line;
+    int                    lineno = 0;
+
+    while ((line = get_line (f, buf, &lineno)))
     {
        if (!strncmp (line, "include", 7))
        {
-           file = strchr (line, ' ');
-           while (*file == ' ')
-               file++;
-           end = strlen (file);
-           if (file[end-1] == '\n')
-               file[end-1] = '\0';
-           f = scanopen (file);
-           if (!f)
-               fatal (file, 0, "can't open");
-           c = scan (f, file);
-           fclose (f);
-           return c;
+           FILE *included_f;
+           char *included_file;
+           included_file = strchr (line, ' ');
+            if (!included_file)
+                fatal (file, lineno,
+                       "invalid syntax, expected: include filename");
+           while (isspace(*included_file))
+               included_file++;
+           included_f = scanopen (included_file);
+           if (!included_f)
+               fatal (included_file, 0, "can't open");
+           n = scan (included_f, included_file, freezer);
+           fclose (included_f);
+           if (!c)
+               c = FcCharSetCreate ();
+           if (!FcCharSetMerge (c, n, NULL))
+               fatal (file, lineno, "out of memory");
+           FcCharSetDestroy (n);
+           continue;
+       }
+       del = FcFalse;
+       if (line[0] == '-')
+       {
+         del = FcTrue;
+         line++;
        }
        if (strchr (line, '-'))
        {
@@ -145,11 +188,11 @@ scan (FILE *f, char *file)
            c = FcCharSetCreate ();
        for (ucs4 = start; ucs4 <= end; ucs4++)
        {
-           if (!FcCharSetAddChar (c, ucs4))
+           if (!((del ? FcCharSetDelChar : FcCharSetAddChar) (c, ucs4)))
                fatal (file, lineno, "out of memory");
        }
     }
-    n = FcCharSetFreeze (c);
+    n = FcCharSetFreeze (freezer, c);
     FcCharSetDestroy (c);
     return n;
 }
@@ -196,62 +239,77 @@ get_lang (char *name)
     return lang;
 }
 
+typedef struct _Entry {
+    int id;
+    char *file;
+} Entry;
+
 static int compare (const void *a, const void *b)
 {
-    const FcChar8    *const *as = a, *const *bs = b;
-    return FcStrCmpIgnoreCase (*as, *bs);
+    const Entry *as = a, *bs = b;
+    return FcStrCmpIgnoreCase ((const FcChar8 *) as->file, (const FcChar8 *) bs->file);
 }
 
 #define MAX_LANG           1024
 #define MAX_LANG_SET_MAP    ((MAX_LANG + 31) / 32)
 
-#define BitSet(map, id)   ((map)[(id)>>5] |= ((FcChar32) 1 << ((id) & 0x1f)))
-#define BitGet(map, id)   ((map)[(id)>>5] >> ((id) & 0x1f)) & 1)
+#define BitSet(map, i)   ((map)[(entries[i].id)>>5] |= ((FcChar32) 1 << ((entries[i].id) & 0x1f)))
+#define BitGet(map, i)   ((map)[(entries[i].id)>>5] >> ((entries[i].id) & 0x1f)) & 1)
 
 int
 main (int argc, char **argv)
 {
-    char       *files[MAX_LANG];
-    FcCharSet  *sets[MAX_LANG];
-    int                duplicate[MAX_LANG];
-    int                country[MAX_LANG];
-    char       *names[MAX_LANG];
-    char       *langs[MAX_LANG];
+    static Entry       entries[MAX_LANG];
+    static FcCharSet   *sets[MAX_LANG];
+    static int         duplicate[MAX_LANG];
+    static int         country[MAX_LANG];
+    static char                *names[MAX_LANG];
+    static char                *langs[MAX_LANG];
+    static int         off[MAX_LANG];
     FILE       *f;
     int                ncountry = 0;
     int                i = 0;
+    int                nsets = 0;
+    int                argi;
     FcCharLeaf **leaves;
     int                total_leaves = 0;
-    int                l, sl, tl;
-    int                c;
-    char       line[1024];
-    FcChar32   map[MAX_LANG_SET_MAP];
+    int                l, sl, tl, tn;
+    static char                line[1024];
+    static FcChar32    map[MAX_LANG_SET_MAP];
     int                num_lang_set_map;
     int                setRangeStart[26];
     int                setRangeEnd[26];
     FcChar8    setRangeChar;
+    FcCharSetFreezer   *freezer;
     
-    while (*++argv)
+    freezer = FcCharSetFreezerCreate ();
+    if (!freezer)
+       fatal (argv[0], 0, "out of memory");
+    argi = 1;
+    while (argv[argi])
     {
-       if (!strcmp (*argv, "-d"))
+       if (!strcmp (argv[argi], "-d"))
        {
-           dir = *++argv;
+           argi++;
+           dir = argv[argi++];
            continue;
        }
        if (i == MAX_LANG)
-           fatal (*argv, 0, "Too many languages");
-       files[i++] = *argv;
+           fatal (argv[0], 0, "Too many languages");
+       entries[i].id = i;
+       entries[i].file = argv[argi++];
+       i++;
     }
-    files[i] = 0;
-    qsort (files, i, sizeof (char *), compare);
+    entries[i].file = 0;
+    qsort (entries, i, sizeof (Entry), compare);
     i = 0;
-    while (files[i])
+    while (entries[i].file)
     {
-       f = scanopen (files[i]);
+       f = scanopen (entries[i].file);
        if (!f)
-           fatal (files[i], 0, strerror (errno));
-       sets[i] = scan (f, files[i]);
-       names[i] = get_name (files[i]);
+           fatal (entries[i].file, 0, strerror (errno));
+       sets[i] = scan (f, entries[i].file, freezer);
+       names[i] = get_name (entries[i].file);
        langs[i] = get_lang(names[i]);
        if (strchr (langs[i], '-'))
            country[ncountry++] = i;
@@ -260,6 +318,7 @@ main (int argc, char **argv)
        i++;
        fclose (f);
     }
+    nsets = i;
     sets[i] = 0;
     leaves = malloc (total_leaves * sizeof (FcCharLeaf *));
     tl = 0;
@@ -271,10 +330,10 @@ main (int argc, char **argv)
        for (sl = 0; sl < sets[i]->num; sl++)
        {
            for (l = 0; l < tl; l++)
-               if (leaves[l] == FcCharSetGetLeaf(sets[i], sl))
+               if (leaves[l] == FcCharSetLeaf(sets[i], sl))
                    break;
            if (l == tl)
-               leaves[tl++] = FcCharSetGetLeaf(sets[i], sl);
+               leaves[tl++] = FcCharSetLeaf(sets[i], sl);
        }
     }
 
@@ -291,23 +350,6 @@ main (int argc, char **argv)
     
     printf ("/* total size: %d unique leaves: %d */\n\n",
            total_leaves, tl);
-    /*
-     * Dump leaves
-     */
-    printf ("static const FcCharLeaf   leaves[%d] = {\n", tl);
-    for (l = 0; l < tl; l++)
-    {
-       printf ("    { { /* %d */", l);
-       for (i = 0; i < 256/32; i++)
-       {
-           if (i % 4 == 0)
-               printf ("\n   ");
-           printf (" 0x%08x,", leaves[l]->map[i]);
-       }
-       printf ("\n    } },\n");
-    }
-    printf ("};\n\n");
-    printf ("#define L(n) ((FcCharLeaf *) &leaves[n])\n\n");
 
     /*
      * Find duplicate charsets
@@ -326,85 +368,145 @@ main (int argc, char **argv)
            }
     }
 
+    tn = 0;
+    for (i = 0; sets[i]; i++) {
+       if (duplicate[i] >= 0)
+           continue;
+       off[i] = tn;
+       tn += sets[i]->num;
+    }
+
+    printf ("#define LEAF0       (%d * sizeof (FcLangCharSet))\n", nsets);
+    printf ("#define OFF0        (LEAF0 + %d * sizeof (FcCharLeaf))\n", tl);
+    printf ("#define NUM0        (OFF0 + %d * sizeof (uintptr_t))\n", tn);
+    printf ("#define SET(n)      (n * sizeof (FcLangCharSet) + offsetof (FcLangCharSet, charset))\n");
+    printf ("#define OFF(s,o)    (OFF0 + o * sizeof (uintptr_t) - SET(s))\n");
+    printf ("#define NUM(s,n)    (NUM0 + n * sizeof (FcChar16) - SET(s))\n");
+    printf ("#define LEAF(o,l)   (LEAF0 + l * sizeof (FcCharLeaf) - (OFF0 + o * sizeof (intptr_t)))\n");
+    printf ("#define fcLangCharSets (fcLangData.langCharSets)\n");
+    printf ("#define fcLangCharSetIndices (fcLangData.langIndices)\n");
+    printf ("#define fcLangCharSetIndicesInv (fcLangData.langIndicesInv)\n");
+    printf ("\n");
+    
+    printf ("static const struct {\n"
+           "    FcLangCharSet  langCharSets[%d];\n"
+           "    FcCharLeaf     leaves[%d];\n"
+           "    uintptr_t      leaf_offsets[%d];\n"
+           "    FcChar16       numbers[%d];\n"
+           "    FcChar%s       langIndices[%d];\n"
+           "    FcChar%s       langIndicesInv[%d];\n"
+           "} fcLangData = {\n",
+           nsets, tl, tn, tn,
+           nsets < 256 ? "8 " : "16", nsets, nsets < 256 ? "8 " : "16", nsets);
+       
     /*
-     * Find ranges for each letter for faster searching
+     * Dump sets
      */
-    setRangeChar = 'a';
+
+    printf ("{\n");
     for (i = 0; sets[i]; i++)
     {
-       char    c = names[i][0];
-       
-       while (setRangeChar <= c && c <= 'z')
-           setRangeStart[setRangeChar++ - 'a'] = i;
+       int     j = duplicate[i];
+
+       if (j < 0)
+           j = i;
+
+       printf ("    { \"%s\", "
+               " { FC_REF_CONSTANT, %d, OFF(%d,%d), NUM(%d,%d) } }, /* %d */\n",
+               langs[i],
+               sets[j]->num, i, off[j], i, off[j], i);
     }
-    for (setRangeChar = 'a'; setRangeChar < 'z'; setRangeChar++)
-       setRangeEnd[setRangeChar - 'a'] = setRangeStart[setRangeChar+1-'a'] - 1;
-    setRangeEnd[setRangeChar - 'a'] = i - 1;
+    printf ("},\n");
     
     /*
-     * Dump arrays
+     * Dump leaves
+     */
+    printf ("{\n");
+    for (l = 0; l < tl; l++)
+    {
+       printf ("    { { /* %d */", l);
+       for (i = 0; i < 256/32; i++)
+       {
+           if (i % 4 == 0)
+               printf ("\n   ");
+           printf (" 0x%08x,", leaves[l]->map[i]);
+       }
+       printf ("\n    } },\n");
+    }
+    printf ("},\n");
+
+    /*
+     * Dump leaves
      */
+    printf ("{\n");
     for (i = 0; sets[i]; i++)
     {
        int n;
        
        if (duplicate[i] >= 0)
            continue;
-       printf ("static const FcCharLeaf *leaves_%s[%d] = {\n",
-               names[i], sets[i]->num);
+       printf ("    /* %s */\n", names[i]);
        for (n = 0; n < sets[i]->num; n++)
        {
-           if (n % 8 == 0)
+           if (n % 4 == 0)
                printf ("   ");
            for (l = 0; l < tl; l++)
-               if (leaves[l] == FcCharSetGetLeaf(sets[i], n))
+               if (leaves[l] == FcCharSetLeaf(sets[i], n))
                    break;
            if (l == tl)
                fatal (names[i], 0, "can't find leaf");
-           printf (" L(%3d),", l);
-           if (n % 8 == 7)
+           printf (" LEAF(%3d,%3d),", off[i], l);
+           if (n % 4 == 3)
                printf ("\n");
        }
-       if (n % 8 != 0)
+       if (n % 4 != 0)
            printf ("\n");
-       printf ("};\n\n");
+    }
+    printf ("},\n");
        
 
-       printf ("static const FcChar16 numbers_%s[%d] = {\n",
-               names[i], sets[i]->num);
+    printf ("{\n");
+    for (i = 0; sets[i]; i++)
+    {
+       int n;
+       
+       if (duplicate[i] >= 0)
+           continue;
+       printf ("    /* %s */\n", names[i]);
        for (n = 0; n < sets[i]->num; n++)
        {
            if (n % 8 == 0)
                printf ("   ");
-           printf (" 0x%04x,", FcCharSetGetNumbers(sets[i])[n]);
+           printf (" 0x%04x,", FcCharSetNumbers (sets[i])[n]);
            if (n % 8 == 7)
                printf ("\n");
        }
        if (n % 8 != 0)
            printf ("\n");
-       printf ("};\n\n");
     }
-    printf ("#undef L\n\n");
-    
-    /*
-     * Dump sets
-     */
+    printf ("},\n");
 
-    printf ("static const FcLangCharSet  fcLangCharSets[] = {\n");
+    /* langIndices */
+    printf ("{\n");
     for (i = 0; sets[i]; i++)
     {
-       int     j = duplicate[i];
+       printf ("    %d, /* %s */\n", entries[i].id, names[i]);
+    }
+    printf ("},\n");
 
-       if (j < 0)
-           j = i;
-       printf ("    { (FcChar8 *) \"%s\",\n"
-               "      { FC_REF_CONSTANT, %d, FcStorageDynamic, "
-               "{ { (FcCharLeaf **) leaves_%s, "
-               "(FcChar16 *) numbers_%s } } } },\n",
-               langs[i],
-               sets[j]->num, names[j], names[j]);
+    /* langIndicesInv */
+    printf ("{\n");
+    {
+       static int              entries_inv[MAX_LANG];
+       for (i = 0; sets[i]; i++)
+         entries_inv[entries[i].id] = i;
+       for (i = 0; sets[i]; i++)
+           printf ("    %d, /* %s */\n", entries_inv[i], names[entries_inv[i]]);
     }
+    printf ("}\n");
+
     printf ("};\n\n");
+
     printf ("#define NUM_LANG_CHAR_SET %d\n", i);
     num_lang_set_map = (i + 31) / 32;
     printf ("#define NUM_LANG_SET_MAP  %d\n", num_lang_set_map);
@@ -413,6 +515,7 @@ main (int argc, char **argv)
      */
     if (ncountry)
     {
+       int     c;
        int     ncountry_ent = 0;
        printf ("\n");
        printf ("static const FcChar32 fcLangCountrySets[][NUM_LANG_SET_MAP] = {\n");
@@ -421,7 +524,7 @@ main (int argc, char **argv)
            i = country[c];
            if (i >= 0)
            {
-               int l = strchr (langs[i], '-') - langs[i];
+               int lang = strchr (langs[i], '-') - langs[i];
                int d, k;
 
                for (k = 0; k < num_lang_set_map; k++)
@@ -431,7 +534,7 @@ main (int argc, char **argv)
                for (d = c + 1; d < ncountry; d++)
                {
                    int j = country[d];
-                   if (j >= 0 && !strncmp (langs[j], langs[i], l))
+                   if (j >= 0 && !strncmp (langs[j], langs[i], lang + 1))
                    {
                        BitSet(map, j);
                        country[d] = -1;
@@ -441,7 +544,7 @@ main (int argc, char **argv)
                for (k = 0; k < num_lang_set_map; k++)
                    printf (" 0x%08x,", map[k]);
                printf (" }, /* %*.*s */\n",
-                       l, l, langs[i]);
+                       lang, lang, langs[i]);
                ++ncountry_ent;
            }
        }
@@ -450,10 +553,29 @@ main (int argc, char **argv)
     }
     
 
+    /*
+     * Find ranges for each letter for faster searching
+     */
+    setRangeChar = 'a';
+    memset(setRangeStart, '\0', sizeof (setRangeStart));
+    memset(setRangeEnd, '\0', sizeof (setRangeEnd));
+    for (i = 0; sets[i]; i++)
+    {
+       char    c = names[i][0];
+       
+       while (setRangeChar <= c && c <= 'z')
+           setRangeStart[setRangeChar++ - 'a'] = i;
+    }
+    for (setRangeChar = 'a'; setRangeChar < 'z'; setRangeChar++)
+       setRangeEnd[setRangeChar - 'a'] = setRangeStart[setRangeChar+1-'a'] - 1;
+    setRangeEnd[setRangeChar - 'a'] = i - 1;
+    
     /*
      * Dump sets start/finish for the fastpath
      */
+    printf ("\n");
     printf ("static const FcLangCharSetRange  fcLangCharSetRanges[] = {\n");
+       printf ("\n");
     for (setRangeChar = 'a'; setRangeChar <= 'z' ; setRangeChar++)
     {
        printf ("    { %d, %d }, /* %c */\n",