]> git.wh0rd.org - fontconfig.git/blobdiff - src/fccache.c
Fix flipped return value on unlink. (Reported by Mike Fabian)
[fontconfig.git] / src / fccache.c
index 9b92173b2c129f0fb638061f3a47f19a9b81742d..7ccb5295013f3a946146d0af273406faca06855b 100644 (file)
@@ -2,6 +2,7 @@
  * $RCSId: xc/lib/fontconfig/src/fccache.c,v 1.12 2002/08/22 07:36:44 keithp Exp $
  *
  * Copyright © 2000 Keith Packard
+ * Copyright © 2005 Patrick Lam
  *
  * Permission to use, copy, modify, distribute, and sell this software and its
  * documentation for any purpose is hereby granted without fee, provided that
  */
 
 #include <fcntl.h>
+#include <dirent.h>
 #include <sys/mman.h>
 #include <sys/utsname.h>
+#include <sys/types.h>
+#include <unistd.h>
 #include "fcint.h"
 
-#define PAGESIZE 8192
+#define ENDIAN_TEST 0x12345678
+#define MACHINE_SIGNATURE_SIZE 9 + 5*19 + 1
+
+static off_t
+FcCacheSkipToArch (int fd, const char * arch);
+
+static FcBool 
+FcCacheCopyOld (int fd, int fd_orig, off_t start);
+
+static void *
+FcDirCacheProduce (FcFontSet *set, FcCache * metadata);
+
+static FcBool
+FcDirCacheConsume (int fd, FcFontSet *set);
+
+FcBool
+FcDirCacheRead (FcFontSet * set, FcStrSet * dirs, const FcChar8 *dir);
+
+static int
+FcCacheNextOffset(off_t w);
+
+static char *
+FcCacheMachineSignature (void);
+
+static FcBool
+FcCacheHaveBank (int bank);
 
-static FcBool force;
+#define FC_DBG_CACHE_REF    1024
 
-static FcChar8 *
-FcCacheReadString (int fd, FcChar8 *dest, int len)
+static char *
+FcCacheReadString (int fd, char *dest, int len)
 {
     FcChar8    c;
     FcBool     escape;
@@ -40,7 +69,7 @@ FcCacheReadString (int fd, FcChar8 *dest, int len)
     int                i;
 
     if (len == 0)
-       return FcFalse;
+       return 0;
     
     size = len;
     i = 0;
@@ -72,105 +101,34 @@ FcCacheReadString (int fd, FcChar8 *dest, int len)
 }
 
 static FcBool
-FcCacheWriteString (int fd, const FcChar8 *chars)
+FcCacheWriteString (int fd, const char *chars)
 {
     if (write (fd, chars, strlen(chars)+1) != strlen(chars)+1)
        return FcFalse;
     return FcTrue;
 }
 
-#if 0
-/*
- * Verify the saved timestamp for a file
- */
-FcBool
-FcGlobalCacheCheckTime (const FcChar8 *file, FcGlobalCacheInfo *info)
-{
-    struct stat            statb;
-
-    if (stat ((char *) file, &statb) < 0)
-    {
-       if (FcDebug () & FC_DBG_CACHE)
-           printf (" file %s missing\n", file);
-       return FcFalse;
-    }
-    if (statb.st_mtime != info->time)
-    {
-       if (FcDebug () & FC_DBG_CACHE)
-           printf (" timestamp mismatch (was %d is %d)\n",
-                   (int) info->time, (int) statb.st_mtime);
-       return FcFalse;
-    }
-    return FcTrue;
-}
-
-void
-FcGlobalCacheReferenced (FcGlobalCache     *cache,
-                        FcGlobalCacheInfo  *info)
-{
-    if (!info->referenced)
-    {
-       info->referenced = FcTrue;
-       cache->referenced++;
-       if (FcDebug () & FC_DBG_CACHE_REF)
-           printf ("Reference %d %s\n", cache->referenced, info->file);
-    }
-}
-
-/*
- * Break a path into dir/base elements and compute the base hash
- * and the dir length.  This is shared between the functions
- * which walk the file caches
- */
-
-typedef struct _FcFilePathInfo {
-    const FcChar8   *dir;
-    int                    dir_len;
-    const FcChar8   *base;
-    unsigned int    base_hash;
-} FcFilePathInfo;
-
-static FcFilePathInfo
-FcFilePathInfoGet (const FcChar8    *path)
+static void
+FcGlobalCacheDirDestroy (FcGlobalCacheDir *d)
 {
-    FcFilePathInfo  i;
-    FcChar8        *slash;
-
-    slash = FcStrLastSlash (path);
-    if (slash)
-    {
-        i.dir = path;
-        i.dir_len = slash - path;
-       if (!i.dir_len)
-           i.dir_len = 1;
-       i.base = slash + 1;
-    }
-    else
-    {
-       i.dir = (const FcChar8 *) ".";
-       i.dir_len = 1;
-       i.base = path;
-    }
-    i.base_hash = FcCacheHash (i.base, -1);
-    return i;
+    FcMemFree (FC_MEM_STRING, strlen (d->name)+1);
+    free (d->name);
+    FcMemFree (FC_MEM_CACHE, sizeof (FcGlobalCacheDir));
+    free (d);
 }
 
 FcGlobalCache *
 FcGlobalCacheCreate (void)
 {
     FcGlobalCache   *cache;
-    int                    h;
 
     cache = malloc (sizeof (FcGlobalCache));
     if (!cache)
        return 0;
     FcMemAlloc (FC_MEM_CACHE, sizeof (FcGlobalCache));
-    for (h = 0; h < FC_GLOBAL_CACHE_DIR_HASH_SIZE; h++)
-       cache->ents[h] = 0;
-    cache->entries = 0;
-    cache->referenced = 0;
+    cache->dirs = 0;
     cache->updated = FcFalse;
-    cache->broken = FcFalse;
+    cache->fd = -1;
     return cache;
 }
 
@@ -178,122 +136,170 @@ void
 FcGlobalCacheDestroy (FcGlobalCache *cache)
 {
     FcGlobalCacheDir   *d, *next;
-    int                        h;
 
-    for (h = 0; h < FC_GLOBAL_CACHE_DIR_HASH_SIZE; h++)
+    for (d = cache->dirs; d; d = next)
     {
-       for (d = cache->ents[h]; d; d = next)
-       {
-           next = d->next;
-           FcGlobalCacheDirDestroy (d);
-       }
+       next = d->next;
+       FcGlobalCacheDirDestroy (d);
     }
     FcMemFree (FC_MEM_CACHE, sizeof (FcGlobalCache));
     free (cache);
 }
 
-/*
- * Cache file syntax is quite simple:
- *
- * "file_name" id time "font_name" \n
- */
 void
 FcGlobalCacheLoad (FcGlobalCache    *cache,
+                   FcStrSet        *staleDirs,
                   const FcChar8    *cache_file)
 {
-    FILE               *f;
-    FcChar8            file_buf[8192], *file;
-    int                        id;
-    time_t             time;
-    FcChar8            name_buf[8192], *name;
-    FcGlobalCacheInfo  *info;
-
-    f = fopen ((char *) cache_file, "r");
-    if (!f)
+    char               name_buf[8192];
+    FcGlobalCacheDir   *d, *next;
+    char               * current_arch_machine_name;
+    char               candidate_arch_machine_name[MACHINE_SIGNATURE_SIZE + 9];
+    off_t              current_arch_start;
+
+    struct stat        cache_stat, dir_stat;
+
+    if (stat ((char *) cache_file, &cache_stat) < 0)
+        return;
+
+    cache->fd = open ((char *) cache_file, O_RDONLY);
+    if (cache->fd == -1)
        return;
 
     cache->updated = FcFalse;
-    file = 0;
-    name = 0;
-    while ((file = FcCacheReadString (f, file_buf, sizeof (file_buf))) &&
-          FcCacheReadInt (f, &id) &&
-          FcCacheReadTime (f, &time) &&
-          (name = FcCacheReadString (f, name_buf, sizeof (name_buf))))
+
+    current_arch_machine_name = FcCacheMachineSignature ();
+    current_arch_start = FcCacheSkipToArch(cache->fd, 
+                                          current_arch_machine_name);
+    if (current_arch_start < 0)
+        goto bail0;
+
+    lseek (cache->fd, current_arch_start, SEEK_SET);
+    FcCacheReadString (cache->fd, candidate_arch_machine_name, 
+                       sizeof (candidate_arch_machine_name));
+    if (strlen(candidate_arch_machine_name) == 0)
+       goto bail0;
+
+    while (1) 
     {
-       if (FcDebug () & FC_DBG_CACHEV)
-           printf ("FcGlobalCacheLoad \"%s\" \"%20.20s\"\n", file, name);
-       if (!FcStrCmp (name, FC_FONT_FILE_DIR))
-           info = FcGlobalCacheDirAdd (cache, file, time, FcFalse, FcTrue);
-       else
-           info = FcGlobalCacheFileAdd (cache, file, id, time, name, FcFalse);
-       if (!info)
-           cache->broken = FcTrue;
-       else
-           cache->entries++;
-       if (FcDebug () & FC_DBG_CACHE_REF)
-           printf ("FcGlobalCacheLoad entry %d %s\n",
-                   cache->entries, file);
-       if (file != file_buf)
-           free (file);
-       if (name != name_buf)
-           free (name);
-       file = 0;
-       name = 0;
+       off_t targ;
+
+       FcCacheReadString (cache->fd, name_buf, sizeof (name_buf));
+       if (!strlen(name_buf))
+           break;
+
+        if (stat ((char *) name_buf, &dir_stat) < 0 || 
+            dir_stat.st_mtime > cache_stat.st_mtime)
+        {
+            FcCache md;
+
+            FcStrSetAdd (staleDirs, FcStrCopy ((FcChar8 *)name_buf));
+            read (cache->fd, &md, sizeof (FcCache));
+            lseek (cache->fd, FcCacheNextOffset (lseek(cache->fd, 0, SEEK_CUR)) + md.count, SEEK_SET);
+            continue;
+        }
+
+       d = malloc (sizeof (FcGlobalCacheDir));
+       if (!d)
+           goto bail1;
+
+       d->next = cache->dirs;
+       cache->dirs = d;
+
+       d->name = (char *)FcStrCopy ((FcChar8 *)name_buf);
+       d->ent = 0;
+       d->offset = lseek (cache->fd, 0, SEEK_CUR);
+       if (read (cache->fd, &d->metadata, sizeof (FcCache)) != sizeof (FcCache))
+           goto bail1;
+       targ = FcCacheNextOffset (lseek(cache->fd, 0, SEEK_CUR)) + d->metadata.count;
+       if (lseek (cache->fd, targ, SEEK_SET) != targ)
+           goto bail1;
     }
-    if (file && file != file_buf)
-       free (file);
-    if (name && name != name_buf)
-       free (name);
-    fclose (f);
+    return;
+
+ bail1:
+    for (d = cache->dirs; d; d = next)
+    {
+       next = d->next;
+       free (d);
+    }
+    cache->dirs = 0;
+ bail0:
+    close (cache->fd);
+    cache->fd = -1;
+    return;
+}
+
+FcBool
+FcGlobalCacheReadDir (FcFontSet *set, FcStrSet *dirs, FcGlobalCache * cache, const char *dir, FcConfig *config)
+{
+    FcGlobalCacheDir *d;
+    FcBool ret = FcFalse;
+
+    if (cache->fd == -1)
+       return FcFalse;
+
+    for (d = cache->dirs; d; d = d->next)
+    {
+       if (strncmp (d->name, dir, strlen(dir)) == 0)
+       {
+           lseek (cache->fd, d->offset, SEEK_SET);
+           if (!FcDirCacheConsume (cache->fd, set))
+               return FcFalse;
+            if (strcmp (d->name, dir) == 0)
+               ret = FcTrue;
+       }
+    }
+
+    return ret;
 }
 
 FcBool
 FcGlobalCacheUpdate (FcGlobalCache  *cache,
-                    const FcChar8  *file,
-                    int            id,
-                    const FcChar8  *name)
+                    const char     *name,
+                    FcFontSet      *set)
 {
-    const FcChar8      *match;
-    struct stat                statb;
-    FcGlobalCacheInfo  *info;
+    FcGlobalCacheDir * d;
 
-    match = file;
+    if (!set->nfont)
+       return FcTrue;
 
-    if (stat ((char *) file, &statb) < 0)
-       return FcFalse;
-    if (S_ISDIR (statb.st_mode))
-       info = FcGlobalCacheDirAdd (cache, file, statb.st_mtime, 
-                                   FcTrue, FcTrue);
-    else
-       info = FcGlobalCacheFileAdd (cache, file, id, statb.st_mtime, 
-                                   name, FcTrue);
-    if (info)
+    for (d = cache->dirs; d; d = d->next)
     {
-       FcGlobalCacheReferenced (cache, info);
-       cache->updated = FcTrue;
+       if (strcmp(d->name, name) == 0)
+           break;
     }
-    else
-       cache->broken = FcTrue;
-    return info != 0;
+
+    if (!d)
+    {
+       d = malloc (sizeof (FcGlobalCacheDir));
+       if (!d)
+           return FcFalse;
+       d->next = cache->dirs;
+       cache->dirs = d;
+    }
+
+    cache->updated = FcTrue;
+
+    d->name = (char *)FcStrCopy ((FcChar8 *)name);
+    d->ent = FcDirCacheProduce (set, &d->metadata);
+    d->offset = 0;
+    return FcTrue;
 }
 
 FcBool
 FcGlobalCacheSave (FcGlobalCache    *cache,
                   const FcChar8    *cache_file)
 {
-    FILE               *f;
-    int                        dir_hash, file_hash;
+    int                        fd, fd_orig;
     FcGlobalCacheDir   *dir;
-    FcGlobalCacheFile  *file;
     FcAtomic           *atomic;
+    off_t              current_arch_start = 0, truncate_to;
+    char               * current_arch_machine_name, * header;
 
-    if (!cache->updated && cache->referenced == cache->entries)
+    if (!cache->updated)
        return FcTrue;
     
-    if (cache->broken)
-       return FcFalse;
-
 #if defined (HAVE_GETUID) && defined (HAVE_GETEUID)
     /* Set-UID programs can't safely update the cache */
     if (getuid () != geteuid ())
@@ -302,68 +308,74 @@ FcGlobalCacheSave (FcGlobalCache    *cache,
     
     atomic = FcAtomicCreate (cache_file);
     if (!atomic)
-       goto bail0;
+       return FcFalse;
+
     if (!FcAtomicLock (atomic))
        goto bail1;
-    f = fopen ((char *) FcAtomicNewFile(atomic), "w");
-    if (!f)
+    fd = open ((char *) FcAtomicNewFile(atomic), O_RDWR | O_CREAT, 
+              S_IRUSR | S_IWUSR);
+    if (fd == -1)
        goto bail2;
 
-    for (dir_hash = 0; dir_hash < FC_GLOBAL_CACHE_DIR_HASH_SIZE; dir_hash++)
+    fd_orig = open ((char *) FcAtomicOrigFile(atomic), O_RDONLY);
+
+    current_arch_machine_name = FcCacheMachineSignature ();
+    if (fd_orig == -1)
+        current_arch_start = 0;
+    else
+        current_arch_start = FcCacheSkipToArch (fd_orig, 
+                                                current_arch_machine_name);
+
+    if (current_arch_start < 0)
+       current_arch_start = FcCacheNextOffset (lseek(fd_orig, 0, SEEK_END));
+
+    if (!FcCacheCopyOld(fd, fd_orig, current_arch_start))
+       goto bail3;
+
+    close (fd_orig);
+    fd_orig = -1;
+
+    current_arch_start = lseek(fd, 0, SEEK_CUR);
+    if (ftruncate (fd, current_arch_start) == -1)
+       goto bail3;
+
+    header = malloc (10 + strlen (current_arch_machine_name));
+    if (!header)
+       goto bail3;
+
+    truncate_to = current_arch_start + strlen(current_arch_machine_name) + 11;
+    for (dir = cache->dirs; dir; dir = dir->next)
     {
-       for (dir = cache->ents[dir_hash]; dir; dir = dir->next)
-       {
-           if (!dir->info.referenced)
-               continue;
-           if (!FcCacheWriteString (f, dir->info.file))
-               goto bail4;
-           if (PUTC (' ', f) == EOF)
-               goto bail4;
-           if (!FcCacheWriteInt (f, 0))
-               goto bail4;
-           if (PUTC (' ', f) == EOF)
-               goto bail4;
-           if (!FcCacheWriteTime (f, dir->info.time))
-               goto bail4;
-           if (PUTC (' ', f) == EOF)
-               goto bail4;
-           if (!FcCacheWriteString (f, (FcChar8 *) FC_FONT_FILE_DIR))
-               goto bail4;
-           if (PUTC ('\n', f) == EOF)
-               goto bail4;
-           
-           for (file_hash = 0; file_hash < FC_GLOBAL_CACHE_FILE_HASH_SIZE; file_hash++)
-           {
-               for (file = dir->ents[file_hash]; file; file = file->next)
-               {
-                   if (!file->info.referenced)
-                       continue;
-                   if (!FcCacheWritePath (f, dir->info.file, file->info.file))
-                       goto bail4;
-                   if (PUTC (' ', f) == EOF)
-                       goto bail4;
-                   if (!FcCacheWriteInt (f, file->id < 0 ? 0 : file->id))
-                       goto bail4;
-                   if (PUTC (' ', f) == EOF)
-                       goto bail4;
-                   if (!FcCacheWriteTime (f, file->info.time))
-                       goto bail4;
-                   if (PUTC (' ', f) == EOF)
-                       goto bail4;
-                   if (!FcCacheWriteString (f, file->name))
-                       goto bail4;
-                   if (PUTC ('\n', f) == EOF)
-                       goto bail4;
-               }
-           }
-       }
+       truncate_to += strlen(dir->name) + 1;
+       truncate_to += sizeof (FcCache);
+       truncate_to = FcCacheNextOffset (current_arch_start + truncate_to);
+       truncate_to += dir->metadata.count;
     }
+    truncate_to -= current_arch_start;
 
-    if (fclose (f) == EOF)
-       goto bail3;
+    sprintf (header, "%8x ", (int)truncate_to);
+    strcat (header, current_arch_machine_name);
+    if (!FcCacheWriteString (fd, header))
+       goto bail4;
+
+    for (dir = cache->dirs; dir; dir = dir->next)
+    {
+        if (dir->ent)
+        {
+            FcCacheWriteString (fd, dir->name);
+            write (fd, &dir->metadata, sizeof(FcCache));
+            lseek (fd, FcCacheNextOffset (lseek(fd, 0, SEEK_CUR)), SEEK_SET);
+            write (fd, dir->ent, dir->metadata.count);
+            free (dir->ent);
+        }
+    }
+    FcCacheWriteString (fd, "");
+
+    if (close (fd) == -1)
+       goto bail25;
     
     if (!FcAtomicReplaceOrig (atomic))
-       goto bail3;
+       goto bail25;
     
     FcAtomicUnlock (atomic);
     FcAtomicDestroy (atomic);
@@ -371,128 +383,43 @@ FcGlobalCacheSave (FcGlobalCache    *cache,
     cache->updated = FcFalse;
     return FcTrue;
 
-bail4:
-    fclose (f);
-bail3:
+ bail4:
+    free (header);
+ bail3:
+    if (fd_orig != -1)
+        close (fd_orig);
+
+    close (fd);
+ bail25:
     FcAtomicDeleteNew (atomic);
-bail2:
+ bail2:
     FcAtomicUnlock (atomic);
-bail1:
+ bail1:
     FcAtomicDestroy (atomic);
-bail0:
     return FcFalse;
 }
-#endif
 
+#define PAGESIZE 8192
 /* 
- * Find the next presumably-mmapable offset after the current file
- * pointer.
+ * Find the next presumably-mmapable offset after the supplied file
+ * position.
  */
-int
-FcCacheNextOffset(int fd)
+static int
+FcCacheNextOffset(off_t w)
 {
-    off_t w;
-    w = lseek(fd, 0, SEEK_END);
-
     if (w % PAGESIZE == 0) 
        return w;
     else
        return ((w / PAGESIZE)+1)*PAGESIZE;
 }
 
-/* will go away once we use config->cache */
-#define CACHE_DEFAULT_TMPDIR "/tmp"
-#define CACHE_DEFAULT_NAME "/fontconfig-mmap"
-static char *
-FcCacheFilename(void)
-{
-    struct utsname b;
-    static char * name = 0;
-
-    if (name)
-        return name;
-
-    if (uname(&b) == -1)
-        name = CACHE_DEFAULT_NAME;
-    else
-    {
-        char * tmpname = getenv("TMPDIR");
-        char * logname = getenv("LOGNAME");
-        if (!tmpname)
-            tmpname = CACHE_DEFAULT_TMPDIR;
-
-        name = malloc(strlen(CACHE_DEFAULT_NAME) +
-                      strlen(tmpname) +
-                      (logname ? strlen(logname) : 0) + 5);
-        strcpy(name, tmpname);
-        strcat(name, CACHE_DEFAULT_NAME);
-        strcat(name, "-");
-        strcat(name, logname ? logname : "");
-    }
-    return name;
-}
-
-/* 
- * Wipe out static state.
- */
-void
-FcCacheClearStatic()
-{
-    FcFontSetClearStatic();
-    FcPatternClearStatic();
-    FcValueListClearStatic();
-    FcObjectClearStatic();
-    FcMatrixClearStatic();
-    FcCharSetClearStatic();
-    FcLangSetClearStatic();
-}
-
-/*
- * Trigger the counting phase: this tells us how much to allocate.
- */
-FcBool
-FcCachePrepareSerialize (FcConfig * config)
-{
-    int i;
-    for (i = FcSetSystem; i <= FcSetApplication; i++)
-       if (config->fonts[i] && !FcFontSetPrepareSerialize(config->fonts[i]))
-           return FcFalse;
-    return FcTrue;
-}
-
-/* allocate and populate static structures */
-FcBool
-FcCacheSerialize (FcConfig * config)
-{
-    int i;
-    for (i = FcSetSystem; i <= FcSetApplication; i++)
-       if (config->fonts[i] && !FcFontSetSerialize(config->fonts[i]))
-           return FcFalse;
-    return FcTrue;
-}
-
-/* get the current arch name */
-/* caller is responsible for freeing returned pointer */
-static char *
-FcCacheGetCurrentArch (void)
-{
-    struct utsname b;
-    char * current_arch_machine_name;
-
-    if (uname(&b) == -1)
-       return FcFalse;
-    current_arch_machine_name = strdup(b.machine);
-    /* if (getenv ("FAKE_ARCH")) // testing purposes
-       current_arch_machine_name = strdup(getenv("FAKE_ARCH")); */
-    return current_arch_machine_name;
-}
-
 /* return the address of the segment for the provided arch,
  * or -1 if arch not found */
 static off_t
 FcCacheSkipToArch (int fd, const char * arch)
 {
-    char candidate_arch_machine_name[64], bytes_to_skip[7];
+    char candidate_arch_machine_name_count[MACHINE_SIGNATURE_SIZE + 9];
+    char * candidate_arch;
     off_t current_arch_start = 0;
 
     /* skip arches that are not the current arch */
@@ -500,51 +427,70 @@ FcCacheSkipToArch (int fd, const char * arch)
     {
        long bs;
 
-       lseek (fd, current_arch_start, SEEK_SET);
-       if (FcCacheReadString (fd, candidate_arch_machine_name, 
-                              sizeof (candidate_arch_machine_name)) == 0)
-           break;
-       if (FcCacheReadString (fd, bytes_to_skip, 7) == 0)
-           break;
-       bs = a64l(bytes_to_skip);
-       if (bs == 0)
-           break;
+       if (lseek (fd, current_arch_start, SEEK_SET) != current_arch_start)
+            return -1;
 
-       if (strcmp (candidate_arch_machine_name, arch)==0)
-           break;
+       if (FcCacheReadString (fd, candidate_arch_machine_name_count, 
+                               sizeof (candidate_arch_machine_name_count)) == 0)
+            return -1;
+       if (!strlen(candidate_arch_machine_name_count))
+           return -1;
+       bs = strtol(candidate_arch_machine_name_count, &candidate_arch, 16);
+
+       // count = 0 should probably be distinguished from the !bs condition
+       if (!bs || bs < strlen (candidate_arch_machine_name_count))
+           return -1;
+
+       candidate_arch++; /* skip leading space */
+
+       if (strcmp (candidate_arch, arch)==0)
+           return current_arch_start;
        current_arch_start += bs;
     }
 
-    if (strcmp (candidate_arch_machine_name, arch)!=0)
-       return -1;
-
-    return current_arch_start;
+    return -1;
 }
 
 /* Cuts out the segment at the file pointer (moves everything else
  * down to cover it), and leaves the file pointer at the end of the
  * file. */
-#define BUF_SIZE 8192
-
 static FcBool 
-FcCacheMoveDown (int fd, off_t start)
+FcCacheCopyOld (int fd, int fd_orig, off_t start)
 {
-    char * buf = malloc (BUF_SIZE);
-    char candidate_arch_machine_name[64], bytes_to_skip[7];
-    long bs; off_t pos;
+    char * buf = malloc (8192);
+    char candidate_arch_machine_name[MACHINE_SIGNATURE_SIZE + 9];
+    long bs;
     int c, bytes_skipped;
+    off_t loc;
 
     if (!buf)
        return FcFalse;
 
+    loc = 0;
+    lseek (fd, 0, SEEK_SET); lseek (fd_orig, 0, SEEK_SET);
+    do
+    {
+        int b = 8192;
+        if (loc + b > start)
+            b = start - loc;
+
+       if ((c = read (fd_orig, buf, b)) <= 0)
+           break;
+       if (write (fd, buf, c) < 0)
+           goto bail;
+
+        loc += c;
+    }
+    while (c > 0);
+
     lseek (fd, start, SEEK_SET);
     if (FcCacheReadString (fd, candidate_arch_machine_name, 
                           sizeof (candidate_arch_machine_name)) == 0)
        goto done;
-    if (FcCacheReadString (fd, bytes_to_skip, 7) == 0)
+    if (!strlen(candidate_arch_machine_name))
        goto done;
 
-    bs = a64l(bytes_to_skip);
+    bs = strtol(candidate_arch_machine_name, 0, 16);
     if (bs == 0)
        goto done;
 
@@ -552,7 +498,7 @@ FcCacheMoveDown (int fd, off_t start)
     do
     {
        lseek (fd, start+bs+bytes_skipped, SEEK_SET);
-       if ((c = read (fd, buf, BUF_SIZE)) <= 0)
+       if ((c = read (fd, buf, 8192)) <= 0)
            break;
        lseek (fd, start+bytes_skipped, SEEK_SET);
        if (write (fd, buf, c) < 0)
@@ -571,137 +517,491 @@ FcCacheMoveDown (int fd, off_t start)
     return FcFalse;
 }
 
+/* Does not check that the cache has the appropriate arch section. */
+FcBool
+FcDirCacheValid (const FcChar8 *dir)
+{
+    FcChar8     *cache_file = FcStrPlus (dir, (FcChar8 *) "/" FC_DIR_CACHE_FILE);
+    struct stat file_stat, dir_stat;
+
+    if (stat ((char *) dir, &dir_stat) < 0)
+    {
+        FcStrFree (cache_file);
+        return FcFalse;
+    }
+    if (stat ((char *) cache_file, &file_stat) < 0)
+    {
+        FcStrFree (cache_file);
+        return FcFalse;
+    }
+
+    FcStrFree (cache_file);
+    /*
+     * If the directory has been modified more recently than
+     * the cache file, the cache is not valid
+     */
+    if (dir_stat.st_mtime - file_stat.st_mtime > 0)
+        return FcFalse;
+    return FcTrue;
+}
+
+/* Assumes that the cache file in 'dir' exists.
+ * Checks that the cache has the appropriate arch section. */
+FcBool
+FcDirCacheHasCurrentArch (const FcChar8 *dir)
+{
+    FcChar8     *cache_file = FcStrPlus (dir, (FcChar8 *) "/" FC_DIR_CACHE_FILE);
+    int        fd;
+    off_t      current_arch_start;
+    char       *current_arch_machine_name;
+
+    current_arch_machine_name = FcCacheMachineSignature();
+    fd = open ((char *)cache_file, O_RDONLY);
+    if (fd == -1)
+        return FcFalse;
+
+    current_arch_start = FcCacheSkipToArch(fd, current_arch_machine_name);
+    close (fd);
+
+    if (current_arch_start < 0)
+        return FcFalse;
+    
+    return FcTrue;
+}
+
+FcBool
+FcDirCacheUnlink (const FcChar8 *dir)
+{
+    FcChar8     *cache_file = FcStrPlus (dir, (FcChar8 *) "/" FC_DIR_CACHE_FILE);
+
+    if (unlink ((char *)cache_file) != 0)
+    {
+       FcStrFree (cache_file);
+        return FcFalse;
+    }
+
+    FcStrFree (cache_file);
+    return FcTrue;
+}
+
+static int
+FcCacheReadDirs (FcConfig * config, FcGlobalCache * cache, 
+                FcStrList *list, FcFontSet * set)
+{
+    int                        ret = 0;
+    FcChar8            *dir;
+    FcChar8            *file, *base;
+    FcStrSet           *subdirs;
+    FcStrList          *sublist;
+    struct stat                statb;
+
+    /*
+     * Read in the results from 'list'.
+     */
+    while ((dir = FcStrListNext (list)))
+    {
+       /* freed below */
+       file = (FcChar8 *) malloc (strlen ((char *) dir) + 1 + FC_MAX_FILE_LEN + 1);
+       if (!file)
+           return FcFalse;
+
+       strcpy ((char *) file, (char *) dir);
+       strcat ((char *) file, "/");
+       base = file + strlen ((char *) file);
+
+       subdirs = FcStrSetCreate ();
+       if (!subdirs)
+       {
+           fprintf (stderr, "Can't create directory set\n");
+           ret++;
+           free (file);
+           continue;
+       }
+       
+       if (access ((char *) dir, X_OK) < 0)
+       {
+           switch (errno) {
+           case ENOENT:
+           case ENOTDIR:
+           case EACCES:
+               break;
+           default:
+               fprintf (stderr, "\"%s\": ", dir);
+               perror ("");
+               ret++;
+           }
+           FcStrSetDestroy (subdirs);
+           free (file);
+           continue;
+       }
+       if (stat ((char *) dir, &statb) == -1)
+       {
+           fprintf (stderr, "\"%s\": ", dir);
+           perror ("");
+           FcStrSetDestroy (subdirs);
+           ret++;
+           free (file);
+           continue;
+       }
+       if (!S_ISDIR (statb.st_mode))
+       {
+           fprintf (stderr, "\"%s\": not a directory, skipping\n", dir);
+           FcStrSetDestroy (subdirs);
+           free (file);
+           continue;
+       }
+       if (!FcDirCacheValid (dir) || !FcDirCacheRead (set, subdirs, dir))
+       {
+           if (FcDebug () & FC_DBG_FONTSET)
+               printf ("cache scan dir %s\n", dir);
+
+           FcDirScanConfig (set, subdirs, cache, 
+                            config->blanks, dir, FcFalse, config);
+       }
+       sublist = FcStrListCreate (subdirs);
+       FcStrSetDestroy (subdirs);
+       if (!sublist)
+       {
+           fprintf (stderr, "Can't create subdir list in \"%s\"\n", dir);
+           ret++;
+           free (file);
+           continue;
+       }
+       ret += FcCacheReadDirs (config, cache, sublist, set);
+       free (file);
+    }
+    FcStrListDone (list);
+    return ret;
+}
+
+FcFontSet *
+FcCacheRead (FcConfig *config, FcGlobalCache * cache)
+{
+    FcFontSet * s = FcFontSetCreate();
+    if (!s) 
+       return 0;
+
+    if (FcCacheReadDirs (config, cache, FcConfigGetConfigDirs (config), s))
+       goto bail;
+
+    return s;
+
+ bail:
+    FcFontSetDestroy (s);
+    return 0;
+}
+
 /* read serialized state from the cache file */
 FcBool
-FcCacheRead (FcConfig *config)
+FcDirCacheRead (FcFontSet * set, FcStrSet * dirs, const FcChar8 *dir)
 {
-    int fd, i;
-    FcCache metadata;
+    char *cache_file = (char *)FcStrPlus (dir, (FcChar8 *) "/" FC_DIR_CACHE_FILE);
+    int fd;
     char * current_arch_machine_name;
-    char candidate_arch_machine_name[64], bytes_in_block[7];
+    char candidate_arch_machine_name[9+MACHINE_SIGNATURE_SIZE];
     off_t current_arch_start = 0;
+    char subdirName[FC_MAX_FILE_LEN + 1 + 12 + 1];
 
-    if (force)
-       return FcFalse;
+    if (!cache_file)
+        goto bail;
 
-    fd = open(FcCacheFilename(), O_RDONLY);
+    current_arch_machine_name = FcCacheMachineSignature();
+    fd = open(cache_file, O_RDONLY);
     if (fd == -1)
-        return FcFalse;
+        goto bail;
 
-    current_arch_machine_name = FcCacheGetCurrentArch();
     current_arch_start = FcCacheSkipToArch(fd, current_arch_machine_name);
     if (current_arch_start < 0)
-        goto bail;
+        goto bail1;
 
     lseek (fd, current_arch_start, SEEK_SET);
     if (FcCacheReadString (fd, candidate_arch_machine_name, 
                           sizeof (candidate_arch_machine_name)) == 0)
-       goto bail;
-    if (FcCacheReadString (fd, bytes_in_block, 7) == 0)
-       goto bail;
+       goto bail1;
 
-    // sanity check for endianness issues
-    read(fd, &metadata, sizeof(FcCache));
-    if (metadata.magic != FC_CACHE_MAGIC)
-        goto bail;
+    while (strlen(FcCacheReadString (fd, subdirName, sizeof (subdirName))) > 0)
+        FcStrSetAdd (dirs, (FcChar8 *)subdirName);
 
-    if (!FcObjectRead(fd, metadata)) goto bail1;
-    if (!FcStrSetRead(fd, metadata)) goto bail1;
-    if (!FcCharSetRead(fd, metadata)) goto bail1;
-    if (!FcMatrixRead(fd, metadata)) goto bail1;
-    if (!FcLangSetRead(fd, metadata)) goto bail1;
-    if (!FcValueListRead(fd, metadata)) goto bail1;
-    if (!FcPatternEltRead(fd, metadata)) goto bail1;
-    if (!FcPatternRead(fd, metadata)) goto bail1;
-    if (!FcFontSetRead(fd, config, metadata)) goto bail1;
+    if (!FcDirCacheConsume (fd, set))
+       goto bail1;
+       
     close(fd);
-    free (current_arch_machine_name);
+    free (cache_file);
     return FcTrue;
 
  bail1:
-    for (i = FcSetSystem; i <= FcSetApplication; i++)
-        config->fonts[i] = 0;
-    close(fd);
+    close (fd);
  bail:
-    free (current_arch_machine_name);
+    free (cache_file);
     return FcFalse;
 }
 
-/* write serialized state to the cache file */
-FcBool
-FcCacheWrite (FcConfig * config)
+static FcBool
+FcDirCacheConsume (int fd, FcFontSet *set)
 {
-    int fd;
     FcCache metadata;
-    off_t current_arch_start = 0, truncate_to;
-    char * current_arch_machine_name, bytes_written[7] = "dedbef";
+    void * current_dir_block;
+    off_t pos;
 
-    if (!FcCachePrepareSerialize (config))
-       return FcFalse;
+    read(fd, &metadata, sizeof(FcCache));
+    if (metadata.magic != FC_CACHE_MAGIC)
+        return FcFalse;
+
+    if (!metadata.count)
+       return FcTrue;
 
-    if (!FcCacheSerialize (config))
+    pos = FcCacheNextOffset (lseek(fd, 0, SEEK_CUR));
+    current_dir_block = mmap (0, metadata.count, 
+                             PROT_READ, MAP_SHARED, fd, pos);
+    if (current_dir_block == MAP_FAILED)
        return FcFalse;
+    
+    if (!FcFontSetUnserialize (metadata, set, current_dir_block))
+       return FcFalse;
+
+    return FcTrue;
+}
+
+static void *
+FcDirCacheProduce (FcFontSet *set, FcCache *metadata)
+{
+    void * current_dir_block, * final_dir_block;
+    static unsigned int rand_state = 0;
+    int bank;
+
+    if (!rand_state) 
+       rand_state = time(0L);
+    bank = rand_r(&rand_state);
+
+    while (FcCacheHaveBank(bank))
+       bank = rand_r(&rand_state);
+
+    memset (metadata, 0, sizeof(FcCache));
+    FcFontSetNewBank();
+    metadata->count = FcFontSetNeededBytes (set);
+    metadata->magic = FC_CACHE_MAGIC;
+    metadata->bank = bank;
+
+    if (!metadata->count) /* not a failure, no fonts to write */
+       return 0;
+
+    current_dir_block = malloc (metadata->count);
+    if (!current_dir_block)
+       goto bail;
+    final_dir_block = FcFontSetDistributeBytes (metadata, current_dir_block);
+
+    if ((char *)current_dir_block + metadata->count != final_dir_block)
+       goto bail;
+                             
+    if (!FcFontSetSerialize (bank, set))
+       goto bail;
+
+    return current_dir_block;
 
-    fd = open(FcCacheFilename(), O_RDWR | O_CREAT, 0666);
+ bail:
+    free (current_dir_block);
+    return 0;
+}
+
+/* write serialized state to the cache file */
+FcBool
+FcDirCacheWrite (FcFontSet *set, FcStrSet *dirs, const FcChar8 *dir)
+{
+    FcChar8         *cache_file = FcStrPlus (dir, (FcChar8 *) "/" FC_DIR_CACHE_FILE);
+    int            fd, fd_orig, i, dirs_count;
+    FcAtomic       *atomic;
+    FcCache        metadata;
+    off_t          current_arch_start = 0, truncate_to;
+
+    char            *current_arch_machine_name, * header;
+    void           *current_dir_block;
+
+    if (!cache_file)
+        goto bail;
+
+    current_dir_block = FcDirCacheProduce (set, &metadata);
+
+    if (metadata.count && !current_dir_block)
+       goto bail0;
+
+    if (FcDebug () & FC_DBG_CACHE)
+        printf ("FcDirCacheWriteDir cache_file \"%s\"\n", cache_file);
+
+    atomic = FcAtomicCreate (cache_file);
+    if (!atomic)
+        goto bail0;
+
+    if (!FcAtomicLock (atomic))
+        goto bail1;
+
+    fd_orig = open((char *)FcAtomicOrigFile (atomic), O_RDONLY, 0666);
+
+    fd = open((char *)FcAtomicNewFile (atomic), O_RDWR | O_CREAT, 0666);
     if (fd == -1)
-        return FcFalse;
+        goto bail2;
+
+    current_arch_machine_name = FcCacheMachineSignature ();
+    current_arch_start = 0;
+
+    if (fd_orig != -1)
+        current_arch_start = 
+            FcCacheSkipToArch(fd_orig, current_arch_machine_name);
 
-    current_arch_machine_name = FcCacheGetCurrentArch();
-    current_arch_start = FcCacheSkipToArch(fd, current_arch_machine_name);
     if (current_arch_start < 0)
-       current_arch_start = FcCacheNextOffset (fd);
+       current_arch_start = FcCacheNextOffset (lseek(fd_orig, 0, SEEK_END));
 
-    if (!FcCacheMoveDown(fd, current_arch_start))
-       goto bail;
+    if (fd_orig != -1 && !FcCacheCopyOld(fd, fd_orig, current_arch_start))
+       goto bail3;
+
+    if (fd_orig != -1)
+        close (fd_orig);
 
     current_arch_start = lseek(fd, 0, SEEK_CUR);
     if (ftruncate (fd, current_arch_start) == -1)
-       goto bail;
+       goto bail3;
 
-    /* reserve space for arch, count & metadata */
-    if (!FcCacheWriteString (fd, current_arch_machine_name))
-       goto bail;
-    if (!FcCacheWriteString (fd, bytes_written))
-       goto bail;
-    memset (&metadata, 0, sizeof(FcCache));
-    metadata.magic = FC_CACHE_MAGIC;
-    write(fd, &metadata, sizeof(FcCache));
-
-    if (!FcFontSetWrite(fd, config, &metadata)) goto bail;
-    if (!FcPatternWrite(fd, &metadata)) goto bail;
-    if (!FcPatternEltWrite(fd, &metadata)) goto bail;
-    if (!FcValueListWrite(fd, &metadata)) goto bail;
-    if (!FcLangSetWrite(fd, &metadata)) goto bail;
-    if (!FcCharSetWrite(fd, &metadata)) goto bail;
-    if (!FcMatrixWrite(fd, &metadata)) goto bail;
-    if (!FcStrSetWrite(fd, &metadata)) goto bail;
-    if (!FcObjectWrite(fd, &metadata)) goto bail;
+    /* allocate space for subdir names in this block */
+    dirs_count = 0;
+    for (i = 0; i < dirs->size; i++)
+        dirs_count += strlen((char *)dirs->strs[i]) + 1;
+    dirs_count ++;
 
     /* now write the address of the next offset */
-    truncate_to = FcCacheNextOffset(fd) - current_arch_start;
-    lseek(fd, current_arch_start + strlen(current_arch_machine_name)+1, 
-         SEEK_SET);
-    strcpy (bytes_written, l64a(truncate_to));
-    if (!FcCacheWriteString (fd, bytes_written))
-       goto bail;
+    truncate_to = FcCacheNextOffset (FcCacheNextOffset (current_arch_start + sizeof (FcCache) + dirs_count) + metadata.count) - current_arch_start;
+    header = malloc (10 + strlen (current_arch_machine_name));
+    if (!header)
+       goto bail3;
+    sprintf (header, "%8x ", (int)truncate_to);
+    strcat (header, current_arch_machine_name);
+    if (!FcCacheWriteString (fd, header))
+       goto bail4;
 
-    /* now rewrite metadata & truncate file */
-    if (write(fd, &metadata, sizeof(FcCache)) != sizeof (FcCache)) 
-       goto bail;
+    for (i = 0; i < dirs->size; i++)
+        FcCacheWriteString (fd, (char *)dirs->strs[i]);
+    FcCacheWriteString (fd, "");
+
+    write (fd, &metadata, sizeof(FcCache));
+    if (metadata.count)
+    {
+       lseek (fd, FcCacheNextOffset (lseek(fd, 0, SEEK_END)), SEEK_SET);
+       write (fd, current_dir_block, metadata.count);
+       free (current_dir_block);
+    }
+
+    /* this actually serves to pad out the cache file, if needed */
     if (ftruncate (fd, current_arch_start + truncate_to) == -1)
-       goto bail;
+       goto bail4;
 
     close(fd);
+    if (!FcAtomicReplaceOrig(atomic))
+        goto bail4;
+    FcAtomicUnlock (atomic);
+    FcAtomicDestroy (atomic);
     return FcTrue;
 
+ bail4:
+    free (header);
+ bail3:
+    close (fd);
+ bail2:
+    FcAtomicUnlock (atomic);
+ bail1:
+    FcAtomicDestroy (atomic);
+ bail0:
+    unlink ((char *)cache_file);
+    free (cache_file);
+    if (current_dir_block)
+        free (current_dir_block);
  bail:
-    free (current_arch_machine_name);
     return FcFalse;
 }
 
-/* if true, ignore the cache file */
-void
-FcCacheForce (FcBool f)
+static char *
+FcCacheMachineSignature ()
 {
-    force = f;
+    static char buf[MACHINE_SIGNATURE_SIZE];
+    int magic = ENDIAN_TEST;
+    char * m = (char *)&magic;
+
+    sprintf (buf, "%2x%2x%2x%2x "
+            "%4x %4x %4x %4x %4x %4x %4x %4x %4x %4x %4x %4x "
+            "%4x %4x %4x %4x %4x %4x %4x\n", 
+            m[0], m[1], m[2], m[3],
+            (unsigned int)sizeof (char),
+            (unsigned int)sizeof (char *),
+            (unsigned int)sizeof (int),
+            (unsigned int)sizeof (FcPattern),
+            (unsigned int)sizeof (FcPatternEltPtr),
+            (unsigned int)sizeof (struct _FcPatternElt *),
+            (unsigned int)sizeof (FcPatternElt),
+            (unsigned int)sizeof (FcObjectPtr),
+            (unsigned int)sizeof (FcValueListPtr),
+            (unsigned int)sizeof (FcValue),
+            (unsigned int)sizeof (FcValueBinding),
+            (unsigned int)sizeof (struct _FcValueList *),
+            (unsigned int)sizeof (FcCharSet),
+            (unsigned int)sizeof (FcCharLeaf **),
+            (unsigned int)sizeof (FcChar16 *),
+            (unsigned int)sizeof (FcChar16),
+            (unsigned int)sizeof (FcCharLeaf),
+            (unsigned int)sizeof (FcChar32),
+            (unsigned int)sizeof (FcCache));
+
+    return buf;
+}
+
+static int banks_ptr = 0, banks_alloc = 0;
+static int * bankId = 0, * bankIdx = 0;
+
+static FcBool
+FcCacheHaveBank (int bank)
+{
+    int i;
+
+    if (bank < FC_BANK_FIRST)
+       return FcTrue;
+
+    for (i = 0; i < banks_ptr; i++)
+       if (bankId[i] == bank)
+           return FcTrue;
+
+    return FcFalse;
+}
+
+int
+FcCacheBankToIndex (int bank)
+{
+    int i, j;
+
+    for (i = 0; i < banks_ptr; i++)
+       if (bankId[bankIdx[i]] == bank)
+       {
+           int t = bankIdx[i];
+
+           for (j = i; j > 0; j--)
+               bankIdx[j] = bankIdx[j-1];
+           bankIdx[0] = t;
+           return t;
+       }
+
+    if (banks_ptr >= banks_alloc)
+    {
+       int * b, * bidx;
+       b = realloc (bankId, (banks_alloc + 4) * sizeof(int));
+       if (!b)
+           return -1;
+       bankId = b;
+
+       bidx = realloc (bankIdx, (banks_alloc + 4) * sizeof(int));
+       if (!bidx)
+           return -1;
+       bankIdx = bidx;
+
+       banks_alloc += 4;
+    }
+
+    i = banks_ptr++;
+    bankId[i] = bank;
+    bankIdx[i] = i;
+    return i;
 }