]> git.wh0rd.org - dump.git/blobdiff - dump/main.c
Regenerate configure.
[dump.git] / dump / main.c
index 007a37d8b0fbc97171de505be17f4fe4d07e3cdd..20c2ad2be442db2d05413af784d9f88441503653 100644 (file)
@@ -37,7 +37,7 @@
 
 #ifndef lint
 static const char rcsid[] =
-       "$Id: main.c,v 1.86 2003/05/12 14:16:39 stelian Exp $";
+       "$Id: main.c,v 1.99 2011/06/10 13:41:41 stelian Exp $";
 #endif /* not lint */
 
 #include <config.h>
@@ -45,6 +45,7 @@ static const char rcsid[] =
 #include <ctype.h>
 #include <compaterr.h>
 #include <fcntl.h>
+#include <fstab.h>
 #include <signal.h>
 #include <stdio.h>
 #include <stdlib.h>
@@ -57,6 +58,7 @@ static const char rcsid[] =
 #include <sys/time.h>
 #include <time.h>
 #ifdef __linux__
+#include <linux/types.h>
 #ifdef HAVE_EXT2FS_EXT2_FS_H
 #include <ext2fs/ext2_fs.h>
 #else
@@ -65,6 +67,7 @@ static const char rcsid[] =
 #include <ext2fs/ext2fs.h>
 #include <sys/stat.h>
 #include <bsdcompat.h>
+#include <linux/fs.h>  /* for definition of BLKFLSBUF */
 #elif defined sunos
 #include <sys/vnode.h>
 
@@ -81,10 +84,15 @@ static const char rcsid[] =
 #include "pathnames.h"
 #include "bylabel.h"
 
+#include "transformation.h"
+#include "indexer.h"
+
 #ifndef SBOFF
 #define SBOFF (SBLOCK * DEV_BSIZE)
 #endif
 
+int abortifconnerr = 1;                /* set to 1 if lib dumprmt.o should exit on connection errors
+                                otherwise just print a message using msg */
 /*
  * Dump maps used to describe what is to be dumped.
  */
@@ -99,8 +107,8 @@ const char *disk;    /* name of the disk file */
 char   tape[MAXPATHLEN];/* name of the tape file */
 char   *tapeprefix;    /* prefix of the tape file */
 char   *dumpdates;     /* name of the file containing dump date information*/
-char   lastlevel;      /* dump level of previous dump */
-char   level;          /* dump level of this dump */
+char   lastlevel[NUM_STR_SIZE];/* dump level of previous dump */
+char   level[NUM_STR_SIZE];/* dump level of this dump */
 int    zipflag;        /* which compression method */
 int    Afile = -1;     /* archive file descriptor */
 int    AfileActive = 1;/* Afile flag */
@@ -118,7 +126,7 @@ int fifoout;        /* true => output to fifo */
 dump_ino_t curino;     /* current inumber; used globally */
 int    newtape;        /* new tape flag */
 int    density;        /* density in 0.1" units */
-long   tapesize;       /* estimated tape size, blocks */
+long long tapesize;    /* estimated tape size, blocks */
 long   tsize;          /* tape size in 0.1" units */
 long   asize;          /* number of 0.1" units written on current tape */
 int    etapes;         /* estimated number of tapes */
@@ -144,13 +152,6 @@ int        dev_bshift;     /* log2(dev_bsize) */
 int    tp_bshift;      /* log2(TP_BSIZE) */
 dump_ino_t volinfo[TP_NINOS];/* which inode on which volume archive info */
 
-#ifdef USE_QFA
-int    gTapeposfd;
-char   *gTapeposfile;
-char   gTps[255];
-int32_t        gThisDumpDate;
-#endif /* USE_QFA */
-
 struct dumptime *dthead;       /* head of the list version */
 int    nddates;                /* number of records (might be zero) */
 int    ddates_in;              /* we have read the increment file */
@@ -167,12 +168,15 @@ int       tapepos = 0;    /* assume no QFA tapeposition needed by user */
 #endif /* USE_QFA */
 int    dokerberos = 0; /* Use Kerberos authentication */
 long   dev_bsize = 1;  /* recalculated below */
-long   blocksperfile;  /* output blocks per file */
+long   *blocksperfiles = NULL; /* output blocks per file(s) */
 char   *host = NULL;   /* remote host (if any) */
 int    sizest = 0;     /* return size estimate only */
 int    compressed = 0; /* use zlib to compress the output, compress level 1-9 */
 long long bytes_written = 0; /* total bytes written */
 long   uncomprblks = 0;/* uncompressed blocks written */
+Transformation *transformation = &transformation_null;
+
+long smtc_errno;
 
 #ifdef __linux__
 char   *__progname;
@@ -180,14 +184,17 @@ char      *__progname;
 
 int    maxbsize = 1024*1024;     /* XXX MAXBSIZE from sys/param.h */
 static long numarg __P((const char *, long, long));
+static long *numlistarg __P((const char *, long, long));
 static void obsolete __P((int *, char **[]));
 static void usage __P((void));
 static void do_exclude_from_file __P((char *));
 static void do_exclude_ino_str __P((char *));
 static void incompat_flags __P((int, char, char));
 
-static char* iexclude_bitmap = NULL;   /* the inode exclude bitmap */
-static int iexclude_bitmap_bytes = 0;  /* size of bitmap in bytes */
+static char* iexclude_bitmap = NULL;           /* the inode exclude bitmap */
+static unsigned int iexclude_bitmap_bytes = 0; /* size of bitmap in bytes */
+
+Indexer *indexer = &indexer_legacy;
 
 int
 main(int argc, char *argv[])
@@ -197,7 +204,7 @@ main(int argc, char *argv[])
        struct dinode *dp;
        struct mntent *dt;
        char *map;
-       int ch;
+       int ch, pch = 0;
        int i, anydirskipped;
        int aflag = 0, bflag = 0, Tflag = 0, honorlevel = 1;
        dump_ino_t maxino;
@@ -229,17 +236,17 @@ main(int argc, char *argv[])
        dumpdates = _PATH_DUMPDATES;
        if (TP_BSIZE / DEV_BSIZE == 0 || TP_BSIZE % DEV_BSIZE != 0)
                quit("TP_BSIZE must be a multiple of DEV_BSIZE\n");
-       level = '0';
+       memset(&lastlevel, 0, NUM_STR_SIZE);
+       memset(&level, 0, NUM_STR_SIZE);
+       transformation = &transformation_null;
+       /* Default dump level is zero. */
+       level[0] = '0';
 
        if (argc < 2)
                usage();
 
        obsolete(&argc, &argv);
 
-#ifdef USE_QFA
-       gTapeposfd = -1;
-#endif /* USE_QFA */
-
        while ((ch = getopt(argc, argv,
                            "0123456789A:aB:b:cd:D:e:E:f:F:h:I:"
 #ifdef HAVE_BZLIB
@@ -265,7 +272,11 @@ main(int argc, char *argv[])
                /* dump level */
                case '0': case '1': case '2': case '3': case '4':
                case '5': case '6': case '7': case '8': case '9':
-                       level = ch;
+                       if ((pch >= '0') && (pch <= '9') && (strlen(level) < NUM_STR_SIZE))
+                               level[strlen(level)] = ch;
+                       else 
+                               level[0] = ch;
+                       pch = ch;
                        break;
 
                case 'A':               /* archive file */
@@ -279,7 +290,7 @@ main(int argc, char *argv[])
 
                case 'B':               /* blocks per output file */
                        unlimited = 0;
-                       blocksperfile = numarg("number of blocks per file",
+                       blocksperfiles = numlistarg("number of blocks per file",
                            1L, 0L);
                        break;
 
@@ -344,6 +355,7 @@ main(int argc, char *argv[])
                case 'j':
                        compressed = 2;
                        zipflag = COMPRESS_BZLIB;
+                       transformation = transformation_bzlib_factory(1, 2);
                        if (optarg)
                                compressed = numarg("compress level", 1L, 9L);
                        break;
@@ -395,7 +407,7 @@ main(int argc, char *argv[])
 
 #ifdef USE_QFA
                case 'Q':               /* create tapeposfile */
-                       gTapeposfile = optarg;
+                       //gTapeposfile = optarg;  // FIXME - communicate filename to indexer.
                        tapepos = 1;
                        break;
 #endif /* USE_QFA */
@@ -417,7 +429,7 @@ main(int argc, char *argv[])
                                exit(X_STARTUP);
                        }
                        Tflag = 1;
-                       lastlevel = '?';
+                       lastlevel[0] = '?'; lastlevel[1] = '\0'; 
                        break;
 
                case 'u':               /* update dumpdates */
@@ -435,6 +447,7 @@ main(int argc, char *argv[])
 #ifdef HAVE_LZO
                case 'y':
                        compressed = 2;
+                               transformation = transformation_lzo_factory(1);
                        zipflag = COMPRESS_LZO;
                        break;
 #endif /* HAVE_LZO */
@@ -442,6 +455,7 @@ main(int argc, char *argv[])
 #ifdef HAVE_ZLIB
                case 'z':
                        compressed = 2;
+                       transformation = transformation_zlib_factory(1, 2);
                        zipflag = COMPRESS_ZLIB;
                        if (optarg)
                                compressed = numarg("compress level", 1L, 9L);
@@ -467,7 +481,7 @@ main(int argc, char *argv[])
        }
        argc--;
        incompat_flags(Tflag && uflag, 'T', 'u');
-       incompat_flags(aflag && blocksperfile, 'a', 'B');
+       incompat_flags(aflag && blocksperfiles, 'a', 'B');
        incompat_flags(aflag && cartridge, 'a', 'c');
        incompat_flags(aflag && density, 'a', 'd');
        incompat_flags(aflag && tsize, 'a', 's');
@@ -477,8 +491,9 @@ main(int argc, char *argv[])
                tapeprefix = "standard output";
        }
 
-       if (blocksperfile && !compressed)
-               blocksperfile = blocksperfile / ntrec * ntrec; /* round down */
+       if (blocksperfiles && !compressed)
+               for (i = 1; i <= *blocksperfiles; i++)
+                       blocksperfiles[i] = blocksperfiles[i] / ntrec * ntrec; /* round down */
        else if (!unlimited) {
                /*
                 * Determine how to default tape size and density
@@ -496,26 +511,38 @@ main(int argc, char *argv[])
                        tsize = cartridge ? 1700L*120L : 2300L*120L;
        }
 
-       if (strchr(tapeprefix, ':')) {
-               host = tapeprefix;
-               tapeprefix = strchr(host, ':');
-               *tapeprefix++ = '\0';
+       {
+               int i;
+               char *n;
+
+               if ((n = strchr(tapeprefix, ':'))) {
+                       for (i = 0; i < (n - tapeprefix); i++) {
+                               if (tapeprefix[i] == '/')
+                                       break;
+                       }
+                       if (tapeprefix[i] != '/') {
+                               host = tapeprefix;
+                               tapeprefix = strchr(host, ':');
+                               *tapeprefix++ = '\0';
 #ifdef RDUMP
-               if (index(tapeprefix, '\n')) {
-                       msg("invalid characters in tape\n");
-                       msg("The ENTIRE dump is aborted.\n");
-                       exit(X_STARTUP);
-               }
-               if (rmthost(host) == 0)
-                       exit(X_STARTUP);
+                               if (index(tapeprefix, '\n')) {
+                                       msg("invalid characters in tape\n");
+                                       msg("The ENTIRE dump is aborted.\n");
+                                       exit(X_STARTUP);
+                               }
+                               if (rmthost(host) == 0)
+                                       exit(X_STARTUP);
 #else
-               msg("remote dump not enabled\n");
-               msg("The ENTIRE dump is aborted.\n");
-               exit(X_STARTUP);
+                               msg("remote dump not enabled\n");
+                               msg("The ENTIRE dump is aborted.\n");
+                               exit(X_STARTUP);
 #endif
+                       }
+               }
        }
+
        (void)setuid(getuid()); /* rmthost() is the only reason to be setuid */
-       if (Apath && (Afile = open(Apath, O_WRONLY|O_CREAT|O_TRUNC,
+       if (Apath && (Afile = OPEN(Apath, O_WRONLY|O_CREAT|O_TRUNC,
                                   S_IRUSR | S_IWUSR | S_IRGRP |
                                   S_IWGRP | S_IROTH | S_IWOTH)) < 0) {
                msg("Cannot open %s for writing: %s\n",
@@ -558,13 +585,9 @@ main(int argc, char *argv[])
                        diskparam[i] = '\0';
 
        disk = get_device_name(diskparam);
-       if (!disk) {            /* null means the disk is some form
-                                  of LABEL= or UID= but it was not
-                                  found */
-               msg("Cannot find a disk having %s\n", diskparam);
-               msg("The ENTIRE dump is aborted.\n");
-               exit(X_STARTUP);
-       }
+       if (!disk)
+               disk = strdup(diskparam);
+
        /*
         *      disk can be either the full special file name,
         *      the suffix of the special file name,
@@ -626,7 +649,7 @@ main(int argc, char *argv[])
        }
 
        if (directory[0] != 0) {
-               if (level != '0') {
+               if (atoi(level) != 0) {
                        msg("Only level 0 dumps are allowed on a subdirectory\n");
                        msg("The ENTIRE dump is aborted.\n");
                        exit(X_STARTUP);
@@ -641,7 +664,7 @@ main(int argc, char *argv[])
        spcl.c_filesys[NAMELEN-1] = '\0';
        (void)gethostname(spcl.c_host, NAMELEN);
        spcl.c_host[NAMELEN-1] = '\0';
-       spcl.c_level = level - '0';
+       spcl.c_level = atoi(level);
        spcl.c_type = TS_TAPE;
        if (!Tflag)
                getdumptime(uflag);             /* dumpdates snarfed */
@@ -649,7 +672,7 @@ main(int argc, char *argv[])
        if (spcl.c_ddate == 0 && spcl.c_level) {
                msg("WARNING: There is no inferior level dump on this filesystem\n"); 
                msg("WARNING: Assuming a level 0 dump by default\n");
-               level = '0';
+               level[0] = '0'; level[1] = '\0';
                spcl.c_level = 0;
        }
 
@@ -666,13 +689,10 @@ main(int argc, char *argv[])
 
        if (!sizest) {
 
-               msg("Date of this level %c dump: %s", level,
+               msg("Date of this level %s dump: %s", level,
                    ctime4(&spcl.c_date));
-#ifdef USE_QFA
-               gThisDumpDate = spcl.c_date;
-#endif
                if (spcl.c_ddate)
-                       msg("Date of last level %c dump: %s", lastlevel,
+                       msg("Date of last level %s dump: %s", lastlevel,
                            ctime4(&spcl.c_ddate));
                msg("Dumping %s (%s) ", disk, spcl.c_filesys);
                if (host)
@@ -688,7 +708,7 @@ main(int argc, char *argv[])
                exit(X_STARTUP);
        }
 #ifdef BLKFLSBUF
-       (void)ioctl(diskfd, BLKFLSBUF);
+       (void)ioctl(diskfd, BLKFLSBUF, 0);
 #endif
        retval = dump_fs_open(disk, &fs);
        if (retval) {
@@ -769,7 +789,7 @@ main(int argc, char *argv[])
                        if (zipflag == COMPRESS_LZO) 
                                msg("Compressing output (lzo)\n");
                        else
-                               msg("Compressing output at compression level %d (%s)\n", 
+                               msg("Compressing output at transformation level %d (%s)\n",
                                        compressed, zipflag == COMPRESS_ZLIB ? "zlib" : "bzlib");
                }
        }
@@ -845,13 +865,25 @@ main(int argc, char *argv[])
 
        if (pipeout || unlimited) {
                tapesize += 1 + ntrec;  /* 1 map header + trailer blocks */
-               msg("estimated %ld blocks.\n", tapesize);
+               msg("estimated %lld blocks.\n", tapesize);
        } else {
                double fetapes;
 
-               if (blocksperfile)
-                       fetapes = (double) tapesize / blocksperfile;
-               else if (cartridge) {
+               if (blocksperfiles) {
+                       long long tapesize_left;
+
+                       tapesize_left = tapesize;
+                       fetapes = 0;
+                       for (i = 1; i < *blocksperfiles && tapesize_left; i++) {
+                               fetapes++;
+                               if (tapesize_left > blocksperfiles[i])
+                                       tapesize_left -= blocksperfiles[i];
+                               else
+                                       tapesize_left = 0;
+                       }
+                       if (tapesize_left)
+                               fetapes += (double)tapesize_left / blocksperfiles[*blocksperfiles];
+               } else if (cartridge) {
                        /* Estimate number of tapes, assuming streaming stops at
                           the end of each block written, and not in mid-block.
                           Assume no erroneous blocks; this can be compensated
@@ -885,27 +917,12 @@ main(int argc, char *argv[])
                tapesize += (etapes - 1) *
                        (howmany(mapsize * sizeof(char), TP_BSIZE) + 1);
                tapesize += etapes + ntrec;     /* headers + trailer blks */
-               msg("estimated %ld blocks on %3.2f tape(s).\n",
+               msg("estimated %lld blocks on %3.2f tape(s).\n",
                    tapesize, fetapes);
        }
 
 #ifdef USE_QFA
-       if (tapepos) {
-               msg("writing QFA positions to %s\n", gTapeposfile);
-               if ((gTapeposfd = open(gTapeposfile,
-                                      O_WRONLY|O_CREAT|O_TRUNC,
-                                      S_IRUSR | S_IWUSR | S_IRGRP | S_IWGRP
-                                      | S_IROTH | S_IWOTH)) < 0)
-                       quit("can't open tapeposfile\n");
-               /* print QFA-file header */
-               snprintf(gTps, sizeof(gTps), "%s\n%s\n%ld\n\n", QFA_MAGIC, QFA_VERSION, (unsigned long)spcl.c_date);
-               gTps[sizeof(gTps) - 1] = '\0';
-               if (write(gTapeposfd, gTps, strlen(gTps)) != (ssize_t)strlen(gTps))
-                       quit("can't write tapeposfile\n");
-               sprintf(gTps, "ino\ttapeno\ttapepos\n");
-               if (write(gTapeposfd, gTps, strlen(gTps)) != (ssize_t)strlen(gTps))
-                       quit("can't write tapeposfile\n");
-       }
+       indexer->openQfa();
 #endif /* USE_QFA */
 
        /*
@@ -980,6 +997,8 @@ main(int argc, char *argv[])
        tend_writing = time(NULL);
        spcl.c_type = TS_END;
 
+       indexer->foo();
+
        if (Afile >= 0) {
                volinfo[1] = ROOTINO;
                memcpy(spcl.c_inos, volinfo, TP_NINOS * sizeof(dump_ino_t));
@@ -1014,7 +1033,7 @@ main(int argc, char *argv[])
                    spcl.c_tapea / (tend_writing - tstart_writing));
 
        putdumptime();
-       msg("Date of this level %c dump: %s", level,
+       msg("Date of this level %s dump: %s", level,
                spcl.c_date == 0 ? "the epoch\n" : ctime4(&spcl.c_date));
        msg("Date this dump completed:  %s", ctime(&tnow));
 
@@ -1026,8 +1045,8 @@ main(int argc, char *argv[])
                        spcl.c_tapea, tapekb, rate);
        }
 
-       if (Afile >= 0)
-               msg("Archiving dump to %s\n", Apath);
+       indexer->close();
+       indexer->closeQfa();
 
        broadcast("DUMP IS DONE!\7\7\n");
        msg("DUMP IS DONE\n");
@@ -1053,7 +1072,7 @@ usage(void)
        fprintf(stderr, "%s %s\n", __progname, _DUMP_VERSION);
 #endif
        fprintf(stderr,
-               "usage:\t%s [-0123456789ac"
+               "usage:\t%s [-level#] [-ac"
 #ifdef KERBEROS
                "k"
 #endif
@@ -1099,6 +1118,37 @@ numarg(const char *meaning, long vmin, long vmax)
        return (val);
 }
 
+/*
+ * The same as numarg, just that it expects a comma separated list of numbers
+ * and returns an array of longs with the first element containing the number
+ * values in that array.
+ */
+static long *
+numlistarg(const char *meaning, long vmin, long vmax)
+{
+       char *p;
+       long *vals,*curval;
+       long valnum;
+
+       p = optarg;
+       vals = NULL;
+       valnum = 0;
+       do {
+               valnum++;
+               if ( !(vals = realloc(vals, (valnum + 1) * sizeof(*vals))) )
+                       errx(X_STARTUP, "allocating memory failed");
+               curval = vals + valnum;
+               *curval = strtol(p, &p, 10);
+               if (*p && *p!=',')
+                       errx(X_STARTUP, "illegal %s -- %s", meaning, optarg);
+               if (*curval < vmin || (vmax && *curval > vmax))
+                       errx(X_STARTUP, "%s must be between %ld and %ld", meaning, vmin, vmax);
+               *vals = valnum;
+               if (*p) p++;
+       } while(*p);
+       return (vals);
+}
+
 void
 sig(int signo)
 {
@@ -1258,18 +1308,18 @@ do_exclude_ino(dump_ino_t ino, const char *reason)
        /* check for enough mem; initialize */
        if ((ino/8 + 1) > iexclude_bitmap_bytes) {
                if (iexclude_bitmap_bytes == 0) {
+                       unsigned int j;
                        iexclude_bitmap_bytes = 2 * (ino/8 + 1);
                        iexclude_bitmap = (char*) malloc(iexclude_bitmap_bytes);
                        if (iexclude_bitmap == NULL) {
                                msg("allocating memory failed\n");
                                exit(X_STARTUP);
                        }
-                       int j;
                        for (j = 0; j < iexclude_bitmap_bytes; j++)
                                iexclude_bitmap[j] = 0;
                }
                else {
-                       int oldsize = iexclude_bitmap_bytes;
+                       unsigned int oldsize = iexclude_bitmap_bytes;
                        iexclude_bitmap_bytes *= 
                                (ino / 8 + 1) / iexclude_bitmap_bytes + 1;
                        iexclude_bitmap = (char*) realloc(iexclude_bitmap,