]> git.wh0rd.org - dump.git/blobdiff - dump/main.c
Added LZO compression.
[dump.git] / dump / main.c
index c76f9ae693237eaf7bbe01a99bb6d74ef467c27d..379e876c4bd922c248c587889434323d342aaa43 100644 (file)
  * 2. Redistributions in binary form must reproduce the above copyright
  *    notice, this list of conditions and the following disclaimer in the
  *    documentation and/or other materials provided with the distribution.
- * 3. All advertising materials mentioning features or use of this software
- *    must display the following acknowledgement:
- *     This product includes software developed by the University of
- *     California, Berkeley and its contributors.
- * 4. Neither the name of the University nor the names of its contributors
+ * 3. Neither the name of the University nor the names of its contributors
  *    may be used to endorse or promote products derived from this software
  *    without specific prior written permission.
  *
@@ -41,7 +37,7 @@
 
 #ifndef lint
 static const char rcsid[] =
-       "$Id: main.c,v 1.65 2002/01/16 09:32:14 stelian Exp $";
+       "$Id: main.c,v 1.85 2003/03/31 09:42:58 stelian Exp $";
 #endif /* not lint */
 
 #include <config.h>
@@ -49,18 +45,18 @@ static const char rcsid[] =
 #include <ctype.h>
 #include <compaterr.h>
 #include <fcntl.h>
-#include <fstab.h>
 #include <signal.h>
 #include <stdio.h>
 #include <stdlib.h>
 #include <string.h>
 #include <unistd.h>
+#include <errno.h>
+#include <mntent.h>
 
 #include <sys/param.h>
 #include <sys/time.h>
 #include <time.h>
 #ifdef __linux__
-#include <linux/fs.h>
 #ifdef HAVE_EXT2FS_EXT2_FS_H
 #include <ext2fs/ext2_fs.h>
 #else
@@ -96,6 +92,8 @@ int   mapsize;        /* size of the state maps */
 char   *usedinomap;    /* map of allocated inodes */
 char   *dumpdirmap;    /* map of directories to be dumped */
 char   *dumpinomap;    /* map of files to be dumped */
+char   *metainomap;    /* which of the inodes in dumpinomap will get
+                          only their metadata dumped */
 
 const char *disk;      /* name of the disk file */
 char   tape[MAXPATHLEN];/* name of the tape file */
@@ -103,10 +101,14 @@ char      *tapeprefix;    /* prefix of the tape file */
 char   *dumpdates;     /* name of the file containing dump date information*/
 char   lastlevel;      /* dump level of previous dump */
 char   level;          /* dump level of this dump */
-int    bzipflag;       /* compression is done using bzlib */
+int    zipflag;        /* which compression method */
+int    Afile = -1;     /* archive file descriptor */
+int    AfileActive = 1;/* Afile flag */
 int    uflag;          /* update flag */
+int    mflag;          /* dump metadata only if possible */
 int    Mflag;          /* multi-volume flag */
 int    qflag;          /* quit on errors flag */
+int    vflag;          /* verbose flag */
 int     breademax = 32; /* maximum number of bread errors before we quit */
 char   *eot_script;    /* end of volume script fiag */
 int    diskfd;         /* disk file descriptor */
@@ -140,6 +142,7 @@ long        xferrate;       /* averaged transfer rate of all volumes */
 long   dev_bsize;      /* block size of underlying disk device */
 int    dev_bshift;     /* log2(dev_bsize) */
 int    tp_bshift;      /* log2(TP_BSIZE) */
+dump_ino_t volinfo[TP_NINOS];/* which inode on which volume archive info */
 
 #ifdef USE_QFA
 int    gTapeposfd;
@@ -157,7 +160,7 @@ int notify = 0;     /* notify operator flag */
 int    blockswritten = 0;      /* number of blocks written on current tape */
 int    tapeno = 0;     /* current tape number */
 int    density = 0;    /* density in bytes/0.1" " <- this is for hilit19 */
-int    ntrec = NTREC;  /* # tape blocks in each tape record */
+int    ntrec = NTREC;  /* # blocks in each tape record */
 int    cartridge = 0;  /* Assume non-cartridge tape */
 #ifdef USE_QFA
 int    tapepos = 0;    /* assume no QFA tapeposition needed by user */
@@ -175,7 +178,7 @@ long        uncomprblks = 0;/* uncompressed blocks written */
 char   *__progname;
 #endif
 
-int    maxbsize = 64*1024;     /* XXX MAXBSIZE from sys/param.h */
+int    maxbsize = 1024*1024;     /* XXX MAXBSIZE from sys/param.h */
 static long numarg __P((const char *, long, long));
 static void obsolete __P((int *, char **[]));
 static void usage __P((void));
@@ -189,12 +192,12 @@ static int iexclude_num = 0;                      /* number of elements in the list */
 int
 main(int argc, char *argv[])
 {
-       register dump_ino_t ino;
-       register int dirty;
-       register struct dinode *dp;
-       register struct fstab *dt;
-       register char *map;
-       register int ch;
+       dump_ino_t ino;
+       int dirty;
+       struct dinode *dp;
+       struct mntent *dt;
+       char *map;
+       int ch;
        int i, anydirskipped;
        int aflag = 0, bflag = 0, Tflag = 0, honorlevel = 1;
        dump_ino_t maxino;
@@ -207,6 +210,7 @@ main(int argc, char *argv[])
 #endif
        time_t tnow;
        char *diskparam;
+       char *Apath = NULL;
 
        spcl.c_label[0] = '\0';
        spcl.c_date = time(NULL);
@@ -237,7 +241,7 @@ main(int argc, char *argv[])
 #endif /* USE_QFA */
 
        while ((ch = getopt(argc, argv,
-                           "0123456789aB:b:cd:e:E:f:F:h:I:"
+                           "0123456789A:aB:b:cd:D:e:E:f:F:h:I:"
 #ifdef HAVE_BZLIB
                            "j::"
 #endif
@@ -245,11 +249,14 @@ main(int argc, char *argv[])
 #ifdef KERBEROS
                            "k"
 #endif
-                           "Mnq"
+                           "mMnq"
 #ifdef USE_QFA
                            "Q:"
 #endif
-                           "s:ST:uWw"
+                           "s:ST:uvWw"
+#ifdef HAVE_LZO
+                           "y"
+#endif
 #ifdef HAVE_ZLIB
                            "z::"
 #endif
@@ -261,6 +268,10 @@ main(int argc, char *argv[])
                        level = ch;
                        break;
 
+               case 'A':               /* archive file */
+                       Apath = optarg;
+                       break;
+
                case 'a':               /* `auto-size', Write to EOM. */
                        unlimited = 1;
                        aflag = 1;
@@ -274,7 +285,7 @@ main(int argc, char *argv[])
 
                case 'b':               /* blocks per tape write */
                        ntrec = numarg("number of blocks per write",
-                           1L, 1000L);
+                           1L, 1048576L);
                        if (ntrec > maxbsize/1024) {
                                msg("Please choose a blocksize <= %dkB\n",
                                        maxbsize/1024);
@@ -294,6 +305,10 @@ main(int argc, char *argv[])
                        density = numarg("density", 10L, 327670L) / 10;
                        if (density >= 625 && !bflag)
                                ntrec = HIGHDENSITYTREC;
+                       break;
+
+               case 'D':               /* path of dumpdates file */
+                       dumpdates = optarg;
                        break;
                        
                                        /* 04-Feb-00 ILC */
@@ -328,7 +343,7 @@ main(int argc, char *argv[])
 #ifdef HAVE_BZLIB
                case 'j':
                        compressed = 2;
-                       bzipflag = 1;
+                       zipflag = COMPRESS_BZLIB;
                        if (optarg)
                                compressed = numarg("compress level", 1L, 9L);
                        break;
@@ -336,7 +351,7 @@ main(int argc, char *argv[])
 
                case 'I':
                        breademax =
-                         numarg ("number of errors to ignore", 1L, 0L);
+                         numarg ("number of errors to ignore", 0L, 0L);
                        break;
 
 #ifdef KERBEROS
@@ -362,6 +377,10 @@ main(int argc, char *argv[])
                        }
                        break;
 
+               case 'm':               /* metadata only flag */
+                       mflag = 1;
+                       break;
+
                case 'M':               /* multi-volume flag */
                        Mflag = 1;
                        break;
@@ -405,13 +424,25 @@ main(int argc, char *argv[])
                        uflag = 1;
                        break;
 
+               case 'v':               /* verbose */
+                       vflag = 1;
+                       break;
+
                case 'W':               /* what to do */
                case 'w':
                        lastdump(ch);
                        exit(X_FINOK);  /* do nothing else */
+#ifdef HAVE_LZO
+               case 'y':
+                       compressed = 2;
+                       zipflag = COMPRESS_LZO;
+                       break;
+#endif /* HAVE_LZO */
+
 #ifdef HAVE_ZLIB
                case 'z':
                        compressed = 2;
+                       zipflag = COMPRESS_ZLIB;
                        if (optarg)
                                compressed = numarg("compress level", 1L, 9L);
                        break;
@@ -484,6 +515,14 @@ main(int argc, char *argv[])
 #endif
        }
        (void)setuid(getuid()); /* rmthost() is the only reason to be setuid */
+       if (Apath && (Afile = open(Apath, O_WRONLY|O_CREAT|O_TRUNC,
+                                  S_IRUSR | S_IWUSR | S_IRGRP |
+                                  S_IWGRP | S_IROTH | S_IWOTH)) < 0) {
+               msg("Cannot open %s for writing: %s\n",
+                   optarg, strerror(errno));
+               msg("The ENTIRE dump is aborted.\n");
+               exit(X_STARTUP);
+       }
 
        if (signal(SIGHUP, SIG_IGN) != SIG_IGN)
                signal(SIGHUP, sig);
@@ -515,7 +554,8 @@ main(int argc, char *argv[])
         */
        i = strlen(diskparam) - 1;
        if (i > 1 && diskparam[i] == '/')
-               diskparam[i] = '\0';
+               if (!(i == 6 && !strcmp(diskparam, "LABEL=/")))
+                       diskparam[i] = '\0';
 
        disk = get_device_name(diskparam);
        if (!disk) {            /* null means the disk is some form
@@ -542,9 +582,9 @@ main(int argc, char *argv[])
                        msg("The ENTIRE dump is aborted.\n");
                        exit(X_STARTUP);
                }
-               disk = rawname(dt->fs_spec);
-               (void)strncpy(spcl.c_dev, dt->fs_spec, NAMELEN);
-               (void)strncpy(spcl.c_filesys, dt->fs_file, NAMELEN);
+               disk = rawname(dt->mnt_fsname);
+               (void)strncpy(spcl.c_dev, dt->mnt_fsname, NAMELEN);
+               (void)strncpy(spcl.c_filesys, dt->mnt_dir, NAMELEN);
        } else {
 #ifdef __linux__
 #ifdef HAVE_REALPATH
@@ -556,9 +596,9 @@ main(int argc, char *argv[])
                 * a filesystem specified in fstab. Search for it.
                 */
                if ((dt = fstabsearch(pathname)) != NULL) {
-                       disk = rawname(dt->fs_spec);
-                       (void)strncpy(spcl.c_dev, dt->fs_spec, NAMELEN);
-                       (void)strncpy(spcl.c_filesys, dt->fs_file, NAMELEN);
+                       disk = rawname(dt->mnt_fsname);
+                       (void)strncpy(spcl.c_dev, dt->mnt_fsname, NAMELEN);
+                       (void)strncpy(spcl.c_filesys, dt->mnt_dir, NAMELEN);
                } else {
                        /*
                         * The argument was not found in the fstab
@@ -567,11 +607,11 @@ main(int argc, char *argv[])
                        dt = fstabsearchdir(pathname, directory);
                        if (dt != NULL) {
                                char name[MAXPATHLEN];
-                               (void)strncpy(spcl.c_dev, dt->fs_spec, NAMELEN);
+                               (void)strncpy(spcl.c_dev, dt->mnt_fsname, NAMELEN);
                                (void)snprintf(name, sizeof(name), "%s (dir %s)",
-                                             dt->fs_file, directory);
+                                             dt->mnt_dir, directory);
                                (void)strncpy(spcl.c_filesys, name, NAMELEN);
-                               disk = rawname(dt->fs_spec);
+                               disk = rawname(dt->mnt_fsname);
                        } else {
                                (void)strncpy(spcl.c_dev, disk, NAMELEN);
                                (void)strncpy(spcl.c_filesys, "an unlisted file system",
@@ -683,9 +723,7 @@ main(int argc, char *argv[])
        if (TP_BSIZE != (1 << tp_bshift))
                quit("TP_BSIZE (%d) is not a power of 2", TP_BSIZE);
        maxino = fs->super->s_inodes_count + 1;
-#if    0
        spcl.c_flags |= DR_NEWINODEFMT;
-#endif
 #else  /* __linux __*/
        if ((diskfd = open(disk, O_RDONLY)) < 0) {
                msg("Cannot open %s\n", disk);
@@ -714,7 +752,9 @@ main(int argc, char *argv[])
        usedinomap = (char *)calloc((unsigned) mapsize, sizeof(char));
        dumpdirmap = (char *)calloc((unsigned) mapsize, sizeof(char));
        dumpinomap = (char *)calloc((unsigned) mapsize, sizeof(char));
-       if (usedinomap == NULL || dumpdirmap == NULL || dumpinomap == NULL)
+       metainomap = (char *)calloc((unsigned) mapsize, sizeof(char));
+       if (usedinomap == NULL || dumpdirmap == NULL || 
+           dumpinomap == NULL || metainomap == NULL)
                quit("out of memory allocating inode maps\n");
        tapesize = 2 * (howmany(mapsize * sizeof(char), TP_BSIZE) + 1);
 
@@ -722,10 +762,16 @@ main(int argc, char *argv[])
 
        if (!sizest) {
                msg("Label: %s\n", spcl.c_label);
-
-               if (compressed)
-                       msg("Compressing output at compression level %d (%s)\n", 
-                           compressed, bzipflag ? "bzlib" : "zlib");
+               
+               msg("Writing %d Kilobyte records\n", ntrec);
+
+               if (compressed) {
+                       if (zipflag == COMPRESS_LZO) 
+                               msg("Compressing output (lzo)\n");
+                       else
+                               msg("Compressing output at compression level %d (%s)\n", 
+                                       compressed, zipflag == COMPRESS_ZLIB ? "zlib" : "bzlib");
+               }
        }
 
 #if defined(SIGINFO)
@@ -738,7 +784,7 @@ main(int argc, char *argv[])
        if (directory[0] == 0)
                anydirskipped = mapfiles(maxino, &tapesize);
        else {
-               if (STAT(pathname, &statbuf) == -1) {
+               if (LSTAT(pathname, &statbuf) == -1) {
                        msg("File cannot be accessed (%s).\n", pathname);
                        msg("The ENTIRE dump is aborted.\n");
                        exit(X_STARTUP);
@@ -755,7 +801,7 @@ main(int argc, char *argv[])
                int anydirskipped2;
                char *p = *argv;
                /* check if file is available */
-               if (STAT(p, &statbuf) == -1) {
+               if (LSTAT(p, &statbuf) == -1) {
                        msg("File cannot be accessed (%s).\n", p);
                        msg("The ENTIRE dump is aborted.\n");
                        exit(X_STARTUP);
@@ -770,14 +816,14 @@ main(int argc, char *argv[])
                /* check if file is a directory */
                if (!(statbuf.st_mode & S_IFDIR))
                        anydirskipped2 = maponefile(maxino, &tapesize, 
-                                                   p+strlen(dt->fs_file));
+                                                   p+strlen(dt->mnt_dir));
                else
                        /* read directory inodes.
                         * NOTE: nested directories are not recognized 
                         * so inodes may be umped twice!
                         */
                        anydirskipped2 = mapfilesfromdir(maxino, &tapesize, 
-                                                        p+strlen(dt->fs_file));
+                                                        p+strlen(dt->mnt_dir));
                if (!anydirskipped)
                        anydirskipped = anydirskipped2;
                argv++;
@@ -799,7 +845,7 @@ main(int argc, char *argv[])
 
        if (pipeout || unlimited) {
                tapesize += 1 + ntrec;  /* 1 map header + trailer blocks */
-               msg("estimated %ld tape blocks.\n", tapesize);
+               msg("estimated %ld blocks.\n", tapesize);
        } else {
                double fetapes;
 
@@ -839,21 +885,25 @@ main(int argc, char *argv[])
                tapesize += (etapes - 1) *
                        (howmany(mapsize * sizeof(char), TP_BSIZE) + 1);
                tapesize += etapes + ntrec;     /* headers + trailer blks */
-               msg("estimated %ld tape blocks on %3.2f tape(s).\n",
+               msg("estimated %ld blocks on %3.2f tape(s).\n",
                    tapesize, fetapes);
        }
 
 #ifdef USE_QFA
        if (tapepos) {
                msg("writing QFA positions to %s\n", gTapeposfile);
-               if ((gTapeposfd = open(gTapeposfile, O_RDWR|O_CREAT, S_IRUSR | S_IWUSR)) < 0)
+               if ((gTapeposfd = open(gTapeposfile,
+                                      O_WRONLY|O_CREAT|O_TRUNC,
+                                      S_IRUSR | S_IWUSR | S_IRGRP | S_IWGRP
+                                      | S_IROTH | S_IWOTH)) < 0)
                        quit("can't open tapeposfile\n");
                /* print QFA-file header */
-               sprintf(gTps, "%s\n%s\n%ld\n\n", QFA_MAGIC, QFA_VERSION, (unsigned long)spcl.c_date);
-               if (write(gTapeposfd, gTps, strlen(gTps)) != strlen(gTps))
+               snprintf(gTps, sizeof(gTps), "%s\n%s\n%ld\n\n", QFA_MAGIC, QFA_VERSION, (unsigned long)spcl.c_date);
+               gTps[sizeof(gTps) - 1] = '\0';
+               if (write(gTapeposfd, gTps, strlen(gTps)) != (ssize_t)strlen(gTps))
                        quit("can't write tapeposfile\n");
                sprintf(gTps, "ino\ttapeno\ttapepos\n");
-               if (write(gTapeposfd, gTps, strlen(gTps)) != strlen(gTps))
+               if (write(gTapeposfd, gTps, strlen(gTps)) != (ssize_t)strlen(gTps))
                        quit("can't write tapeposfile\n");
        }
 #endif /* USE_QFA */
@@ -890,6 +940,8 @@ main(int argc, char *argv[])
                 */
                if (dp->di_nlink == 0 || dp->di_dtime != 0)
                        continue;
+               if (vflag)
+                       msg("dumping directory inode %lu\n", ino);
                (void)dumpdirino(dp, ino);
 #else
                (void)dumpino(dp, ino);
@@ -916,11 +968,24 @@ main(int argc, char *argv[])
                 * inodes since this is done in dumpino().
                 */
 #endif
-               (void)dumpino(dp, ino);
+               if (vflag) {
+                       if (mflag && TSTINO(ino, metainomap))
+                               msg("dumping regular inode %lu (meta only)\n", ino);
+                       else
+                               msg("dumping regular inode %lu\n", ino);
+               }
+               (void)dumpino(dp, ino, mflag && TSTINO(ino, metainomap));
        }
 
        tend_writing = time(NULL);
        spcl.c_type = TS_END;
+
+       if (Afile >= 0) {
+               volinfo[1] = ROOTINO;
+               memcpy(spcl.c_inos, volinfo, TP_NINOS * sizeof(dump_ino_t));
+               spcl.c_flags |= DR_INODEINFO;
+       }
+
        /*
         * Finish off the current tape record with trailer blocks, to ensure
         * at least the data in the last partial record makes it to tape.
@@ -932,10 +997,10 @@ main(int argc, char *argv[])
        tnow = trewind();
 
        if (pipeout || fifoout)
-               msg("%ld tape blocks (%.2fMB)\n", spcl.c_tapea,
+               msg("%ld blocks (%.2fMB)\n", spcl.c_tapea,
                        ((double)spcl.c_tapea * TP_BSIZE / 1048576));
        else
-               msg("%ld tape blocks (%.2fMB) on %d volume(s)\n",
+               msg("%ld blocks (%.2fMB) on %d volume(s)\n",
                    spcl.c_tapea, 
                    ((double)spcl.c_tapea * TP_BSIZE / 1048576),
                    spcl.c_volume);
@@ -961,6 +1026,9 @@ main(int argc, char *argv[])
                        spcl.c_tapea, tapekb, rate);
        }
 
+       if (Afile >= 0)
+               msg("Archiving dump to %s\n", Apath);
+
        broadcast("DUMP IS DONE!\7\7\n");
        msg("DUMP IS DONE\n");
        Exit(X_FINOK);
@@ -989,23 +1057,27 @@ usage(void)
 #ifdef KERBEROS
                "k"
 #endif
-               "MnqSu"
-               "] [-B records] [-b blocksize] [-d density]\n"
-               "\t%s [-e inode#,inode#,...] [-E file] [-f file] [-h level]\n"
-               "\t%s [-I nr errors] "
+               "mMnqSuv"
+               "] [-A file] [-B records] [-b blocksize]\n"
+               "\t%s [-d density] [-D file] [-e inode#,inode#,...] [-E file]\n"
+               "\t%s [-f file] [-h level] [-I nr errors] "
 #ifdef HAVE_BZLIB
                "[-j zlevel] "
 #endif
 #ifdef USE_QFA
-               "[-Q file] "
+               "[-Q file]\n"
+#endif
+               "\t%s [-s feet] "
+               "[-T date] "
+#ifdef HAVE_LZO
+               "[-y] "
 #endif
-               "[-s feet] [-T date] "
 #ifdef HAVE_ZLIB
                "[-z zlevel] "
 #endif
                "filesystem\n"
                "\t%s [-W | -w]\n", 
-               __progname, white, white, __progname);
+               __progname, white, white, white, __progname);
        exit(X_STARTUP);
 }
 
@@ -1102,9 +1174,11 @@ obsolete(int *argcp, char **argvp[])
 
        for (flags = 0; *ap; ++ap) {
                switch (*ap) {
+               case 'A':
                case 'B':
                case 'b':
                case 'd':
+               case 'D':
                case 'e':
                case 'E':
                case 'f':
@@ -1178,10 +1252,10 @@ do_exclude_ino(dump_ino_t ino, const char *reason)
                        exit(X_STARTUP);
                }
                if (reason)
-                       msg("Added inode %u to exclude list (%s)\n", 
+                       msg("Excluding inode %u (%s) from dump\n", 
                            ino, reason);
                else
-                       msg("Added inode %u to exclude list\n", ino);
+                       msg("Excluding inode %u from dump\n", ino);
                iexclude_list[iexclude_num++] = ino;
        }
 }
@@ -1192,7 +1266,7 @@ do_exclude_ino_str(char * ino) {
        unsigned long inod;
 
        inod = strtoul(ino, &r, 10);
-       if (*r != '\0' || inod <= ROOTINO) {
+       if (( *r != '\0' && !isspace(*r) ) || inod <= ROOTINO) {
                msg("Invalid inode argument %s\n", ino);
                msg("The ENTIRE dump is aborted.\n");
                exit(X_STARTUP);