Artifact 3bce849e6e4a81eefd08fc28b6bbe806d2494b1a:
File cvs2fossil.txt part of check-in [f637d42206] - Updated my notes regarding memory usage. Converted more locations to incremental query processing via 'state foreachrow', now throughout the importer. by aku on 2008-02-24 18:01:40.
0000: 0a 4b 6e 6f 77 6e 20 70 72 6f 62 6c 65 6d 73 20 .Known problems 0010: 61 6e 64 20 61 72 65 61 73 20 74 6f 20 77 6f 72 and areas to wor 0020: 6b 20 6f 6e 0a 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d k on.=========== 0030: 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d ================ 0040: 3d 3d 3d 3d 3d 3d 3d 3d 0a 0a 2a 09 4e 6f 74 20 ========..*.Not 0050: 79 65 74 20 61 62 6c 65 20 74 6f 20 68 61 6e 64 yet able to hand 0060: 6c 65 20 74 68 65 20 73 70 65 63 69 66 69 63 61 le the specifica 0070: 74 69 6f 6e 20 6f 66 20 6d 75 6c 74 69 70 6c 65 tion of multiple 0080: 20 70 72 6f 6a 65 63 74 73 0a 09 66 6f 72 20 6f projects..for o 0090: 6e 65 20 43 56 53 20 72 65 70 6f 73 69 74 6f 72 ne CVS repositor 00a0: 79 2e 20 49 2e 65 2e 20 49 20 63 61 6e 2c 20 66 y. I.e. I can, f 00b0: 6f 72 20 65 78 61 6d 70 6c 65 2c 20 69 6d 70 6f or example, impo 00c0: 72 74 20 61 6c 6c 20 6f 66 0a 09 74 63 6c 6c 69 rt all of..tclli 00d0: 62 2c 20 6f 72 20 61 20 73 69 6e 67 6c 65 20 73 b, or a single s 00e0: 75 62 70 72 6f 6a 65 63 74 20 6f 66 20 74 63 6c ubproject of tcl 00f0: 6c 69 62 2c 20 6c 69 6b 65 20 74 6b 6c 69 62 2c lib, like tklib, 0100: 20 62 75 74 20 6e 6f 74 0a 09 6d 75 6c 74 69 70 but not..multip 0110: 6c 65 20 73 75 62 2d 70 72 6f 6a 65 63 74 73 20 le sub-projects 0120: 69 6e 20 6f 6e 65 20 67 6f 2e 0a 0a 2a 09 43 6f in one go...*.Co 0130: 6e 73 69 64 65 72 20 74 6f 20 72 65 77 6f 72 6b nsider to rework 0140: 20 74 68 65 20 62 72 65 61 6b 65 72 2d 20 61 6e the breaker- an 0150: 64 20 73 6f 72 74 2d 70 61 73 73 65 73 20 73 6f d sort-passes so 0160: 20 74 68 61 74 20 74 68 65 79 0a 20 20 20 20 20 that they. 0170: 20 20 20 64 6f 20 6e 6f 74 20 6e 65 65 64 20 61 do not need a 0180: 6c 6c 20 63 68 61 6e 67 65 73 65 74 73 20 61 73 ll changesets as 0190: 20 6f 62 6a 65 63 74 73 20 69 6e 20 6d 65 6d 6f objects in memo 01a0: 72 79 2e 0a 0a 09 43 75 72 72 65 6e 74 20 6d 65 ry....Current me 01b0: 6d 6f 72 79 20 63 6f 6e 73 75 6d 70 74 69 6f 6e mory consumption 01c0: 20 61 66 74 65 72 20 61 6c 6c 20 63 68 61 6e 67 after all chang 01d0: 65 73 65 74 73 20 61 72 65 20 6c 6f 61 64 65 64 esets are loaded 01e0: 3a 0a 0a 09 62 77 69 64 67 65 74 09 09 20 36 39 :...bwidget.. 69 01f0: 37 31 36 32 37 20 20 20 20 36 2e 36 0a 09 63 76 71627 6.6..cv 0200: 73 2d 6d 65 6d 63 68 61 6e 09 20 34 36 33 34 30 s-memchan. 46340 0210: 34 39 20 20 20 20 34 2e 34 0a 09 63 76 73 2d 73 49 4.4..cvs-s 0220: 71 6c 69 74 65 09 34 35 36 37 34 35 30 31 20 20 qlite.45674501 0230: 20 34 33 2e 36 0a 09 63 76 73 2d 74 72 66 09 09 43.6..cvs-trf.. 0240: 20 38 37 38 31 32 38 39 20 20 20 20 38 2e 34 0a 8781289 8.4. 0250: 09 66 61 71 73 09 09 20 32 38 33 35 31 31 36 20 .faqs.. 2835116 0260: 20 20 20 32 2e 37 0a 09 6c 69 62 74 6f 6d 6d 61 2.7..libtomma 0270: 74 68 09 20 34 34 30 35 30 36 36 20 20 20 20 34 th. 4405066 4 0280: 2e 32 0a 09 6d 63 6c 69 73 74 62 6f 78 09 20 33 .2..mclistbox. 3 0290: 33 35 30 31 39 30 20 20 20 20 33 2e 32 20 0a 09 350190 3.2 .. 02a0: 6e 65 77 63 6c 6f 63 6b 09 20 35 30 32 30 34 36 newclock. 502046 02b0: 30 20 20 20 20 34 2e 38 0a 09 6f 6f 63 6f 72 65 0 4.8..oocore 02c0: 09 09 20 34 30 36 34 35 37 34 20 20 20 20 33 2e .. 4064574 3. 02d0: 39 0a 09 73 61 6d 70 6c 65 65 78 74 65 6e 73 69 9..sampleextensi 02e0: 6f 6e 09 20 34 37 32 39 39 33 32 20 20 20 20 34 on. 4729932 4 02f0: 2e 35 0a 09 74 63 6c 61 70 70 73 09 09 20 38 34 .5..tclapps.. 84 0300: 38 32 31 33 35 20 20 20 20 38 2e 31 0a 09 74 63 82135 8.1..tc 0310: 6c 62 65 6e 63 68 09 20 34 31 31 36 38 38 37 20 lbench. 4116887 0320: 20 20 20 33 2e 39 0a 09 74 63 6c 5f 62 69 67 6e 3.9..tcl_bign 0330: 75 6d 09 20 32 35 34 35 31 39 32 20 20 20 20 32 um. 2545192 2 0340: 2e 34 0a 09 74 63 6c 63 6f 6e 66 69 67 09 20 34 .4..tclconfig. 4 0350: 31 30 35 30 34 32 20 20 20 20 33 2e 39 0a 09 74 105042 3.9..t 0360: 63 6c 6c 69 62 09 09 33 31 37 30 37 36 38 38 20 cllib..31707688 0370: 20 20 33 30 2e 32 0a 09 74 63 6c 74 75 74 6f 72 30.2..tcltutor 0380: 69 61 6c 09 20 33 35 31 32 30 34 38 20 20 20 20 ial. 3512048 0390: 33 2e 33 0a 09 74 63 6c 09 20 20 20 20 20 20 20 3.3..tcl. 03a0: 31 30 39 39 32 36 33 38 32 20 20 31 30 34 2e 38 109926382 104.8 03b0: 0a 09 74 68 72 65 61 64 09 09 20 38 39 35 33 31 ..thread.. 89531 03c0: 33 39 20 20 20 20 38 2e 35 0a 09 74 6b 6c 69 62 39 8.5..tklib 03d0: 09 09 31 33 39 33 35 32 32 30 20 20 20 31 33 2e ..13935220 13. 03e0: 33 0a 09 74 6b 09 09 36 36 31 34 39 38 37 30 20 3..tk..66149870 03f0: 20 20 36 33 2e 31 0a 09 77 69 64 67 65 74 09 09 63.1..widget.. 0400: 20 32 36 32 35 36 30 39 20 20 20 20 32 2e 35 0a 2625609 2.5. 0410: 0a 2a 09 4c 6f 6f 6b 20 61 74 20 74 68 65 20 64 .*.Look at the d 0420: 65 70 65 6e 64 65 6e 63 69 65 73 20 6f 6e 20 65 ependencies on e 0430: 78 74 65 72 6e 61 6c 20 70 61 63 6b 61 67 65 73 xternal packages 0440: 20 61 6e 64 20 63 6f 6e 73 69 64 65 72 0a 09 77 and consider..w 0450: 68 69 63 68 20 6f 66 20 74 68 65 6d 20 63 61 6e hich of them can 0460: 20 62 65 20 6d 6f 76 65 64 20 69 6e 74 6f 20 74 be moved into t 0470: 68 65 20 69 6d 70 6f 72 74 65 72 2c 20 65 69 74 he importer, eit 0480: 68 65 72 20 61 73 20 61 0a 09 73 69 6d 70 6c 65 her as a..simple 0490: 20 75 74 69 6c 69 74 79 20 63 6f 6d 6d 61 6e 64 utility command 04a0: 2c 20 6f 72 20 77 68 6f 6c 65 73 61 6c 65 2e 0a , or wholesale.. 04b0: 0a 09 73 74 72 75 63 74 3a 3a 6c 69 73 74 0a 09 ..struct::list.. 04c0: 09 61 73 73 69 67 6e 2c 20 6d 61 70 2c 20 72 65 .assign, map, re 04d0: 76 65 72 73 65 2c 20 66 69 6c 74 65 72 0a 0a 09 verse, filter... 04e0: 09 56 65 72 79 20 66 65 77 20 61 6e 64 20 73 65 .Very few and se 04f0: 6c 66 2d 63 6f 6e 74 61 69 6e 65 64 20 63 6f 6d lf-contained com 0500: 6d 61 6e 64 73 2e 0a 0a 09 73 74 72 75 63 74 3a mands....struct: 0510: 3a 73 65 74 0a 09 09 73 69 7a 65 2c 20 65 6d 70 :set...size, emp 0520: 74 79 2c 20 63 6f 6e 74 61 69 6e 73 2c 20 61 64 ty, contains, ad 0530: 64 2c 20 69 6e 63 6c 75 64 65 2c 20 65 78 63 6c d, include, excl 0540: 75 64 65 2c 0a 09 09 69 6e 74 65 72 73 65 63 74 ude,...intersect 0550: 2c 20 73 75 62 73 65 74 6f 66 0a 0a 09 09 4d 6f , subsetof....Mo 0560: 73 74 20 6f 66 20 74 68 65 20 63 6f 72 65 20 63 st of the core c 0570: 6f 6d 6d 61 6e 64 73 2e 0a 0a 09 66 69 6c 65 75 ommands....fileu 0580: 74 69 6c 0a 09 09 63 61 74 2c 20 61 70 70 65 6e til...cat, appen 0590: 64 54 6f 46 69 6c 65 2c 20 77 72 69 74 65 46 69 dToFile, writeFi 05a0: 6c 65 2c 0a 09 09 74 65 6d 70 66 69 6c 65 2c 20 le,...tempfile, 05b0: 73 74 72 69 70 50 61 74 68 2c 20 74 65 73 74 0a stripPath, test. 05c0: 0a 09 66 69 6c 65 75 74 69 6c 3a 3a 74 72 61 76 ..fileutil::trav 05d0: 65 72 73 65 0a 09 09 49 6e 20 74 6f 74 6f 0a 0a erse...In toto.. 05e0: 09 73 74 72 75 63 74 3a 3a 67 72 61 70 68 0a 09 .struct::graph.. 05f0: 09 49 6e 20 74 6f 74 6f 0a 0a 09 73 6e 69 74 0a .In toto...snit. 0600: 09 09 49 6e 20 74 6f 74 6f 0a 0a 09 73 71 6c 69 ..In toto...sqli 0610: 74 65 33 0a 09 09 49 6e 20 74 6f 74 6f 0a te3...In toto.