Documentation Source Text

Hex Artifact Content
Login

Artifact a6fb7cfef82c4977d5814f4df9506fddf33ae7290bea04043fcfb894306b1e84:


0000: 3c 74 69 74 6c 65 3e 33 35 25 20 46 61 73 74 65  <title>35% Faste
0010: 72 20 54 68 61 6e 20 54 68 65 20 46 69 6c 65 73  r Than The Files
0020: 79 73 74 65 6d 3c 2f 74 69 74 6c 65 3e 0a 3c 74  ystem</title>.<t
0030: 63 6c 3e 68 64 5f 6b 65 79 77 6f 72 64 73 20 7b  cl>hd_keywords {
0040: 66 61 73 74 65 72 20 74 68 61 6e 20 74 68 65 20  faster than the 
0050: 66 69 6c 65 73 79 73 74 65 6d 7d 20 5c 0a 20 20  filesystem} \.  
0060: 20 7b 33 35 25 20 46 61 73 74 65 72 20 54 68 61   {35% Faster Tha
0070: 6e 20 54 68 65 20 46 69 6c 65 73 79 73 74 65 6d  n The Filesystem
0080: 7d 3c 2f 74 63 6c 3e 0a 0a 3c 74 61 62 6c 65 5f  }</tcl>..<table_
0090: 6f 66 5f 63 6f 6e 74 65 6e 74 73 3e 0a 0a 3c 68  of_contents>..<h
00a0: 31 3e 53 75 6d 6d 61 72 79 3c 2f 68 31 3e 0a 0a  1>Summary</h1>..
00b0: 3c 70 3e 53 51 4c 69 74 65 20 72 65 61 64 73 20  <p>SQLite reads 
00c0: 61 6e 64 20 77 72 69 74 65 73 20 73 6d 61 6c 6c  and writes small
00d0: 20 62 6c 6f 62 73 20 28 66 6f 72 20 65 78 61 6d   blobs (for exam
00e0: 70 6c 65 2c 20 74 68 75 6d 62 6e 61 69 6c 20 69  ple, thumbnail i
00f0: 6d 61 67 65 73 29 0a 3c 61 20 68 72 65 66 3d 22  mages).<a href="
0100: 23 61 70 70 72 6f 78 22 3e 33 35 25 20 66 61 73  #approx">35% fas
0110: 74 65 72 26 73 75 70 31 3b 3c 2f 61 3e 20 74 68  ter&sup1;</a> th
0120: 61 6e 20 74 68 65 20 73 61 6d 65 20 62 6c 6f 62  an the same blob
0130: 73 0a 63 61 6e 20 62 65 20 72 65 61 64 20 66 72  s.can be read fr
0140: 6f 6d 20 6f 72 20 77 72 69 74 74 65 6e 20 74 6f  om or written to
0150: 20 69 6e 64 69 76 69 64 75 61 6c 20 66 69 6c 65   individual file
0160: 73 20 6f 6e 20 64 69 73 6b 20 75 73 69 6e 67 0a  s on disk using.
0170: 66 72 65 61 64 28 29 20 6f 72 20 66 77 72 69 74  fread() or fwrit
0180: 65 28 29 2e 0a 0a 3c 70 3e 46 75 72 74 68 65 72  e()...<p>Further
0190: 6d 6f 72 65 2c 20 61 20 73 69 6e 67 6c 65 20 53  more, a single S
01a0: 51 4c 69 74 65 20 64 61 74 61 62 61 73 65 20 68  QLite database h
01b0: 6f 6c 64 69 6e 67 0a 31 30 2d 6b 69 6c 6f 62 79  olding.10-kiloby
01c0: 74 65 20 62 6c 6f 62 73 20 75 73 65 73 20 61 62  te blobs uses ab
01d0: 6f 75 74 20 32 30 25 20 6c 65 73 73 20 64 69 73  out 20% less dis
01e0: 6b 20 73 70 61 63 65 20 74 68 61 6e 0a 73 74 6f  k space than.sto
01f0: 72 69 6e 67 20 74 68 65 20 62 6c 6f 62 73 20 69  ring the blobs i
0200: 6e 20 69 6e 64 69 76 69 64 75 61 6c 20 66 69 6c  n individual fil
0210: 65 73 2e 0a 0a 3c 70 3e 54 68 65 20 70 65 72 66  es...<p>The perf
0220: 6f 72 6d 61 6e 63 65 20 64 69 66 66 65 72 65 6e  ormance differen
0230: 63 65 20 61 72 69 73 65 73 20 28 77 65 20 62 65  ce arises (we be
0240: 6c 69 65 76 65 29 20 62 65 63 61 75 73 65 20 77  lieve) because w
0250: 68 65 6e 0a 77 6f 72 6b 69 6e 67 20 66 72 6f 6d  hen.working from
0260: 20 61 6e 20 53 51 4c 69 74 65 20 64 61 74 61 62   an SQLite datab
0270: 61 73 65 2c 20 74 68 65 20 6f 70 65 6e 28 29 20  ase, the open() 
0280: 61 6e 64 20 63 6c 6f 73 65 28 29 20 73 79 73 74  and close() syst
0290: 65 6d 20 63 61 6c 6c 73 0a 61 72 65 20 69 6e 76  em calls.are inv
02a0: 6f 6b 65 64 20 6f 6e 6c 79 20 6f 6e 63 65 2c 20  oked only once, 
02b0: 77 68 65 72 65 61 73 0a 6f 70 65 6e 28 29 20 61  whereas.open() a
02c0: 6e 64 20 63 6c 6f 73 65 28 29 20 61 72 65 20 69  nd close() are i
02d0: 6e 76 6f 6b 65 64 20 6f 6e 63 65 20 66 6f 72 20  nvoked once for 
02e0: 65 61 63 68 20 62 6c 6f 62 0a 77 68 65 6e 20 75  each blob.when u
02f0: 73 69 6e 67 20 62 6c 6f 62 73 20 73 74 6f 72 65  sing blobs store
0300: 64 20 69 6e 20 69 6e 64 69 76 69 64 75 61 6c 20  d in individual 
0310: 66 69 6c 65 73 2e 20 20 49 74 20 61 70 70 65 61  files.  It appea
0320: 72 73 20 74 68 61 74 20 74 68 65 0a 6f 76 65 72  rs that the.over
0330: 68 65 61 64 20 6f 66 20 63 61 6c 6c 69 6e 67 20  head of calling 
0340: 6f 70 65 6e 28 29 20 61 6e 64 20 63 6c 6f 73 65  open() and close
0350: 28 29 20 69 73 20 67 72 65 61 74 65 72 20 74 68  () is greater th
0360: 61 6e 20 74 68 65 20 6f 76 65 72 68 65 61 64 0a  an the overhead.
0370: 6f 66 20 75 73 69 6e 67 20 74 68 65 20 64 61 74  of using the dat
0380: 61 62 61 73 65 2e 20 20 54 68 65 20 73 69 7a 65  abase.  The size
0390: 20 72 65 64 75 63 74 69 6f 6e 20 61 72 69 73 65   reduction arise
03a0: 73 20 66 72 6f 6d 20 74 68 65 20 66 61 63 74 20  s from the fact 
03b0: 74 68 61 74 0a 69 6e 64 69 76 69 64 75 61 6c 20  that.individual 
03c0: 66 69 6c 65 73 20 61 72 65 20 70 61 64 64 65 64  files are padded
03d0: 20 6f 75 74 20 74 6f 20 74 68 65 20 6e 65 78 74   out to the next
03e0: 20 6d 75 6c 74 69 70 6c 65 20 6f 66 20 74 68 65   multiple of the
03f0: 20 66 69 6c 65 73 79 73 74 65 6d 0a 62 6c 6f 63   filesystem.bloc
0400: 6b 20 73 69 7a 65 2c 20 77 68 65 72 65 61 73 20  k size, whereas 
0410: 74 68 65 20 62 6c 6f 62 73 20 61 72 65 20 70 61  the blobs are pa
0420: 63 6b 65 64 20 6d 6f 72 65 20 74 69 67 68 74 6c  cked more tightl
0430: 79 20 69 6e 74 6f 20 61 6e 20 53 51 4c 69 74 65  y into an SQLite
0440: 0a 64 61 74 61 62 61 73 65 2e 0a 0a 3c 70 3e 0a  .database...<p>.
0450: 54 68 65 20 6d 65 61 73 75 72 65 6d 65 6e 74 73  The measurements
0460: 20 69 6e 20 74 68 69 73 20 61 72 74 69 63 6c 65   in this article
0470: 20 77 65 72 65 20 6d 61 64 65 20 64 75 72 69 6e   were made durin
0480: 67 20 74 68 65 20 77 65 65 6b 20 6f 66 20 32 30  g the week of 20
0490: 31 37 2d 30 36 2d 30 35 0a 75 73 69 6e 67 20 61  17-06-05.using a
04a0: 20 76 65 72 73 69 6f 6e 20 6f 66 20 53 51 4c 69   version of SQLi
04b0: 74 65 20 69 6e 20 62 65 74 77 65 65 6e 20 33 2e  te in between 3.
04c0: 31 39 2e 32 20 61 6e 64 20 33 2e 32 30 2e 30 2e  19.2 and 3.20.0.
04d0: 20 20 59 6f 75 20 6d 61 79 20 65 78 70 65 63 74    You may expect
04e0: 0a 66 75 74 75 72 65 20 76 65 72 73 69 6f 6e 73  .future versions
04f0: 20 6f 66 20 53 51 4c 69 74 65 20 74 6f 20 70 65   of SQLite to pe
0500: 72 66 6f 72 6d 20 65 76 65 6e 20 62 65 74 74 65  rform even bette
0510: 72 2e 0a 0a 3c 68 32 3e 43 61 76 65 61 74 73 3c  r...<h2>Caveats<
0520: 2f 68 32 3e 0a 0a 3c 61 20 6e 61 6d 65 3d 22 61  /h2>..<a name="a
0530: 70 70 72 6f 78 22 3e 3c 2f 61 3e 0a 3c 70 3e 0a  pprox"></a>.<p>.
0540: 26 73 75 70 31 3b 54 68 65 20 33 35 25 20 66 69  &sup1;The 35% fi
0550: 67 75 72 65 20 61 62 6f 76 65 20 69 73 20 61 70  gure above is ap
0560: 70 72 6f 78 69 6d 61 74 65 2e 20 20 41 63 74 75  proximate.  Actu
0570: 61 6c 20 74 69 6d 69 6e 67 73 20 76 61 72 79 0a  al timings vary.
0580: 64 65 70 65 6e 64 69 6e 67 20 6f 6e 20 68 61 72  depending on har
0590: 64 77 61 72 65 2c 20 6f 70 65 72 61 74 69 6e 67  dware, operating
05a0: 20 73 79 73 74 65 6d 2c 20 61 6e 64 20 74 68 65   system, and the
05b0: 0a 64 65 74 61 69 6c 73 20 6f 66 20 74 68 65 20  .details of the 
05c0: 65 78 70 65 72 69 6d 65 6e 74 2c 20 61 6e 64 20  experiment, and 
05d0: 64 75 65 20 74 6f 20 72 61 6e 64 6f 6d 20 70 65  due to random pe
05e0: 72 66 6f 72 6d 61 6e 63 65 20 66 6c 75 63 74 75  rformance fluctu
05f0: 61 74 69 6f 6e 73 0a 6f 6e 20 72 65 61 6c 2d 77  ations.on real-w
0600: 6f 72 6c 64 20 68 61 72 64 77 61 72 65 2e 20 20  orld hardware.  
0610: 53 65 65 20 74 68 65 20 74 65 78 74 20 62 65 6c  See the text bel
0620: 6f 77 20 66 6f 72 20 6d 6f 72 65 20 64 65 74 61  ow for more deta
0630: 69 6c 2e 0a 54 72 79 20 74 68 65 20 65 78 70 65  il..Try the expe
0640: 72 69 6d 65 6e 74 73 20 79 6f 75 72 73 65 6c 66  riments yourself
0650: 2e 20 20 52 65 70 6f 72 74 20 73 69 67 6e 69 66  .  Report signif
0660: 69 63 61 6e 74 20 64 65 76 69 61 74 69 6f 6e 73  icant deviations
0670: 20 74 6f 0a 74 68 65 20 5b 6d 61 69 6c 69 6e 67   to.the [mailing
0680: 20 6c 69 73 74 73 5d 2e 0a 3c 2f 70 3e 0a 0a 3c   lists]..</p>..<
0690: 70 3e 0a 54 68 65 20 33 35 25 20 66 69 67 75 72  p>.The 35% figur
06a0: 65 20 69 73 20 62 61 73 65 64 20 6f 6e 20 72 75  e is based on ru
06b0: 6e 6e 69 6e 67 20 74 65 73 74 73 20 6f 6e 20 65  nning tests on e
06c0: 76 65 72 79 20 6d 61 63 68 69 6e 65 0a 74 68 61  very machine.tha
06d0: 74 20 74 68 65 20 61 75 74 68 6f 72 20 68 61 73  t the author has
06e0: 20 65 61 73 69 6c 79 20 61 74 20 68 61 6e 64 2e   easily at hand.
06f0: 0a 53 6f 6d 65 20 72 65 76 69 65 77 65 72 73 20  .Some reviewers 
0700: 6f 66 20 74 68 69 73 20 61 72 74 69 63 6c 65 20  of this article 
0710: 72 65 70 6f 72 74 20 74 68 61 74 20 53 51 4c 69  report that SQLi
0720: 74 65 20 68 61 73 20 68 69 67 68 65 72 20 0a 6c  te has higher .l
0730: 61 74 65 6e 63 79 20 74 68 61 6e 20 64 69 72 65  atency than dire
0740: 63 74 20 49 2f 4f 20 6f 6e 20 74 68 65 69 72 20  ct I/O on their 
0750: 73 79 73 74 65 6d 73 2e 20 20 57 65 20 64 6f 20  systems.  We do 
0760: 6e 6f 74 20 79 65 74 20 75 6e 64 65 72 73 74 61  not yet understa
0770: 6e 64 0a 74 68 65 20 64 69 66 66 65 72 65 6e 63  nd.the differenc
0780: 65 2e 20 20 57 65 20 61 6c 73 6f 20 73 65 65 20  e.  We also see 
0790: 69 6e 64 69 63 61 74 69 6f 6e 73 20 74 68 61 74  indications that
07a0: 20 53 51 4c 69 74 65 20 64 6f 65 73 20 6e 6f 74   SQLite does not
07b0: 0a 70 65 72 66 6f 72 6d 20 61 73 20 77 65 6c 6c  .perform as well
07c0: 20 61 73 20 64 69 72 65 63 74 20 49 2f 4f 20 77   as direct I/O w
07d0: 68 65 6e 20 65 78 70 65 72 69 6d 65 6e 74 73 20  hen experiments 
07e0: 61 72 65 20 72 75 6e 20 75 73 69 6e 67 0a 61 20  are run using.a 
07f0: 63 6f 6c 64 20 66 69 6c 65 73 79 73 74 65 6d 20  cold filesystem 
0800: 63 61 63 68 65 2e 0a 0a 3c 70 3e 0a 53 6f 20 6c  cache...<p>.So l
0810: 65 74 20 79 6f 75 72 20 74 61 6b 65 2d 61 77 61  et your take-awa
0820: 79 20 62 65 20 74 68 69 73 3a 20 72 65 61 64 2f  y be this: read/
0830: 77 72 69 74 65 20 6c 61 74 65 6e 63 79 20 66 6f  write latency fo
0840: 72 0a 53 51 4c 69 74 65 20 69 73 20 63 6f 6d 70  r.SQLite is comp
0850: 65 74 69 74 69 76 65 20 77 69 74 68 20 72 65 61  etitive with rea
0860: 64 2f 77 72 69 74 65 20 6c 61 74 65 6e 63 79 20  d/write latency 
0870: 6f 66 20 69 6e 64 69 76 69 64 75 61 6c 20 66 69  of individual fi
0880: 6c 65 73 20 6f 6e 0a 64 69 73 6b 2e 20 20 4f 66  les on.disk.  Of
0890: 74 65 6e 20 53 51 4c 69 74 65 20 69 73 20 66 61  ten SQLite is fa
08a0: 73 74 65 72 2e 20 20 53 6f 6d 65 74 69 6d 65 73  ster.  Sometimes
08b0: 20 53 51 4c 69 74 65 20 69 73 20 61 6c 6d 6f 73   SQLite is almos
08c0: 74 0a 61 73 20 66 61 73 74 2e 20 20 45 69 74 68  t.as fast.  Eith
08d0: 65 72 20 77 61 79 2c 20 74 68 69 73 20 61 72 74  er way, this art
08e0: 69 63 6c 65 20 64 69 73 70 72 6f 76 65 73 20 74  icle disproves t
08f0: 68 65 20 63 6f 6d 6d 6f 6e 0a 61 73 73 75 6d 70  he common.assump
0900: 74 69 6f 6e 20 74 68 61 74 20 61 20 72 65 6c 61  tion that a rela
0910: 74 69 6f 6e 61 6c 20 64 61 74 61 62 61 73 65 20  tional database 
0920: 6d 75 73 74 20 62 65 20 73 6c 6f 77 65 72 20 74  must be slower t
0930: 68 61 6e 20 64 69 72 65 63 74 0a 66 69 6c 65 73  han direct.files
0940: 79 73 74 65 6d 20 49 2f 4f 2e 0a 0a 3c 68 32 3e  ystem I/O...<h2>
0950: 52 65 6c 61 74 65 64 20 53 74 75 64 69 65 73 3c  Related Studies<
0960: 2f 68 32 3e 0a 0a 3c 70 3e 0a 5b 68 74 74 70 73  /h2>..<p>.[https
0970: 3a 2f 2f 77 77 77 2e 6d 69 63 72 6f 73 6f 66 74  ://www.microsoft
0980: 2e 63 6f 6d 2f 65 6e 2d 75 73 2f 72 65 73 65 61  .com/en-us/resea
0990: 72 63 68 2f 70 65 6f 70 6c 65 2f 67 72 61 79 2f  rch/people/gray/
09a0: 7c 4a 69 6d 20 47 72 61 79 5d 0a 61 6e 64 20 6f  |Jim Gray].and o
09b0: 74 68 65 72 73 20 73 74 75 64 69 65 64 20 74 68  thers studied th
09c0: 65 20 72 65 61 64 20 70 65 72 66 6f 72 6d 61 6e  e read performan
09d0: 63 65 20 6f 66 20 42 4c 4f 42 73 0a 76 65 72 73  ce of BLOBs.vers
09e0: 75 73 20 66 69 6c 65 20 49 2f 4f 20 66 6f 72 20  us file I/O for 
09f0: 4d 69 63 72 6f 73 6f 66 74 20 53 51 4c 20 53 65  Microsoft SQL Se
0a00: 72 76 65 72 20 61 6e 64 20 66 6f 75 6e 64 20 74  rver and found t
0a10: 68 61 74 20 72 65 61 64 69 6e 67 20 42 4c 4f 42  hat reading BLOB
0a20: 73 20 0a 6f 75 74 20 6f 66 20 74 68 65 20 0a 64  s .out of the .d
0a30: 61 74 61 62 61 73 65 20 77 61 73 20 66 61 73 74  atabase was fast
0a40: 65 72 20 66 6f 72 20 42 4c 4f 42 20 73 69 7a 65  er for BLOB size
0a50: 73 20 6c 65 73 73 20 74 68 61 6e 20 62 65 74 77  s less than betw
0a60: 65 65 6e 20 32 35 30 4b 69 42 20 61 6e 64 20 31  een 250KiB and 1
0a70: 4d 69 42 2e 0a 28 5b 68 74 74 70 73 3a 2f 2f 77  MiB..([https://w
0a80: 77 77 2e 6d 69 63 72 6f 73 6f 66 74 2e 63 6f 6d  ww.microsoft.com
0a90: 2f 65 6e 2d 75 73 2f 72 65 73 65 61 72 63 68 2f  /en-us/research/
0aa0: 70 75 62 6c 69 63 61 74 69 6f 6e 2f 74 6f 2d 62  publication/to-b
0ab0: 6c 6f 62 2d 6f 72 2d 6e 6f 74 2d 74 6f 2d 62 6c  lob-or-not-to-bl
0ac0: 6f 62 2d 6c 61 72 67 65 2d 6f 62 6a 65 63 74 2d  ob-large-object-
0ad0: 73 74 6f 72 61 67 65 2d 69 6e 2d 61 2d 64 61 74  storage-in-a-dat
0ae0: 61 62 61 73 65 2d 6f 72 2d 61 2d 66 69 6c 65 73  abase-or-a-files
0af0: 79 73 74 65 6d 2f 7c 50 61 70 65 72 5d 29 2e 0a  ystem/|Paper])..
0b00: 49 6e 20 74 68 61 74 20 73 74 75 64 79 2c 20 74  In that study, t
0b10: 68 65 20 64 61 74 61 62 61 73 65 20 73 74 69 6c  he database stil
0b20: 6c 20 73 74 6f 72 65 73 20 74 68 65 20 66 69 6c  l stores the fil
0b30: 65 6e 61 6d 65 20 6f 66 20 74 68 65 20 63 6f 6e  ename of the con
0b40: 74 65 6e 74 20 65 76 65 6e 0a 69 66 20 74 68 65  tent even.if the
0b50: 20 63 6f 6e 74 65 6e 74 20 69 73 20 68 65 6c 64   content is held
0b60: 20 69 6e 20 61 20 73 65 70 61 72 61 74 65 20 66   in a separate f
0b70: 69 6c 65 2e 20 20 53 6f 20 74 68 65 20 64 61 74  ile.  So the dat
0b80: 61 62 61 73 65 20 69 73 20 63 6f 6e 73 75 6c 74  abase is consult
0b90: 65 64 0a 66 6f 72 20 65 76 65 72 79 20 42 4c 4f  ed.for every BLO
0ba0: 42 2c 20 65 76 65 6e 20 69 66 20 69 74 20 69 73  B, even if it is
0bb0: 20 6f 6e 6c 79 20 74 6f 20 65 78 74 72 61 63 74   only to extract
0bc0: 20 74 68 65 20 66 69 6c 65 6e 61 6d 65 2e 20 20   the filename.  
0bd0: 49 6e 20 74 68 69 73 0a 61 72 74 69 63 6c 65 2c  In this.article,
0be0: 20 74 68 65 20 6b 65 79 20 66 6f 72 20 74 68 65   the key for the
0bf0: 20 42 4c 4f 42 20 69 73 20 74 68 65 20 66 69 6c   BLOB is the fil
0c00: 65 6e 61 6d 65 2c 20 73 6f 20 6e 6f 20 70 72 65  ename, so no pre
0c10: 6c 69 6d 69 6e 61 72 79 20 64 61 74 61 62 61 73  liminary databas
0c20: 65 0a 61 63 63 65 73 73 20 69 73 20 72 65 71 75  e.access is requ
0c30: 69 72 65 64 2e 20 20 42 65 63 61 75 73 65 20 74  ired.  Because t
0c40: 68 65 20 64 61 74 61 62 61 73 65 20 69 73 20 6e  he database is n
0c50: 65 76 65 72 20 75 73 65 64 20 61 74 20 61 6c 6c  ever used at all
0c60: 20 77 68 65 6e 0a 72 65 61 64 69 6e 67 20 63 6f   when.reading co
0c70: 6e 74 65 6e 74 20 66 72 6f 6d 20 69 6e 64 69 76  ntent from indiv
0c80: 69 64 75 61 6c 20 66 69 6c 65 73 20 69 6e 20 74  idual files in t
0c90: 68 69 73 20 61 72 74 69 63 6c 65 2c 20 74 68 65  his article, the
0ca0: 20 74 68 72 65 73 68 6f 6c 64 0a 61 74 20 77 68   threshold.at wh
0cb0: 69 63 68 20 64 69 72 65 63 74 20 66 69 6c 65 20  ich direct file 
0cc0: 49 2f 4f 20 62 65 63 6f 6d 65 73 20 66 61 73 74  I/O becomes fast
0cd0: 65 72 20 69 73 20 73 6d 61 6c 6c 65 72 20 74 68  er is smaller th
0ce0: 61 6e 20 69 74 20 69 73 20 69 6e 20 47 72 61 79  an it is in Gray
0cf0: 27 73 0a 70 61 70 65 72 2e 0a 0a 3c 70 3e 0a 54  's.paper...<p>.T
0d00: 68 65 20 5b 49 6e 74 65 72 6e 61 6c 20 56 65 72  he [Internal Ver
0d10: 73 75 73 20 45 78 74 65 72 6e 61 6c 20 42 4c 4f  sus External BLO
0d20: 42 73 5d 20 61 72 74 69 63 6c 65 20 6f 6e 20 74  Bs] article on t
0d30: 68 69 73 20 77 65 62 73 69 74 65 20 69 73 20 61  his website is a
0d40: 6e 0a 65 61 72 6c 69 65 72 20 69 6e 76 65 73 74  n.earlier invest
0d50: 69 67 61 74 69 6f 6e 20 28 63 69 72 63 61 20 32  igation (circa 2
0d60: 30 31 31 29 20 74 68 61 74 20 75 73 65 73 20 74  011) that uses t
0d70: 68 65 20 73 61 6d 65 20 61 70 70 72 6f 61 63 68  he same approach
0d80: 20 61 73 20 74 68 65 0a 4a 69 6d 20 47 72 61 79   as the.Jim Gray
0d90: 20 70 61 70 65 72 20 26 6d 64 61 73 68 3b 20 73   paper &mdash; s
0da0: 74 6f 72 69 6e 67 20 74 68 65 20 62 6c 6f 62 20  toring the blob 
0db0: 66 69 6c 65 6e 61 6d 65 73 20 61 73 20 65 6e 74  filenames as ent
0dc0: 72 69 65 73 20 69 6e 20 74 68 65 0a 64 61 74 61  ries in the.data
0dd0: 62 61 73 65 20 26 6d 64 61 73 68 3b 20 62 75 74  base &mdash; but
0de0: 20 66 6f 72 20 53 51 4c 69 74 65 20 69 6e 73 74   for SQLite inst
0df0: 65 61 64 20 6f 66 20 53 51 4c 20 53 65 72 76 65  ead of SQL Serve
0e00: 72 2e 0a 0a 0a 0a 3c 68 31 3e 48 6f 77 20 54 68  r.....<h1>How Th
0e10: 65 73 65 20 4d 65 61 73 75 72 65 6d 65 6e 74 73  ese Measurements
0e20: 20 41 72 65 20 4d 61 64 65 3c 2f 68 31 3e 0a 0a   Are Made</h1>..
0e30: 3c 70 3e 49 2f 4f 20 70 65 72 66 6f 72 6d 61 6e  <p>I/O performan
0e40: 63 65 20 69 73 20 6d 65 61 73 75 72 65 64 20 75  ce is measured u
0e50: 73 69 6e 67 20 74 68 65 0a 5b 68 74 74 70 73 3a  sing the.[https:
0e60: 2f 2f 77 77 77 2e 73 71 6c 69 74 65 2e 6f 72 67  //www.sqlite.org
0e70: 2f 73 72 63 2f 66 69 6c 65 2f 74 65 73 74 2f 6b  /src/file/test/k
0e80: 76 74 65 73 74 2e 63 7c 6b 76 74 65 73 74 2e 63  vtest.c|kvtest.c
0e90: 5d 20 70 72 6f 67 72 61 6d 0a 66 72 6f 6d 20 74  ] program.from t
0ea0: 68 65 20 53 51 4c 69 74 65 20 73 6f 75 72 63 65  he SQLite source
0eb0: 20 74 72 65 65 2e 0a 54 6f 20 63 6f 6d 70 69 6c   tree..To compil
0ec0: 65 20 74 68 69 73 20 74 65 73 74 20 70 72 6f 67  e this test prog
0ed0: 72 61 6d 2c 20 66 69 72 73 74 20 67 61 74 68 65  ram, first gathe
0ee0: 72 20 74 68 65 20 6b 76 74 65 73 74 2e 63 20 73  r the kvtest.c s
0ef0: 6f 75 72 63 65 20 66 69 6c 65 0a 69 6e 74 6f 20  ource file.into 
0f00: 61 20 64 69 72 65 63 74 6f 72 79 20 77 69 74 68  a directory with
0f10: 20 74 68 65 20 5b 61 6d 61 6c 67 61 6d 61 74 69   the [amalgamati
0f20: 6f 6e 7c 53 51 4c 69 74 65 20 61 6d 61 6c 67 61  on|SQLite amalga
0f30: 6d 61 74 69 6f 6e 5d 20 73 6f 75 72 63 65 0a 66  mation] source.f
0f40: 69 6c 65 73 20 22 73 71 6c 69 74 65 33 2e 63 22  iles "sqlite3.c"
0f50: 20 61 6e 64 20 22 73 71 6c 69 74 65 33 2e 68 22   and "sqlite3.h"
0f60: 2e 20 20 54 68 65 6e 20 6f 6e 20 75 6e 69 78 2c  .  Then on unix,
0f70: 20 72 75 6e 20 61 20 63 6f 6d 6d 61 6e 64 20 6c   run a command l
0f80: 69 6b 65 0a 74 68 65 20 66 6f 6c 6c 6f 77 69 6e  ike.the followin
0f90: 67 3a 0a 0a 3c 63 6f 64 65 62 6c 6f 63 6b 3e 0a  g:..<codeblock>.
0fa0: 67 63 63 20 2d 4f 73 20 2d 49 2e 20 2d 44 53 51  gcc -Os -I. -DSQ
0fb0: 4c 49 54 45 5f 44 49 52 45 43 54 5f 4f 56 45 52  LITE_DIRECT_OVER
0fc0: 46 4c 4f 57 5f 52 45 41 44 20 26 23 39 32 3b 0a  FLOW_READ &#92;.
0fd0: 20 20 6b 76 74 65 73 74 2e 63 20 73 71 6c 69 74    kvtest.c sqlit
0fe0: 65 33 2e 63 20 2d 6f 20 6b 76 74 65 73 74 20 2d  e3.c -o kvtest -
0ff0: 6c 64 6c 20 2d 6c 70 74 68 72 65 61 64 0a 3c 2f  ldl -lpthread.</
1000: 63 6f 64 65 62 6c 6f 63 6b 3e 0a 0a 3c 70 3e 4f  codeblock>..<p>O
1010: 72 20 6f 6e 20 57 69 6e 64 6f 77 73 20 77 69 74  r on Windows wit
1020: 68 20 4d 53 56 43 3a 0a 0a 3c 63 6f 64 65 62 6c  h MSVC:..<codebl
1030: 6f 63 6b 3e 0a 63 6c 20 2d 49 2e 20 2d 44 53 51  ock>.cl -I. -DSQ
1040: 4c 49 54 45 5f 44 49 52 45 43 54 5f 4f 56 45 52  LITE_DIRECT_OVER
1050: 46 4c 4f 57 5f 52 45 41 44 20 6b 76 74 65 73 74  FLOW_READ kvtest
1060: 2e 63 20 73 71 6c 69 74 65 33 2e 63 0a 3c 2f 63  .c sqlite3.c.</c
1070: 6f 64 65 62 6c 6f 63 6b 3e 0a 0a 3c 70 3e 49 6e  odeblock>..<p>In
1080: 73 74 72 75 63 74 69 6f 6e 73 20 66 6f 72 20 63  structions for c
1090: 6f 6d 70 69 6c 69 6e 67 20 66 6f 72 20 41 6e 64  ompiling for And
10a0: 72 6f 69 64 0a 61 72 65 20 3c 61 20 68 72 65 66  roid.are <a href
10b0: 3d 22 23 63 6f 6d 70 69 6c 65 2d 61 6e 64 72 6f  ="#compile-andro
10c0: 69 64 22 3e 73 68 6f 77 6e 20 62 65 6c 6f 77 3c  id">shown below<
10d0: 2f 61 3e 2e 0a 0a 3c 70 3e 0a 55 73 65 20 74 68  /a>...<p>.Use th
10e0: 65 20 72 65 73 75 6c 74 69 6e 67 20 22 6b 76 74  e resulting "kvt
10f0: 65 73 74 22 20 70 72 6f 67 72 61 6d 20 74 6f 0a  est" program to.
1100: 67 65 6e 65 72 61 74 65 20 61 20 74 65 73 74 20  generate a test 
1110: 64 61 74 61 62 61 73 65 20 77 69 74 68 20 31 30  database with 10
1120: 30 2c 30 30 30 20 72 61 6e 64 6f 6d 20 75 6e 63  0,000 random unc
1130: 6f 6d 70 72 65 73 73 69 62 6c 65 0a 62 6c 6f 62  ompressible.blob
1140: 73 2c 20 65 61 63 68 20 77 69 74 68 20 61 20 72  s, each with a r
1150: 61 6e 64 6f 6d 0a 73 69 7a 65 20 62 65 74 77 65  andom.size betwe
1160: 65 6e 20 38 2c 30 30 30 20 61 6e 64 20 31 32 2c  en 8,000 and 12,
1170: 30 30 30 20 62 79 74 65 73 0a 75 73 69 6e 67 20  000 bytes.using 
1180: 61 20 63 6f 6d 6d 61 6e 64 20 6c 69 6b 65 20 74  a command like t
1190: 68 69 73 3a 0a 0a 3c 63 6f 64 65 62 6c 6f 63 6b  his:..<codeblock
11a0: 3e 0a 2e 2f 6b 76 74 65 73 74 20 69 6e 69 74 20  >../kvtest init 
11b0: 74 65 73 74 31 2e 64 62 20 2d 2d 63 6f 75 6e 74  test1.db --count
11c0: 20 31 30 30 6b 20 2d 2d 73 69 7a 65 20 31 30 6b   100k --size 10k
11d0: 20 2d 2d 76 61 72 69 61 6e 63 65 20 32 6b 0a 3c   --variance 2k.<
11e0: 2f 63 6f 64 65 62 6c 6f 63 6b 3e 0a 0a 3c 70 3e  /codeblock>..<p>
11f0: 0a 49 66 20 64 65 73 69 72 65 64 2c 20 79 6f 75  .If desired, you
1200: 20 63 61 6e 20 76 65 72 69 66 79 20 74 68 65 20   can verify the 
1210: 6e 65 77 20 64 61 74 61 62 61 73 65 20 62 79 20  new database by 
1220: 72 75 6e 6e 69 6e 67 20 74 68 69 73 20 63 6f 6d  running this com
1230: 6d 61 6e 64 3a 0a 0a 3c 63 6f 64 65 62 6c 6f 63  mand:..<codebloc
1240: 6b 3e 0a 2e 2f 6b 76 74 65 73 74 20 73 74 61 74  k>../kvtest stat
1250: 20 74 65 73 74 31 2e 64 62 0a 3c 2f 63 6f 64 65   test1.db.</code
1260: 62 6c 6f 63 6b 3e 0a 0a 3c 70 3e 0a 4e 65 78 74  block>..<p>.Next
1270: 2c 20 6d 61 6b 65 20 63 6f 70 69 65 73 20 6f 66  , make copies of
1280: 20 61 6c 6c 20 74 68 65 20 62 6c 6f 62 73 20 69   all the blobs i
1290: 6e 74 6f 20 69 6e 64 69 76 69 64 75 61 6c 20 66  nto individual f
12a0: 69 6c 65 73 20 69 6e 20 61 20 64 69 72 65 63 74  iles in a direct
12b0: 6f 72 79 0a 75 73 69 6e 67 20 61 20 63 6f 6d 6d  ory.using a comm
12c0: 61 6e 64 20 6c 69 6b 65 20 74 68 69 73 3a 0a 0a  and like this:..
12d0: 3c 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2e 2f 6b 76  <codeblock>../kv
12e0: 74 65 73 74 20 65 78 70 6f 72 74 20 74 65 73 74  test export test
12f0: 31 2e 64 62 20 74 65 73 74 31 2e 64 69 72 0a 3c  1.db test1.dir.<
1300: 2f 63 6f 64 65 62 6c 6f 63 6b 3e 0a 0a 3c 70 3e  /codeblock>..<p>
1310: 0a 41 74 20 74 68 69 73 20 70 6f 69 6e 74 2c 20  .At this point, 
1320: 79 6f 75 20 63 61 6e 20 6d 65 61 73 75 72 65 20  you can measure 
1330: 74 68 65 20 61 6d 6f 75 6e 74 20 6f 66 20 64 69  the amount of di
1340: 73 6b 20 73 70 61 63 65 20 75 73 65 64 20 62 79  sk space used by
1350: 0a 74 68 65 20 74 65 73 74 31 2e 64 62 20 64 61  .the test1.db da
1360: 74 61 62 61 73 65 20 61 6e 64 20 74 68 65 20 73  tabase and the s
1370: 70 61 63 65 20 75 73 65 64 20 62 79 20 74 68 65  pace used by the
1380: 20 74 65 73 74 31 2e 64 69 72 20 64 69 72 65 63   test1.dir direc
1390: 74 6f 72 79 0a 61 6e 64 20 61 6c 6c 20 6f 66 20  tory.and all of 
13a0: 69 74 73 20 63 6f 6e 74 65 6e 74 2e 20 20 4f 6e  its content.  On
13b0: 20 61 20 73 74 61 6e 64 61 72 64 20 55 62 75 6e   a standard Ubun
13c0: 74 75 20 4c 69 6e 75 78 20 64 65 73 6b 74 6f 70  tu Linux desktop
13d0: 2c 20 74 68 65 0a 64 61 74 61 62 61 73 65 20 66  , the.database f
13e0: 69 6c 65 20 77 69 6c 6c 20 62 65 20 31 2c 30 32  ile will be 1,02
13f0: 34 2c 35 31 32 2c 30 30 30 20 62 79 74 65 73 20  4,512,000 bytes 
1400: 69 6e 20 73 69 7a 65 20 61 6e 64 20 74 68 65 20  in size and the 
1410: 74 65 73 74 31 2e 64 69 72 0a 64 69 72 65 63 74  test1.dir.direct
1420: 6f 72 79 20 77 69 6c 6c 20 75 73 65 20 31 2c 32  ory will use 1,2
1430: 32 38 2c 38 30 30 2c 30 30 30 20 62 79 74 65 73  28,800,000 bytes
1440: 20 6f 66 20 73 70 61 63 65 20 28 61 63 63 6f 72   of space (accor
1450: 64 69 6e 67 20 74 6f 20 22 64 75 20 2d 6b 22 29  ding to "du -k")
1460: 2c 0a 61 62 6f 75 74 20 32 30 25 20 6d 6f 72 65  ,.about 20% more
1470: 20 74 68 61 6e 20 74 68 65 20 64 61 74 61 62 61   than the databa
1480: 73 65 2e 0a 0a 3c 70 3e 0a 54 68 65 20 22 74 65  se...<p>.The "te
1490: 73 74 31 2e 64 69 72 22 20 64 69 72 65 63 74 6f  st1.dir" directo
14a0: 72 79 20 63 72 65 61 74 65 64 20 61 62 6f 76 65  ry created above
14b0: 20 70 75 74 73 20 61 6c 6c 20 74 68 65 20 62 6c   puts all the bl
14c0: 6f 62 73 20 69 6e 74 6f 20 61 20 73 69 6e 67 6c  obs into a singl
14d0: 65 0a 66 6f 6c 64 65 72 2e 20 20 49 74 20 77 61  e.folder.  It wa
14e0: 73 20 63 6f 6e 6a 65 63 74 75 72 65 64 20 74 68  s conjectured th
14f0: 61 74 20 73 6f 6d 65 20 6f 70 65 72 61 74 69 6e  at some operatin
1500: 67 20 73 79 73 74 65 6d 73 20 77 6f 75 6c 64 20  g systems would 
1510: 70 65 72 66 6f 72 6d 20 0a 70 6f 6f 72 6c 79 20  perform .poorly 
1520: 77 68 65 6e 20 61 20 73 69 6e 67 6c 65 20 64 69  when a single di
1530: 72 65 63 74 6f 72 79 20 63 6f 6e 74 61 69 6e 73  rectory contains
1540: 20 31 30 30 2c 30 30 30 20 6f 62 6a 65 63 74 73   100,000 objects
1550: 2e 20 20 54 6f 20 74 65 73 74 20 74 68 69 73 2c  .  To test this,
1560: 0a 74 68 65 20 6b 76 74 65 73 74 20 70 72 6f 67  .the kvtest prog
1570: 72 61 6d 20 63 61 6e 20 61 6c 73 6f 20 73 74 6f  ram can also sto
1580: 72 65 20 74 68 65 20 62 6c 6f 62 73 20 69 6e 20  re the blobs in 
1590: 61 20 68 69 65 72 61 72 63 68 79 20 6f 66 20 66  a hierarchy of f
15a0: 6f 6c 64 65 72 73 20 77 69 74 68 20 6e 6f 0a 6d  olders with no.m
15b0: 6f 72 65 20 74 68 61 6e 20 31 30 30 20 66 69 6c  ore than 100 fil
15c0: 65 73 20 61 6e 64 2f 6f 72 20 73 75 62 64 69 72  es and/or subdir
15d0: 65 63 74 6f 72 69 65 73 20 70 65 72 20 66 6f 6c  ectories per fol
15e0: 64 65 72 2e 20 20 54 68 65 20 61 6c 74 65 72 6e  der.  The altern
15f0: 61 74 69 76 65 0a 6f 6e 2d 64 69 73 6b 20 72 65  ative.on-disk re
1600: 70 72 65 73 65 6e 74 61 74 69 6f 6e 20 6f 66 20  presentation of 
1610: 74 68 65 20 62 6c 6f 62 73 20 63 61 6e 20 62 65  the blobs can be
1620: 20 63 72 65 61 74 65 64 20 75 73 69 6e 67 20 74   created using t
1630: 68 65 20 2d 2d 74 72 65 65 0a 63 6f 6d 6d 61 6e  he --tree.comman
1640: 64 2d 6c 69 6e 65 20 6f 70 74 69 6f 6e 20 74 6f  d-line option to
1650: 20 74 68 65 20 22 65 78 70 6f 72 74 22 20 63 6f   the "export" co
1660: 6d 6d 61 6e 64 2c 20 6c 69 6b 65 20 74 68 69 73  mmand, like this
1670: 3a 0a 0a 3c 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2e  :..<codeblock>..
1680: 2f 6b 76 74 65 73 74 20 65 78 70 6f 72 74 20 74  /kvtest export t
1690: 65 73 74 31 2e 64 62 20 74 65 73 74 31 2e 74 72  est1.db test1.tr
16a0: 65 65 20 2d 2d 74 72 65 65 0a 3c 2f 63 6f 64 65  ee --tree.</code
16b0: 62 6c 6f 63 6b 3e 0a 0a 3c 70 3e 0a 54 68 65 20  block>..<p>.The 
16c0: 74 65 73 74 31 2e 64 69 72 20 64 69 72 65 63 74  test1.dir direct
16d0: 6f 72 79 20 77 69 6c 6c 20 63 6f 6e 74 61 69 6e  ory will contain
16e0: 20 31 30 30 2c 30 30 30 20 66 69 6c 65 73 0a 77   100,000 files.w
16f0: 69 74 68 20 6e 61 6d 65 73 20 6c 69 6b 65 20 22  ith names like "
1700: 30 30 30 30 30 30 22 2c 20 22 30 30 30 30 30 31  000000", "000001
1710: 22 2c 20 22 30 30 30 30 30 32 22 20 61 6e 64 20  ", "000002" and 
1720: 73 6f 20 66 6f 72 74 68 20 62 75 74 20 74 68 65  so forth but the
1730: 0a 74 65 73 74 31 2e 74 72 65 65 20 64 69 72 65  .test1.tree dire
1740: 63 74 6f 72 79 20 77 69 6c 6c 20 63 6f 6e 74 61  ctory will conta
1750: 69 6e 20 74 68 65 20 73 61 6d 65 20 66 69 6c 65  in the same file
1760: 73 20 69 6e 20 73 75 62 64 69 72 65 63 74 6f 72  s in subdirector
1770: 69 65 73 20 6c 69 6b 65 0a 22 30 30 2f 30 30 2f  ies like."00/00/
1780: 30 30 22 2c 20 22 30 30 2f 30 30 2f 30 31 22 2c  00", "00/00/01",
1790: 20 61 6e 64 20 73 6f 20 6f 6e 2e 20 20 54 68 65   and so on.  The
17a0: 20 74 65 73 74 31 2e 64 69 72 20 61 6e 64 20 74   test1.dir and t
17b0: 65 73 74 31 2e 74 65 73 74 0a 64 69 72 65 63 74  est1.test.direct
17c0: 6f 72 69 65 73 20 74 61 6b 65 20 75 70 20 61 70  ories take up ap
17d0: 70 72 6f 78 69 6d 61 74 65 6c 79 20 74 68 65 20  proximately the 
17e0: 73 61 6d 65 20 61 6d 6f 75 6e 74 20 6f 66 20 73  same amount of s
17f0: 70 61 63 65 2c 20 74 68 6f 75 67 68 0a 74 65 73  pace, though.tes
1800: 74 31 2e 74 65 73 74 20 69 73 20 76 65 72 79 20  t1.test is very 
1810: 73 6c 69 67 68 74 6c 79 20 6c 61 72 67 65 72 20  slightly larger 
1820: 64 75 65 20 74 6f 20 74 68 65 20 65 78 74 72 61  due to the extra
1830: 20 64 69 72 65 63 74 6f 72 79 20 65 6e 74 72 69   directory entri
1840: 65 73 2e 0a 0a 3c 70 3e 0a 41 6c 6c 20 6f 66 20  es...<p>.All of 
1850: 74 68 65 20 65 78 70 65 72 69 6d 65 6e 74 73 20  the experiments 
1860: 74 68 61 74 20 66 6f 6c 6c 6f 77 20 6f 70 65 72  that follow oper
1870: 61 74 65 20 74 68 65 20 73 61 6d 65 20 77 69 74  ate the same wit
1880: 68 20 65 69 74 68 65 72 20 0a 22 74 65 73 74 31  h either ."test1
1890: 2e 64 69 72 22 20 6f 72 20 22 74 65 73 74 31 2e  .dir" or "test1.
18a0: 74 72 65 65 22 2e 20 20 56 65 72 79 20 6c 69 74  tree".  Very lit
18b0: 74 6c 65 20 70 65 72 66 6f 72 6d 61 6e 63 65 20  tle performance 
18c0: 64 69 66 66 65 72 65 6e 63 65 20 69 73 0a 6d 65  difference is.me
18d0: 61 73 75 72 65 64 20 69 6e 20 65 69 74 68 65 72  asured in either
18e0: 20 63 61 73 65 2c 20 72 65 67 61 72 64 6c 65 73   case, regardles
18f0: 73 20 6f 66 20 6f 70 65 72 61 74 69 6e 67 20 73  s of operating s
1900: 79 73 74 65 6d 2e 0a 0a 3c 70 3e 0a 4d 65 61 73  ystem...<p>.Meas
1910: 75 72 65 20 74 68 65 20 70 65 72 66 6f 72 6d 61  ure the performa
1920: 6e 63 65 20 66 6f 72 20 72 65 61 64 69 6e 67 20  nce for reading 
1930: 62 6c 6f 62 73 20 66 72 6f 6d 20 74 68 65 20 64  blobs from the d
1940: 61 74 61 62 61 73 65 20 61 6e 64 20 66 72 6f 6d  atabase and from
1950: 0a 69 6e 64 69 76 69 64 75 61 6c 20 66 69 6c 65  .individual file
1960: 73 20 75 73 69 6e 67 20 74 68 65 73 65 20 63 6f  s using these co
1970: 6d 6d 61 6e 64 73 3a 0a 0a 3c 63 6f 64 65 62 6c  mmands:..<codebl
1980: 6f 63 6b 3e 0a 2e 2f 6b 76 74 65 73 74 20 72 75  ock>../kvtest ru
1990: 6e 20 74 65 73 74 31 2e 64 62 20 2d 2d 63 6f 75  n test1.db --cou
19a0: 6e 74 20 31 30 30 6b 20 2d 2d 62 6c 6f 62 2d 61  nt 100k --blob-a
19b0: 70 69 0a 2e 2f 6b 76 74 65 73 74 20 72 75 6e 20  pi../kvtest run 
19c0: 74 65 73 74 31 2e 64 69 72 20 2d 2d 63 6f 75 6e  test1.dir --coun
19d0: 74 20 31 30 30 6b 20 2d 2d 62 6c 6f 62 2d 61 70  t 100k --blob-ap
19e0: 69 0a 2e 2f 6b 76 74 65 73 74 20 72 75 6e 20 74  i../kvtest run t
19f0: 65 73 74 31 2e 74 72 65 65 20 2d 2d 63 6f 75 6e  est1.tree --coun
1a00: 74 20 31 30 30 6b 20 2d 2d 62 6c 6f 62 2d 61 70  t 100k --blob-ap
1a10: 69 0a 3c 2f 63 6f 64 65 62 6c 6f 63 6b 3e 0a 0a  i.</codeblock>..
1a20: 3c 70 3e 0a 44 65 70 65 6e 64 69 6e 67 20 6f 6e  <p>.Depending on
1a30: 20 79 6f 75 72 20 68 61 72 64 77 61 72 65 20 61   your hardware a
1a40: 6e 64 20 6f 70 65 72 61 74 69 6e 67 20 73 79 73  nd operating sys
1a50: 74 65 6d 2c 20 79 6f 75 20 73 68 6f 75 6c 64 20  tem, you should 
1a60: 73 65 65 20 74 68 61 74 20 72 65 61 64 73 20 0a  see that reads .
1a70: 66 72 6f 6d 20 74 68 65 20 74 65 73 74 31 2e 64  from the test1.d
1a80: 62 20 64 61 74 61 62 61 73 65 20 66 69 6c 65 20  b database file 
1a90: 61 72 65 20 61 62 6f 75 74 20 33 35 25 20 66 61  are about 35% fa
1aa0: 73 74 65 72 20 74 68 61 6e 20 72 65 61 64 73 20  ster than reads 
1ab0: 66 72 6f 6d 20 0a 69 6e 64 69 76 69 64 75 61 6c  from .individual
1ac0: 20 66 69 6c 65 73 20 69 6e 20 74 68 65 20 74 65   files in the te
1ad0: 73 74 31 2e 64 69 72 20 6f 72 20 74 65 73 74 31  st1.dir or test1
1ae0: 2e 74 72 65 65 20 66 6f 6c 64 65 72 73 2e 20 20  .tree folders.  
1af0: 52 65 73 75 6c 74 73 20 63 61 6e 20 76 61 72 79  Results can vary
1b00: 0a 73 69 67 6e 69 66 69 63 61 6e 74 6c 79 20 66  .significantly f
1b10: 72 6f 6d 20 6f 6e 65 20 72 75 6e 20 74 6f 20 74  rom one run to t
1b20: 68 65 20 6e 65 78 74 20 64 75 65 20 74 6f 20 63  he next due to c
1b30: 61 63 68 69 6e 67 2c 20 73 6f 20 69 74 20 69 73  aching, so it is
1b40: 20 61 64 76 69 73 61 62 6c 65 0a 74 6f 20 72 75   advisable.to ru
1b50: 6e 20 74 65 73 74 73 20 6d 75 6c 74 69 70 6c 65  n tests multiple
1b60: 20 74 69 6d 65 73 20 61 6e 64 20 74 61 6b 65 20   times and take 
1b70: 61 6e 20 61 76 65 72 61 67 65 20 6f 72 20 61 20  an average or a 
1b80: 77 6f 72 73 74 20 63 61 73 65 20 6f 72 20 61 20  worst case or a 
1b90: 62 65 73 74 0a 63 61 73 65 2c 20 64 65 70 65 6e  best.case, depen
1ba0: 64 69 6e 67 20 6f 6e 20 79 6f 75 72 20 72 65 71  ding on your req
1bb0: 75 69 72 65 6d 65 6e 74 73 2e 0a 0a 3c 70 3e 54  uirements...<p>T
1bc0: 68 65 20 2d 2d 62 6c 6f 62 2d 61 70 69 20 6f 70  he --blob-api op
1bd0: 74 69 6f 6e 20 6f 6e 20 74 68 65 20 64 61 74 61  tion on the data
1be0: 62 61 73 65 20 72 65 61 64 20 74 65 73 74 20 63  base read test c
1bf0: 61 75 73 65 73 20 6b 76 74 65 73 74 20 74 6f 20  auses kvtest to 
1c00: 75 73 65 0a 74 68 65 20 5b 73 71 6c 69 74 65 33  use.the [sqlite3
1c10: 5f 62 6c 6f 62 5f 72 65 61 64 28 29 5d 20 66 65  _blob_read()] fe
1c20: 61 74 75 72 65 20 6f 66 20 53 51 4c 69 74 65 20  ature of SQLite 
1c30: 74 6f 20 6c 6f 61 64 20 74 68 65 20 63 6f 6e 74  to load the cont
1c40: 65 6e 74 20 6f 66 20 74 68 65 0a 62 6c 6f 62 73  ent of the.blobs
1c50: 2c 20 72 61 74 68 65 72 20 74 68 61 6e 20 72 75  , rather than ru
1c60: 6e 6e 69 6e 67 20 70 75 72 65 20 53 51 4c 20 73  nning pure SQL s
1c70: 74 61 74 65 6d 65 6e 74 73 2e 20 20 54 68 69 73  tatements.  This
1c80: 20 68 65 6c 70 73 20 53 51 4c 69 74 65 20 74 6f   helps SQLite to
1c90: 20 72 75 6e 0a 61 20 6c 69 74 74 6c 65 20 66 61   run.a little fa
1ca0: 73 74 65 72 20 6f 6e 20 72 65 61 64 20 74 65 73  ster on read tes
1cb0: 74 73 2e 20 20 59 6f 75 20 63 61 6e 20 6f 6d 69  ts.  You can omi
1cc0: 74 20 74 68 61 74 20 6f 70 74 69 6f 6e 20 74 6f  t that option to
1cd0: 20 63 6f 6d 70 61 72 65 20 74 68 65 0a 70 65 72   compare the.per
1ce0: 66 6f 72 6d 61 6e 63 65 20 6f 66 20 53 51 4c 69  formance of SQLi
1cf0: 74 65 20 72 75 6e 6e 69 6e 67 20 53 51 4c 20 73  te running SQL s
1d00: 74 61 74 65 6d 65 6e 74 73 2e 0a 49 6e 20 74 68  tatements..In th
1d10: 61 74 20 63 61 73 65 2c 20 74 68 65 20 53 51 4c  at case, the SQL
1d20: 69 74 65 20 73 74 69 6c 6c 20 6f 75 74 2d 70 65  ite still out-pe
1d30: 72 66 6f 72 6d 73 20 64 69 72 65 63 74 20 72 65  rforms direct re
1d40: 61 64 73 2c 20 74 68 6f 75 67 68 0a 62 79 20 6e  ads, though.by n
1d50: 6f 74 20 61 73 20 6d 75 63 68 20 61 73 20 77 68  ot as much as wh
1d60: 65 6e 20 75 73 69 6e 67 20 5b 73 71 6c 69 74 65  en using [sqlite
1d70: 33 5f 62 6c 6f 62 5f 72 65 61 64 28 29 5d 2e 0a  3_blob_read()]..
1d80: 54 68 65 20 2d 2d 62 6c 6f 62 2d 61 70 69 20 6f  The --blob-api o
1d90: 70 74 69 6f 6e 20 69 73 20 69 67 6e 6f 72 65 64  ption is ignored
1da0: 20 66 6f 72 20 74 65 73 74 73 20 74 68 61 74 20   for tests that 
1db0: 72 65 61 64 20 66 72 6f 6d 20 69 6e 64 69 76 69  read from indivi
1dc0: 64 75 61 6c 20 64 69 73 6b 0a 66 69 6c 65 73 2e  dual disk.files.
1dd0: 0a 0a 3c 70 3e 0a 4d 65 61 73 75 72 65 20 77 72  ..<p>.Measure wr
1de0: 69 74 65 20 70 65 72 66 6f 72 6d 61 6e 63 65 20  ite performance 
1df0: 62 79 20 61 64 64 69 6e 67 20 74 68 65 20 2d 2d  by adding the --
1e00: 75 70 64 61 74 65 20 6f 70 74 69 6f 6e 2e 20 20  update option.  
1e10: 54 68 69 73 20 63 61 75 73 65 73 0a 74 68 65 20  This causes.the 
1e20: 62 6c 6f 62 73 20 61 72 65 20 6f 76 65 72 77 72  blobs are overwr
1e30: 69 74 74 65 6e 20 69 6e 20 70 6c 61 63 65 20 77  itten in place w
1e40: 69 74 68 20 61 6e 6f 74 68 65 72 20 72 61 6e 64  ith another rand
1e50: 6f 6d 20 62 6c 6f 62 20 6f 66 0a 65 78 61 63 74  om blob of.exact
1e60: 6c 79 20 74 68 65 20 73 61 6d 65 20 73 69 7a 65  ly the same size
1e70: 2e 0a 0a 3c 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2e  ...<codeblock>..
1e80: 2f 6b 76 74 65 73 74 20 72 75 6e 20 74 65 73 74  /kvtest run test
1e90: 31 2e 64 62 20 2d 2d 63 6f 75 6e 74 20 31 30 30  1.db --count 100
1ea0: 6b 20 2d 2d 75 70 64 61 74 65 0a 2e 2f 6b 76 74  k --update../kvt
1eb0: 65 73 74 20 72 75 6e 20 74 65 73 74 31 2e 64 69  est run test1.di
1ec0: 72 20 2d 2d 63 6f 75 6e 74 20 31 30 30 6b 20 2d  r --count 100k -
1ed0: 2d 75 70 64 61 74 65 0a 2e 2f 6b 76 74 65 73 74  -update../kvtest
1ee0: 20 72 75 6e 20 74 65 73 74 31 2e 74 72 65 65 20   run test1.tree 
1ef0: 2d 2d 63 6f 75 6e 74 20 31 30 30 6b 20 2d 2d 75  --count 100k --u
1f00: 70 64 61 74 65 0a 3c 2f 63 6f 64 65 62 6c 6f 63  pdate.</codebloc
1f10: 6b 3e 0a 0a 3c 70 3e 0a 54 68 65 20 77 72 69 74  k>..<p>.The writ
1f20: 69 6e 67 20 74 65 73 74 20 61 62 6f 76 65 20 69  ing test above i
1f30: 73 20 6e 6f 74 20 63 6f 6d 70 6c 65 74 65 6c 79  s not completely
1f40: 20 66 61 69 72 2c 20 73 69 6e 63 65 20 53 51 4c   fair, since SQL
1f50: 69 74 65 20 69 73 20 64 6f 69 6e 67 0a 5b 70 6f  ite is doing.[po
1f60: 77 65 72 2d 73 61 66 65 20 74 72 61 6e 73 61 63  wer-safe transac
1f70: 74 69 6f 6e 73 5d 20 77 68 65 72 65 61 73 20 74  tions] whereas t
1f80: 68 65 20 64 69 72 65 63 74 2d 74 6f 2d 64 69 73  he direct-to-dis
1f90: 6b 20 77 72 69 74 69 6e 67 20 69 73 20 6e 6f 74  k writing is not
1fa0: 2e 0a 54 6f 20 70 75 74 20 74 68 65 20 74 65 73  ..To put the tes
1fb0: 74 73 20 6f 6e 20 61 20 6d 6f 72 65 20 65 71 75  ts on a more equ
1fc0: 61 6c 20 66 6f 6f 74 69 6e 67 2c 20 61 64 64 20  al footing, add 
1fd0: 65 69 74 68 65 72 20 74 68 65 20 2d 2d 6e 6f 73  either the --nos
1fe0: 79 6e 63 0a 6f 70 74 69 6f 6e 20 74 6f 20 74 68  ync.option to th
1ff0: 65 20 53 51 4c 69 74 65 20 77 72 69 74 65 73 20  e SQLite writes 
2000: 74 6f 20 64 69 73 61 62 6c 65 20 63 61 6c 6c 69  to disable calli
2010: 6e 67 20 66 73 79 6e 63 28 29 20 6f 72 0a 46 6c  ng fsync() or.Fl
2020: 75 73 68 46 69 6c 65 42 75 66 66 65 72 73 28 29  ushFileBuffers()
2030: 20 74 6f 20 66 6f 72 63 65 20 63 6f 6e 74 65 6e   to force conten
2040: 74 20 74 6f 20 64 69 73 6b 2c 20 6f 72 20 75 73  t to disk, or us
2050: 69 6e 67 20 74 68 65 20 2d 2d 66 73 79 6e 63 20  ing the --fsync 
2060: 6f 70 74 69 6f 6e 0a 66 6f 72 20 74 68 65 20 64  option.for the d
2070: 69 72 65 63 74 2d 74 6f 2d 64 69 73 6b 20 74 65  irect-to-disk te
2080: 73 74 73 20 74 6f 20 66 6f 72 63 65 20 74 68 65  sts to force the
2090: 6d 20 74 6f 20 69 6e 76 6f 6b 65 20 66 73 79 6e  m to invoke fsyn
20a0: 63 28 29 20 6f 72 0a 46 6c 75 73 68 46 69 6c 65  c() or.FlushFile
20b0: 42 75 66 66 65 72 73 28 29 20 77 68 65 6e 20 75  Buffers() when u
20c0: 70 64 61 74 69 6e 67 20 64 69 73 6b 20 66 69 6c  pdating disk fil
20d0: 65 73 2e 0a 0a 3c 70 3e 0a 42 79 20 64 65 66 61  es...<p>.By defa
20e0: 75 6c 74 2c 20 6b 76 74 65 73 74 20 72 75 6e 73  ult, kvtest runs
20f0: 20 74 68 65 20 64 61 74 61 62 61 73 65 20 49 2f   the database I/
2100: 4f 20 6d 65 61 73 75 72 65 6d 65 6e 74 73 20 61  O measurements a
2110: 6c 6c 20 77 69 74 68 69 6e 0a 61 20 73 69 6e 67  ll within.a sing
2120: 6c 65 20 74 72 61 6e 73 61 63 74 69 6f 6e 2e 20  le transaction. 
2130: 20 55 73 65 20 74 68 65 20 2d 2d 6d 75 6c 74 69   Use the --multi
2140: 74 72 61 6e 73 20 6f 70 74 69 6f 6e 20 74 6f 20  trans option to 
2150: 72 75 6e 20 65 61 63 68 20 62 6c 6f 62 0a 72 65  run each blob.re
2160: 61 64 20 6f 72 20 77 72 69 74 65 20 69 6e 20 61  ad or write in a
2170: 20 73 65 70 61 72 61 74 65 20 74 72 61 6e 73 61   separate transa
2180: 63 74 69 6f 6e 2e 20 20 54 68 65 20 2d 2d 6d 75  ction.  The --mu
2190: 6c 74 69 74 72 61 6e 73 20 6f 70 74 69 6f 6e 20  ltitrans option 
21a0: 6d 61 6b 65 73 0a 53 51 4c 69 74 65 20 6d 75 63  makes.SQLite muc
21b0: 68 20 73 6c 6f 77 65 72 2c 20 61 6e 64 20 75 6e  h slower, and un
21c0: 63 6f 6d 70 65 74 69 74 69 76 65 20 77 69 74 68  competitive with
21d0: 20 64 69 72 65 63 74 20 64 69 73 6b 20 49 2f 4f   direct disk I/O
21e0: 2e 20 20 54 68 69 73 0a 6f 70 74 69 6f 6e 20 70  .  This.option p
21f0: 72 6f 76 65 73 2c 20 79 65 74 20 61 67 61 69 6e  roves, yet again
2200: 2c 20 74 68 61 74 20 74 6f 20 67 65 74 20 74 68  , that to get th
2210: 65 20 6d 6f 73 74 20 70 65 72 66 6f 72 6d 61 6e  e most performan
2220: 63 65 20 6f 75 74 20 6f 66 0a 53 51 4c 69 74 65  ce out of.SQLite
2230: 2c 20 79 6f 75 20 73 68 6f 75 6c 64 20 67 72 6f  , you should gro
2240: 75 70 20 61 73 20 6d 75 63 68 20 64 61 74 61 62  up as much datab
2250: 61 73 65 20 69 6e 74 65 72 61 63 74 69 6f 6e 20  ase interaction 
2260: 61 73 20 70 6f 73 73 69 62 6c 65 20 77 69 74 68  as possible with
2270: 69 6e 0a 61 20 73 69 6e 67 6c 65 20 74 72 61 6e  in.a single tran
2280: 73 61 63 74 69 6f 6e 2e 0a 0a 3c 70 3e 0a 54 68  saction...<p>.Th
2290: 65 72 65 20 61 72 65 20 6d 61 6e 79 20 6f 74 68  ere are many oth
22a0: 65 72 20 74 65 73 74 69 6e 67 20 6f 70 74 69 6f  er testing optio
22b0: 6e 73 2c 20 77 68 69 63 68 20 63 61 6e 20 62 65  ns, which can be
22c0: 20 73 65 65 6e 20 62 79 20 72 75 6e 6e 69 6e 67   seen by running
22d0: 0a 74 68 65 20 63 6f 6d 6d 61 6e 64 3a 0a 0a 3c  .the command:..<
22e0: 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2e 2f 6b 76 74  codeblock>../kvt
22f0: 65 73 74 20 68 65 6c 70 0a 3c 2f 63 6f 64 65 62  est help.</codeb
2300: 6c 6f 63 6b 3e 0a 0a 3c 68 32 3e 52 65 61 64 20  lock>..<h2>Read 
2310: 50 65 72 66 6f 72 6d 61 6e 63 65 20 4d 65 61 73  Performance Meas
2320: 75 72 65 6d 65 6e 74 73 3c 2f 68 32 3e 0a 0a 3c  urements</h2>..<
2330: 70 3e 54 68 65 20 63 68 61 72 74 20 62 65 6c 6f  p>The chart belo
2340: 77 20 73 68 6f 77 73 20 64 61 74 61 20 63 6f 6c  w shows data col
2350: 6c 65 63 74 65 64 20 75 73 69 6e 67 20 0a 5b 68  lected using .[h
2360: 74 74 70 73 3a 2f 2f 77 77 77 2e 73 71 6c 69 74  ttps://www.sqlit
2370: 65 2e 6f 72 67 2f 73 72 63 2f 66 69 6c 65 2f 74  e.org/src/file/t
2380: 65 73 74 2f 6b 76 74 65 73 74 2e 63 7c 6b 76 74  est/kvtest.c|kvt
2390: 65 73 74 2e 63 5d 20 6f 6e 20 66 69 76 65 20 64  est.c] on five d
23a0: 69 66 66 65 72 65 6e 74 0a 73 79 73 74 65 6d 73  ifferent.systems
23b0: 3a 0a 0a 3c 75 6c 3e 0a 3c 6c 69 3e 3c 62 3e 57  :..<ul>.<li><b>W
23c0: 69 6e 37 3c 2f 62 3e 3a 20 41 20 63 69 72 63 61  in7</b>: A circa
23d0: 2d 32 30 30 39 20 44 65 6c 6c 20 49 6e 73 70 69  -2009 Dell Inspi
23e0: 72 6f 6e 20 6c 61 70 74 6f 70 2c 20 50 65 6e 74  ron laptop, Pent
23f0: 69 75 6d 20 64 75 61 6c 2d 63 6f 72 65 0a 20 20  ium dual-core.  
2400: 20 20 61 74 20 32 2e 33 30 47 48 7a 2c 20 34 47    at 2.30GHz, 4G
2410: 69 42 20 52 41 4d 2c 20 57 69 6e 64 6f 77 73 37  iB RAM, Windows7
2420: 2e 0a 3c 6c 69 3e 3c 62 3e 57 69 6e 31 30 3c 2f  ..<li><b>Win10</
2430: 62 3e 3a 20 41 20 32 30 31 36 20 4c 65 6e 6f 76  b>: A 2016 Lenov
2440: 6f 20 59 4f 47 41 20 39 31 30 2c 20 49 6e 74 65  o YOGA 910, Inte
2450: 6c 20 69 37 2d 37 35 30 30 20 61 74 20 32 2e 37  l i7-7500 at 2.7
2460: 30 47 48 7a 2c 0a 20 20 20 20 31 36 47 69 42 20  0GHz,.    16GiB 
2470: 52 41 4d 2c 20 57 69 6e 64 6f 77 73 31 30 2e 0a  RAM, Windows10..
2480: 3c 6c 69 3e 3c 62 3e 4d 61 63 3c 2f 62 3e 3a 20  <li><b>Mac</b>: 
2490: 41 20 32 30 31 35 20 4d 61 63 42 6f 6f 6b 20 50  A 2015 MacBook P
24a0: 72 6f 2c 20 33 2e 31 47 48 7a 20 69 6e 74 65 6c  ro, 3.1GHz intel
24b0: 20 43 6f 72 65 20 69 37 2c 20 31 36 47 69 42 20   Core i7, 16GiB 
24c0: 52 41 4d 2c 0a 20 20 20 20 4d 61 63 4f 53 20 31  RAM,.    MacOS 1
24d0: 30 2e 31 32 2e 35 0a 3c 6c 69 3e 3c 62 3e 55 62  0.12.5.<li><b>Ub
24e0: 75 6e 74 75 3c 2f 62 3e 3a 20 44 65 73 6b 74 6f  untu</b>: Deskto
24f0: 70 20 62 75 69 6c 74 20 66 72 6f 6d 20 49 6e 74  p built from Int
2500: 65 6c 20 69 37 2d 34 37 37 30 4b 20 61 74 20 33  el i7-4770K at 3
2510: 2e 35 30 47 48 7a 2c 20 33 32 47 69 42 20 52 41  .50GHz, 32GiB RA
2520: 4d 2c 0a 20 20 20 20 55 62 75 6e 74 75 20 31 36  M,.    Ubuntu 16
2530: 2e 30 34 2e 32 20 4c 54 53 0a 3c 6c 69 3e 3c 62  .04.2 LTS.<li><b
2540: 3e 41 6e 64 72 6f 69 64 3c 2f 62 3e 3a 20 47 61  >Android</b>: Ga
2550: 6c 61 78 79 20 53 33 2c 20 41 52 4d 76 37 2c 20  laxy S3, ARMv7, 
2560: 32 47 69 42 20 52 41 4d 0a 3c 2f 75 6c 3e 0a 0a  2GiB RAM.</ul>..
2570: 3c 70 3e 41 6c 6c 20 6d 61 63 68 69 6e 65 73 20  <p>All machines 
2580: 75 73 65 20 53 53 44 20 65 78 63 65 70 74 20 57  use SSD except W
2590: 69 6e 37 20 77 68 69 63 68 20 68 61 73 20 61 0a  in7 which has a.
25a0: 68 61 72 64 2d 64 72 69 76 65 2e 20 54 68 65 20  hard-drive. The 
25b0: 74 65 73 74 20 64 61 74 61 62 61 73 65 20 69 73  test database is
25c0: 20 31 30 30 4b 20 62 6c 6f 62 73 20 77 69 74 68   100K blobs with
25d0: 20 73 69 7a 65 73 20 75 6e 69 66 6f 72 6d 6c 79   sizes uniformly
25e0: 0a 64 69 73 74 72 69 62 75 74 65 64 20 62 65 74  .distributed bet
25f0: 77 65 65 6e 20 38 4b 20 61 6e 64 20 31 32 4b 2c  ween 8K and 12K,
2600: 20 66 6f 72 20 61 20 74 6f 74 61 6c 20 6f 66 20   for a total of 
2610: 61 62 6f 75 74 20 31 20 67 69 67 61 62 79 74 65  about 1 gigabyte
2620: 0a 6f 66 20 63 6f 6e 74 65 6e 74 2e 20 20 54 68  .of content.  Th
2630: 65 20 64 61 74 61 62 61 73 65 20 70 61 67 65 20  e database page 
2640: 73 69 7a 65 0a 69 73 20 34 4b 69 42 2e 20 20 54  size.is 4KiB.  T
2650: 68 65 20 2d 44 53 51 4c 49 54 45 5f 44 49 52 45  he -DSQLITE_DIRE
2660: 43 54 5f 4f 56 45 52 46 4c 4f 57 5f 52 45 41 44  CT_OVERFLOW_READ
2670: 20 63 6f 6d 70 69 6c 65 2d 74 69 6d 65 20 6f 70   compile-time op
2680: 74 69 6f 6e 20 77 61 73 0a 75 73 65 64 20 66 6f  tion was.used fo
2690: 72 20 61 6c 6c 20 6f 66 20 74 68 65 73 65 20 74  r all of these t
26a0: 65 73 74 73 2e 0a 54 65 73 74 73 20 77 65 72 65  ests..Tests were
26b0: 20 72 75 6e 20 6d 75 6c 74 69 70 6c 65 20 74 69   run multiple ti
26c0: 6d 65 73 2e 0a 54 68 65 20 66 69 72 73 74 20 72  mes..The first r
26d0: 75 6e 20 77 61 73 20 75 73 65 64 20 74 6f 20 77  un was used to w
26e0: 61 72 6d 20 75 70 20 74 68 65 20 63 61 63 68 65  arm up the cache
26f0: 20 61 6e 64 20 69 74 73 20 74 69 6d 69 6e 67 73   and its timings
2700: 20 77 65 72 65 20 64 69 73 63 61 72 64 65 64 2e   were discarded.
2710: 0a 0a 3c 70 3e 0a 54 68 65 20 63 68 61 72 74 20  ..<p>.The chart 
2720: 62 65 6c 6f 77 20 73 68 6f 77 73 20 61 76 65 72  below shows aver
2730: 61 67 65 20 74 69 6d 65 20 74 6f 20 72 65 61 64  age time to read
2740: 20 61 20 62 6c 6f 62 20 64 69 72 65 63 74 6c 79   a blob directly
2750: 20 66 72 6f 6d 20 74 68 65 0a 66 69 6c 65 73 79   from the.filesy
2760: 73 74 65 6d 20 76 65 72 73 75 73 20 74 68 65 20  stem versus the 
2770: 74 69 6d 65 20 6e 65 65 64 65 64 20 74 6f 20 72  time needed to r
2780: 65 61 64 20 74 68 65 20 73 61 6d 65 20 62 6c 6f  ead the same blo
2790: 62 20 66 72 6f 6d 20 74 68 65 20 53 51 4c 69 74  b from the SQLit
27a0: 65 20 0a 64 61 74 61 62 61 73 65 2e 0a 54 68 65  e .database..The
27b0: 20 61 63 74 75 61 6c 20 74 69 6d 69 6e 67 73 20   actual timings 
27c0: 76 61 72 79 20 63 6f 6e 73 69 64 65 72 61 62 6c  vary considerabl
27d0: 79 20 66 72 6f 6d 20 6f 6e 65 20 73 79 73 74 65  y from one syste
27e0: 6d 20 74 6f 20 61 6e 6f 74 68 65 72 20 0a 28 74  m to another .(t
27f0: 68 65 20 55 62 75 6e 74 75 20 64 65 73 6b 74 6f  he Ubuntu deskto
2800: 70 20 69 73 20 6d 75 63 68 0a 66 61 73 74 65 72  p is much.faster
2810: 20 74 68 61 6e 20 74 68 65 20 47 61 6c 61 78 79   than the Galaxy
2820: 20 53 33 20 70 68 6f 6e 65 2c 20 66 6f 72 20 65   S3 phone, for e
2830: 78 61 6d 70 6c 65 29 2e 20 20 0a 54 68 69 73 20  xample).  .This 
2840: 63 68 61 72 74 20 73 68 6f 77 73 20 74 68 65 20  chart shows the 
2850: 72 61 74 69 6f 20 6f 66 20 74 68 65 0a 74 69 6d  ratio of the.tim
2860: 65 73 20 6e 65 65 64 65 64 20 74 6f 20 72 65 61  es needed to rea
2870: 64 20 62 6c 6f 62 73 20 66 72 6f 6d 20 61 20 66  d blobs from a f
2880: 69 6c 65 20 64 69 76 69 64 65 64 20 62 79 20 74  ile divided by t
2890: 68 65 20 74 69 6d 65 20 6e 65 65 64 65 64 20 74  he time needed t
28a0: 6f 0a 66 72 6f 6d 20 74 68 65 20 64 61 74 61 62  o.from the datab
28b0: 61 73 65 2e 20 20 54 68 65 20 6c 65 66 74 2d 6d  ase.  The left-m
28c0: 6f 73 74 20 63 6f 6c 75 6d 6e 20 69 6e 20 74 68  ost column in th
28d0: 65 20 63 68 61 72 74 20 69 73 20 74 68 65 20 6e  e chart is the n
28e0: 6f 72 6d 61 6c 69 7a 65 64 0a 74 69 6d 65 20 74  ormalized.time t
28f0: 6f 20 72 65 61 64 20 66 72 6f 6d 20 74 68 65 20  o read from the 
2900: 64 61 74 61 62 61 73 65 2c 20 66 6f 72 20 72 65  database, for re
2910: 66 65 72 65 6e 63 65 2e 0a 0a 3c 70 3e 0a 49 6e  ference...<p>.In
2920: 20 74 68 69 73 20 63 68 61 72 74 2c 20 61 6e 20   this chart, an 
2930: 53 51 4c 20 73 74 61 74 65 6d 65 6e 74 20 28 22  SQL statement ("
2940: 53 45 4c 45 43 54 20 76 20 46 52 4f 4d 20 6b 76  SELECT v FROM kv
2950: 20 57 48 45 52 45 20 6b 3d 3f 31 22 29 20 0a 69   WHERE k=?1") .i
2960: 73 20 70 72 65 70 61 72 65 64 20 6f 6e 63 65 2e  s prepared once.
2970: 20 20 54 68 65 6e 20 66 6f 72 20 65 61 63 68 20    Then for each 
2980: 62 6c 6f 62 2c 20 74 68 65 20 62 6c 6f 62 20 6b  blob, the blob k
2990: 65 79 20 76 61 6c 75 65 20 69 73 20 62 6f 75 6e  ey value is boun
29a0: 64 20 0a 74 6f 20 74 68 65 20 3f 31 20 70 61 72  d .to the ?1 par
29b0: 61 6d 65 74 65 72 20 61 6e 64 20 74 68 65 20 73  ameter and the s
29c0: 74 61 74 65 6d 65 6e 74 20 69 73 20 65 76 61 6c  tatement is eval
29d0: 75 61 74 65 64 20 74 6f 20 65 78 74 72 61 63 74  uated to extract
29e0: 20 74 68 65 0a 62 6c 6f 62 20 63 6f 6e 74 65 6e   the.blob conten
29f0: 74 2e 0a 0a 3c 70 3e 0a 54 68 65 20 63 68 61 72  t...<p>.The char
2a00: 74 20 73 68 6f 77 73 20 74 68 61 74 20 6f 6e 20  t shows that on 
2a10: 57 69 6e 64 6f 77 73 31 30 2c 20 63 6f 6e 74 65  Windows10, conte
2a20: 6e 74 20 63 61 6e 20 62 65 20 72 65 61 64 20 66  nt can be read f
2a30: 72 6f 6d 20 74 68 65 20 53 51 4c 69 74 65 0a 64  rom the SQLite.d
2a40: 61 74 61 62 61 73 65 20 61 62 6f 75 74 20 35 20  atabase about 5 
2a50: 74 69 6d 65 73 20 66 61 73 74 65 72 20 74 68 61  times faster tha
2a60: 6e 20 69 74 20 63 61 6e 20 62 65 20 72 65 61 64  n it can be read
2a70: 20 64 69 72 65 63 74 6c 79 20 66 72 6f 6d 20 64   directly from d
2a80: 69 73 6b 2e 0a 4f 6e 20 41 6e 64 72 6f 69 64 2c  isk..On Android,
2a90: 20 53 51 4c 69 74 65 20 69 73 20 6f 6e 6c 79 20   SQLite is only 
2aa0: 61 62 6f 75 74 20 33 35 25 20 66 61 73 74 65 72  about 35% faster
2ab0: 20 74 68 61 6e 20 72 65 61 64 69 6e 67 20 66 72   than reading fr
2ac0: 6f 6d 20 64 69 73 6b 2e 0a 0a 3c 63 65 6e 74 65  om disk...<cente
2ad0: 72 3e 0a 3c 64 69 76 20 63 6c 61 73 73 3d 27 69  r>.<div class='i
2ae0: 6d 67 63 6f 6e 74 61 69 6e 65 72 27 3e 0a 3c 69  mgcontainer'>.<i
2af0: 6d 67 20 73 72 63 3d 22 69 6d 61 67 65 73 2f 66  mg src="images/f
2b00: 61 73 74 65 72 2d 72 65 61 64 2d 73 71 6c 2e 6a  aster-read-sql.j
2b10: 70 67 22 3e 0a 3c 2f 64 69 76 3e 0a 3c 62 72 3e  pg">.</div>.<br>
2b20: 0a 43 68 61 72 74 20 31 3a 20 20 53 51 4c 69 74  .Chart 1:  SQLit
2b30: 65 20 72 65 61 64 20 6c 61 74 65 6e 63 79 20 72  e read latency r
2b40: 65 6c 61 74 69 76 65 20 74 6f 20 64 69 72 65 63  elative to direc
2b50: 74 20 66 69 6c 65 73 79 73 74 65 6d 20 72 65 61  t filesystem rea
2b60: 64 73 2e 3c 62 72 3e 0a 31 30 30 4b 20 62 6c 6f  ds.<br>.100K blo
2b70: 62 73 2c 20 61 76 67 20 31 30 4b 42 20 65 61 63  bs, avg 10KB eac
2b80: 68 2c 20 72 61 6e 64 6f 6d 20 6f 72 64 65 72 20  h, random order 
2b90: 75 73 69 6e 67 20 53 51 4c 0a 3c 2f 63 65 6e 74  using SQL.</cent
2ba0: 65 72 3e 0a 0a 3c 70 3e 0a 54 68 65 20 70 65 72  er>..<p>.The per
2bb0: 66 6f 72 6d 61 6e 63 65 20 63 61 6e 20 62 65 20  formance can be 
2bc0: 69 6d 70 72 6f 76 65 64 20 73 6c 69 67 68 74 6c  improved slightl
2bd0: 79 20 62 79 20 62 79 70 61 73 73 69 6e 67 20 74  y by bypassing t
2be0: 68 65 20 53 51 4c 20 6c 61 79 65 72 0a 61 6e 64  he SQL layer.and
2bf0: 20 72 65 61 64 69 6e 67 20 74 68 65 20 62 6c 6f   reading the blo
2c00: 62 20 63 6f 6e 74 65 6e 74 20 64 69 72 65 63 74  b content direct
2c10: 6c 79 20 75 73 69 6e 67 20 74 68 65 0a 5b 73 71  ly using the.[sq
2c20: 6c 69 74 65 33 5f 62 6c 6f 62 5f 72 65 61 64 28  lite3_blob_read(
2c30: 29 5d 20 69 6e 74 65 72 66 61 63 65 2c 20 61 73  )] interface, as
2c40: 20 73 68 6f 77 6e 20 69 6e 20 74 68 65 20 6e 65   shown in the ne
2c50: 78 74 20 63 68 61 72 74 3a 0a 0a 3c 63 65 6e 74  xt chart:..<cent
2c60: 65 72 3e 0a 3c 64 69 76 20 63 6c 61 73 73 3d 27  er>.<div class='
2c70: 69 6d 67 63 6f 6e 74 61 69 6e 65 72 27 3e 0a 3c  imgcontainer'>.<
2c80: 69 6d 67 20 73 72 63 3d 22 69 6d 61 67 65 73 2f  img src="images/
2c90: 66 61 73 74 65 72 2d 72 65 61 64 2d 62 6c 6f 62  faster-read-blob
2ca0: 61 70 69 2e 6a 70 67 22 3e 0a 3c 2f 64 69 76 3e  api.jpg">.</div>
2cb0: 0a 3c 62 72 3e 0a 43 68 61 72 74 20 32 3a 20 20  .<br>.Chart 2:  
2cc0: 53 51 4c 69 74 65 20 72 65 61 64 20 6c 61 74 65  SQLite read late
2cd0: 6e 63 79 20 72 65 6c 61 74 69 76 65 20 74 6f 20  ncy relative to 
2ce0: 64 69 72 65 63 74 20 66 69 6c 65 73 79 73 74 65  direct filesyste
2cf0: 6d 20 72 65 61 64 73 2e 3c 62 72 3e 0a 31 30 30  m reads.<br>.100
2d00: 4b 20 62 6c 6f 62 73 2c 20 61 76 67 20 73 69 7a  K blobs, avg siz
2d10: 65 20 31 30 4b 42 2c 20 72 61 6e 64 6f 6d 20 6f  e 10KB, random o
2d20: 72 64 65 72 3c 62 72 3e 0a 75 73 69 6e 67 20 73  rder<br>.using s
2d30: 71 6c 69 74 65 33 5f 62 6c 6f 62 5f 72 65 61 64  qlite3_blob_read
2d40: 28 29 2e 0a 3c 2f 63 65 6e 74 65 72 3e 0a 0a 3c  ()..</center>..<
2d50: 70 3e 0a 46 75 72 74 68 65 72 20 70 65 72 66 6f  p>.Further perfo
2d60: 72 6d 61 6e 63 65 20 69 6d 70 72 6f 76 65 73 20  rmance improves 
2d70: 63 61 6e 20 62 65 20 6d 61 64 65 20 62 79 20 75  can be made by u
2d80: 73 69 6e 67 20 74 68 65 0a 5b 6d 65 6d 6f 72 79  sing the.[memory
2d90: 2d 6d 61 70 70 65 64 20 49 2f 4f 5d 20 66 65 61  -mapped I/O] fea
2da0: 74 75 72 65 20 6f 66 20 53 51 4c 69 74 65 2e 20  ture of SQLite. 
2db0: 20 49 6e 20 74 68 65 20 6e 65 78 74 20 63 68 61   In the next cha
2dc0: 72 74 2c 20 74 68 65 0a 65 6e 74 69 72 65 20 31  rt, the.entire 1
2dd0: 47 42 20 64 61 74 61 62 61 73 65 20 66 69 6c 65  GB database file
2de0: 20 69 73 20 6d 65 6d 6f 72 79 20 6d 61 70 70 65   is memory mappe
2df0: 64 20 61 6e 64 20 62 6c 6f 62 73 20 61 72 65 20  d and blobs are 
2e00: 72 65 61 64 0a 28 69 6e 20 72 61 6e 64 6f 6d 20  read.(in random 
2e10: 6f 72 64 65 72 29 20 75 73 69 6e 67 20 74 68 65  order) using the
2e20: 20 5b 73 71 6c 69 74 65 33 5f 62 6c 6f 62 5f 72   [sqlite3_blob_r
2e30: 65 61 64 28 29 5d 20 69 6e 74 65 72 66 61 63 65  ead()] interface
2e40: 2e 0a 57 69 74 68 20 74 68 65 73 65 20 6f 70 74  ..With these opt
2e50: 69 6d 69 7a 61 74 69 6f 6e 73 2c 20 53 51 4c 69  imizations, SQLi
2e60: 74 65 20 69 73 20 74 77 69 63 65 20 61 73 20 66  te is twice as f
2e70: 61 73 74 20 61 73 20 41 6e 64 72 6f 69 64 0a 6f  ast as Android.o
2e80: 72 20 4d 61 63 4f 53 2d 58 20 61 6e 64 20 6f 76  r MacOS-X and ov
2e90: 65 72 20 31 30 20 74 69 6d 65 73 20 66 61 73 74  er 10 times fast
2ea0: 65 72 20 74 68 61 6e 20 57 69 6e 64 6f 77 73 2e  er than Windows.
2eb0: 0a 0a 3c 63 65 6e 74 65 72 3e 0a 3c 64 69 76 20  ..<center>.<div 
2ec0: 63 6c 61 73 73 3d 27 69 6d 67 63 6f 6e 74 61 69  class='imgcontai
2ed0: 6e 65 72 27 3e 0a 3c 69 6d 67 20 73 72 63 3d 22  ner'>.<img src="
2ee0: 69 6d 61 67 65 73 2f 66 61 73 74 65 72 2d 72 65  images/faster-re
2ef0: 61 64 2d 6d 6d 61 70 2e 6a 70 67 22 3e 0a 3c 2f  ad-mmap.jpg">.</
2f00: 64 69 76 3e 0a 3c 62 72 3e 0a 43 68 61 72 74 20  div>.<br>.Chart 
2f10: 33 3a 20 20 53 51 4c 69 74 65 20 72 65 61 64 20  3:  SQLite read 
2f20: 6c 61 74 65 6e 63 79 20 72 65 6c 61 74 69 76 65  latency relative
2f30: 20 74 6f 20 64 69 72 65 63 74 20 66 69 6c 65 73   to direct files
2f40: 79 73 74 65 6d 20 72 65 61 64 73 2e 3c 62 72 3e  ystem reads.<br>
2f50: 0a 31 30 30 4b 20 62 6c 6f 62 73 2c 20 61 76 67  .100K blobs, avg
2f60: 20 73 69 7a 65 20 31 30 4b 42 2c 20 72 61 6e 64   size 10KB, rand
2f70: 6f 6d 20 6f 72 64 65 72 3c 62 72 3e 0a 75 73 69  om order<br>.usi
2f80: 6e 67 20 73 71 6c 69 74 65 33 5f 62 6c 6f 62 5f  ng sqlite3_blob_
2f90: 72 65 61 64 28 29 20 66 72 6f 6d 20 61 20 6d 65  read() from a me
2fa0: 6d 6f 72 79 2d 6d 61 70 70 65 64 20 64 61 74 61  mory-mapped data
2fb0: 62 61 73 65 2e 0a 3c 2f 63 65 6e 74 65 72 3e 0a  base..</center>.
2fc0: 0a 3c 70 3e 0a 54 68 65 20 74 68 69 72 64 20 63  .<p>.The third c
2fd0: 68 61 72 74 20 73 68 6f 77 73 20 74 68 61 74 20  hart shows that 
2fe0: 72 65 61 64 69 6e 67 20 62 6c 6f 62 20 63 6f 6e  reading blob con
2ff0: 74 65 6e 74 20 6f 75 74 20 6f 66 20 53 51 4c 69  tent out of SQLi
3000: 74 65 20 63 61 6e 20 62 65 0a 74 77 69 63 65 20  te can be.twice 
3010: 61 73 20 66 61 73 74 20 61 73 20 72 65 61 64 69  as fast as readi
3020: 6e 67 20 66 72 6f 6d 20 69 6e 64 69 76 69 64 75  ng from individu
3030: 61 6c 20 66 69 6c 65 73 20 6f 6e 20 64 69 73 6b  al files on disk
3040: 20 66 6f 72 20 4d 61 63 20 61 6e 64 0a 41 6e 64   for Mac and.And
3050: 72 6f 69 64 2c 20 61 6e 64 20 61 6e 20 61 6d 61  roid, and an ama
3060: 7a 69 6e 67 20 74 65 6e 20 74 69 6d 65 73 20 66  zing ten times f
3070: 61 73 74 65 72 20 66 6f 72 20 57 69 6e 64 6f 77  aster for Window
3080: 73 2e 0a 0a 3c 68 32 3e 57 72 69 74 65 20 50 65  s...<h2>Write Pe
3090: 72 66 6f 72 6d 61 6e 63 65 20 4d 65 61 73 75 72  rformance Measur
30a0: 65 6d 65 6e 74 73 3c 2f 68 32 3e 0a 0a 3c 70 3e  ements</h2>..<p>
30b0: 0a 57 72 69 74 65 73 20 61 72 65 20 73 6c 6f 77  .Writes are slow
30c0: 65 72 2e 0a 4f 6e 20 61 6c 6c 20 73 79 73 74 65  er..On all syste
30d0: 6d 73 2c 20 75 73 69 6e 67 20 62 6f 74 68 20 64  ms, using both d
30e0: 69 72 65 63 74 20 49 2f 4f 20 61 6e 64 20 53 51  irect I/O and SQ
30f0: 4c 69 74 65 2c 20 77 72 69 74 65 20 70 65 72 66  Lite, write perf
3100: 6f 72 6d 61 6e 63 65 20 69 73 0a 62 65 74 77 65  ormance is.betwe
3110: 65 6e 20 35 20 61 6e 64 20 31 35 20 74 69 6d 65  en 5 and 15 time
3120: 73 20 73 6c 6f 77 65 72 20 74 68 61 6e 20 72 65  s slower than re
3130: 61 64 73 2e 0a 0a 3c 70 3e 0a 57 72 69 74 65 20  ads...<p>.Write 
3140: 70 65 72 66 6f 72 6d 61 6e 63 65 20 6d 65 61 73  performance meas
3150: 75 72 65 6d 65 6e 74 73 20 77 65 72 65 20 6d 61  urements were ma
3160: 64 65 20 62 79 20 72 65 70 6c 61 63 69 6e 67 20  de by replacing 
3170: 28 6f 76 65 72 77 72 69 74 69 6e 67 29 0a 61 6e  (overwriting).an
3180: 20 65 6e 74 69 72 65 20 62 6c 6f 62 20 77 69 74   entire blob wit
3190: 68 20 61 20 64 69 66 66 65 72 65 6e 74 20 62 6c  h a different bl
31a0: 6f 62 2e 20 20 41 6c 6c 20 6f 66 20 74 68 65 20  ob.  All of the 
31b0: 62 6c 6f 62 73 20 69 6e 20 74 68 65 73 65 0a 65  blobs in these.e
31c0: 78 70 65 72 69 6d 65 6e 74 20 61 72 65 20 72 61  xperiment are ra
31d0: 6e 64 6f 6d 20 61 6e 64 20 69 6e 63 6f 6d 70 72  ndom and incompr
31e0: 65 73 73 69 62 6c 65 2e 20 20 42 65 63 61 75 73  essible.  Becaus
31f0: 65 20 77 72 69 74 65 73 20 61 72 65 20 73 6f 20  e writes are so 
3200: 6d 75 63 68 0a 73 6c 6f 77 65 72 20 74 68 61 6e  much.slower than
3210: 20 72 65 61 64 73 2c 20 6f 6e 6c 79 20 31 30 2c   reads, only 10,
3220: 30 30 30 20 6f 66 20 74 68 65 20 31 30 30 2c 30  000 of the 100,0
3230: 30 30 20 62 6c 6f 62 73 20 69 6e 20 74 68 65 20  00 blobs in the 
3240: 64 61 74 61 62 61 73 65 0a 61 72 65 20 72 65 70  database.are rep
3250: 6c 61 63 65 64 2e 20 20 54 68 65 20 62 6c 6f 62  laced.  The blob
3260: 73 20 74 6f 20 62 65 20 72 65 70 6c 61 63 65 64  s to be replaced
3270: 20 61 72 65 20 73 65 6c 65 63 74 65 64 20 61 74   are selected at
3280: 20 72 61 6e 64 6f 6d 20 61 6e 64 0a 61 72 65 20   random and.are 
3290: 69 6e 20 6e 6f 20 70 61 72 74 69 63 75 6c 61 72  in no particular
32a0: 20 6f 72 64 65 72 2e 0a 0a 3c 70 3e 0a 54 68 65   order...<p>.The
32b0: 20 64 69 72 65 63 74 2d 74 6f 2d 64 69 73 6b 20   direct-to-disk 
32c0: 77 72 69 74 65 73 20 61 72 65 20 61 63 63 6f 6d  writes are accom
32d0: 70 6c 69 73 68 65 64 20 75 73 69 6e 67 20 66 6f  plished using fo
32e0: 70 65 6e 28 29 2f 66 77 72 69 74 65 28 29 2f 66  pen()/fwrite()/f
32f0: 63 6c 6f 73 65 28 29 2e 0a 42 79 20 64 65 66 61  close()..By defa
3300: 75 6c 74 2c 20 61 6e 64 20 69 6e 20 61 6c 6c 20  ult, and in all 
3310: 74 68 65 20 72 65 73 75 6c 74 73 20 73 68 6f 77  the results show
3320: 6e 20 62 65 6c 6f 77 2c 20 74 68 65 20 4f 53 20  n below, the OS 
3330: 66 69 6c 65 73 79 73 74 65 6d 20 62 75 66 66 65  filesystem buffe
3340: 72 73 20 61 72 65 0a 6e 65 76 65 72 20 66 6c 75  rs are.never flu
3350: 73 68 65 64 20 74 6f 20 70 65 72 73 69 73 74 65  shed to persiste
3360: 6e 74 20 73 74 6f 72 61 67 65 20 75 73 69 6e 67  nt storage using
3370: 20 66 73 79 6e 63 28 29 20 6f 72 0a 46 6c 75 73   fsync() or.Flus
3380: 68 46 69 6c 65 42 75 66 66 65 72 73 28 29 2e 20  hFileBuffers(). 
3390: 20 49 6e 20 6f 74 68 65 72 20 77 6f 72 64 73 2c   In other words,
33a0: 20 74 68 65 72 65 20 69 73 20 6e 6f 20 61 74 74   there is no att
33b0: 65 6d 70 74 20 74 6f 20 6d 61 6b 65 20 74 68 65  empt to make the
33c0: 0a 64 69 72 65 63 74 2d 74 6f 2d 64 69 73 6b 20  .direct-to-disk 
33d0: 77 72 69 74 65 73 20 74 72 61 6e 73 61 63 74 69  writes transacti
33e0: 6f 6e 61 6c 20 6f 72 20 70 6f 77 65 72 2d 73 61  onal or power-sa
33f0: 66 65 2e 0a 57 65 20 66 6f 75 6e 64 20 74 68 61  fe..We found tha
3400: 74 20 69 6e 76 6f 6b 69 6e 67 20 66 73 79 6e 63  t invoking fsync
3410: 28 29 20 6f 72 20 46 6c 75 73 68 46 69 6c 65 42  () or FlushFileB
3420: 75 66 66 65 72 73 28 29 20 6f 6e 20 65 61 63 68  uffers() on each
3430: 20 66 69 6c 65 0a 77 72 69 74 74 65 6e 20 63 61   file.written ca
3440: 75 73 65 73 20 64 69 72 65 63 74 2d 74 6f 2d 64  uses direct-to-d
3450: 69 73 6b 20 73 74 6f 72 61 67 65 0a 74 6f 20 62  isk storage.to b
3460: 65 20 61 62 6f 75 74 20 31 30 20 74 69 6d 65 73  e about 10 times
3470: 20 6f 72 20 6d 6f 72 65 20 73 6c 6f 77 65 72 20   or more slower 
3480: 74 68 61 6e 20 77 72 69 74 65 73 20 74 6f 20 53  than writes to S
3490: 51 4c 69 74 65 2e 0a 0a 3c 70 3e 0a 54 68 65 20  QLite...<p>.The 
34a0: 6e 65 78 74 20 63 68 61 72 74 20 63 6f 6d 70 61  next chart compa
34b0: 72 65 73 20 53 51 4c 69 74 65 20 64 61 74 61 62  res SQLite datab
34c0: 61 73 65 20 75 70 64 61 74 65 73 20 69 6e 20 5b  ase updates in [
34d0: 57 41 4c 20 6d 6f 64 65 5d 0a 61 67 61 69 6e 73  WAL mode].agains
34e0: 74 20 72 61 77 20 64 69 72 65 63 74 2d 74 6f 2d  t raw direct-to-
34f0: 64 69 73 6b 20 6f 76 65 72 77 72 69 74 65 73 20  disk overwrites 
3500: 6f 66 20 73 65 70 61 72 61 74 65 20 66 69 6c 65  of separate file
3510: 73 20 6f 6e 20 64 69 73 6b 2e 0a 54 68 65 20 5b  s on disk..The [
3520: 50 52 41 47 4d 41 20 73 79 6e 63 68 72 6f 6e 6f  PRAGMA synchrono
3530: 75 73 5d 20 73 65 74 74 69 6e 67 20 69 73 20 4e  us] setting is N
3540: 4f 52 4d 41 4c 2e 0a 41 6c 6c 20 64 61 74 61 62  ORMAL..All datab
3550: 61 73 65 20 77 72 69 74 65 73 20 61 72 65 20 69  ase writes are i
3560: 6e 20 61 20 73 69 6e 67 6c 65 20 74 72 61 6e 73  n a single trans
3570: 61 63 74 69 6f 6e 2e 0a 54 68 65 20 74 69 6d 65  action..The time
3580: 72 20 66 6f 72 20 74 68 65 20 64 61 74 61 62 61  r for the databa
3590: 73 65 20 77 72 69 74 65 73 20 69 73 20 73 74 6f  se writes is sto
35a0: 70 70 65 64 20 61 66 74 65 72 20 74 68 65 20 74  pped after the t
35b0: 72 61 6e 73 61 63 74 69 6f 6e 0a 63 6f 6d 6d 69  ransaction.commi
35c0: 74 73 2c 20 62 75 74 20 62 65 66 6f 72 65 20 61  ts, but before a
35d0: 20 5b 63 68 65 63 6b 70 6f 69 6e 74 5d 20 69 73   [checkpoint] is
35e0: 20 72 75 6e 2e 0a 4e 6f 74 65 20 74 68 61 74 20   run..Note that 
35f0: 74 68 65 20 53 51 4c 69 74 65 20 77 72 69 74 65  the SQLite write
3600: 73 2c 20 75 6e 6c 69 6b 65 20 74 68 65 20 64 69  s, unlike the di
3610: 72 65 63 74 2d 74 6f 2d 64 69 73 6b 20 77 72 69  rect-to-disk wri
3620: 74 65 73 2c 0a 61 72 65 20 5b 74 72 61 6e 73 61  tes,.are [transa
3630: 63 74 69 6f 6e 61 6c 5d 20 61 6e 64 20 5b 70 6f  ctional] and [po
3640: 77 65 72 2d 73 61 66 65 5d 2c 20 74 68 6f 75 67  wer-safe], thoug
3650: 68 20 62 65 63 61 75 73 65 20 74 68 65 20 73 79  h because the sy
3660: 6e 63 68 72 6f 6e 6f 75 73 0a 73 65 74 74 69 6e  nchronous.settin
3670: 67 20 69 73 20 4e 4f 52 4d 41 4c 20 69 6e 73 74  g is NORMAL inst
3680: 65 61 64 20 6f 66 20 46 55 4c 4c 2c 20 74 68 65  ead of FULL, the
3690: 20 74 72 61 6e 73 61 63 74 69 6f 6e 73 20 61 72   transactions ar
36a0: 65 20 6e 6f 74 20 64 75 72 61 62 6c 65 2e 0a 0a  e not durable...
36b0: 3c 63 65 6e 74 65 72 3e 0a 3c 64 69 76 20 63 6c  <center>.<div cl
36c0: 61 73 73 3d 27 69 6d 67 63 6f 6e 74 61 69 6e 65  ass='imgcontaine
36d0: 72 27 3e 0a 3c 69 6d 67 20 73 72 63 3d 22 69 6d  r'>.<img src="im
36e0: 61 67 65 73 2f 66 61 73 74 65 72 2d 77 72 69 74  ages/faster-writ
36f0: 65 2d 73 61 66 65 2e 6a 70 67 22 3e 0a 3c 2f 64  e-safe.jpg">.</d
3700: 69 76 3e 0a 3c 62 72 3e 0a 43 68 61 72 74 20 34  iv>.<br>.Chart 4
3710: 3a 20 20 53 51 4c 69 74 65 20 77 72 69 74 65 20  :  SQLite write 
3720: 6c 61 74 65 6e 63 79 20 72 65 6c 61 74 69 76 65  latency relative
3730: 20 74 6f 20 64 69 72 65 63 74 20 66 69 6c 65 73   to direct files
3740: 79 73 74 65 6d 20 77 72 69 74 65 73 2e 3c 62 72  ystem writes.<br
3750: 3e 0a 31 30 4b 20 62 6c 6f 62 73 2c 20 61 76 67  >.10K blobs, avg
3760: 20 73 69 7a 65 20 31 30 4b 42 2c 20 72 61 6e 64   size 10KB, rand
3770: 6f 6d 20 6f 72 64 65 72 2c 3c 62 72 3e 0a 57 41  om order,<br>.WA
3780: 4c 20 6d 6f 64 65 20 77 69 74 68 20 73 79 6e 63  L mode with sync
3790: 68 72 6f 6e 6f 75 73 20 4e 4f 52 4d 41 4c 2c 3c  hronous NORMAL,<
37a0: 62 72 3e 0a 65 78 63 6c 75 73 69 76 65 20 6f 66  br>.exclusive of
37b0: 20 63 68 65 63 6b 70 6f 69 6e 74 20 74 69 6d 65   checkpoint time
37c0: 0a 3c 2f 63 65 6e 74 65 72 3e 0a 0a 3c 70 3e 0a  .</center>..<p>.
37d0: 54 68 65 20 61 6e 64 72 6f 69 64 20 70 65 72 66  The android perf
37e0: 6f 72 6d 61 6e 63 65 20 6e 75 6d 62 65 72 73 20  ormance numbers 
37f0: 66 6f 72 20 74 68 65 20 77 72 69 74 65 20 65 78  for the write ex
3800: 70 65 72 69 6d 65 6e 74 73 20 61 72 65 20 6f 6d  periments are om
3810: 69 74 74 65 64 0a 62 65 63 61 75 73 65 20 74 68  itted.because th
3820: 65 20 70 65 72 66 6f 72 6d 61 6e 63 65 20 74 65  e performance te
3830: 73 74 73 20 6f 6e 20 74 68 65 20 47 61 6c 61 78  sts on the Galax
3840: 79 20 53 33 20 61 72 65 20 73 6f 20 72 61 6e 64  y S3 are so rand
3850: 6f 6d 2e 20 20 54 77 6f 0a 63 6f 6e 73 65 63 75  om.  Two.consecu
3860: 74 69 76 65 20 72 75 6e 73 20 6f 66 20 74 68 65  tive runs of the
3870: 20 65 78 61 63 74 20 73 61 6d 65 20 65 78 70 65   exact same expe
3880: 72 69 6d 65 6e 74 20 77 6f 75 6c 64 20 67 69 76  riment would giv
3890: 65 20 77 69 6c 64 6c 79 20 64 69 66 66 65 72 65  e wildly differe
38a0: 6e 74 0a 74 69 6d 65 73 2e 20 20 41 6e 64 2c 20  nt.times.  And, 
38b0: 74 6f 20 62 65 20 66 61 69 72 2c 20 74 68 65 20  to be fair, the 
38c0: 70 65 72 66 6f 72 6d 61 6e 63 65 20 6f 66 20 53  performance of S
38d0: 51 4c 69 74 65 20 6f 6e 20 61 6e 64 72 6f 69 64  QLite on android
38e0: 20 69 73 20 73 6c 69 67 68 74 6c 79 0a 73 6c 6f   is slightly.slo
38f0: 77 65 72 20 74 68 61 6e 20 77 72 69 74 69 6e 67  wer than writing
3900: 20 64 69 72 65 63 74 6c 79 20 74 6f 20 64 69 73   directly to dis
3910: 6b 2e 0a 0a 3c 70 3e 0a 54 68 65 20 6e 65 78 74  k...<p>.The next
3920: 20 63 68 61 72 74 20 73 68 6f 77 73 20 74 68 65   chart shows the
3930: 20 70 65 72 66 6f 72 6d 61 6e 63 65 20 6f 66 20   performance of 
3940: 53 51 4c 69 74 65 20 76 65 72 73 75 73 20 64 69  SQLite versus di
3950: 72 65 63 74 2d 74 6f 2d 64 69 73 6b 0a 77 68 65  rect-to-disk.whe
3960: 6e 20 74 72 61 6e 73 61 63 74 69 6f 6e 73 20 61  n transactions a
3970: 72 65 20 64 69 73 61 62 6c 65 64 20 28 5b 50 52  re disabled ([PR
3980: 41 47 4d 41 20 6a 6f 75 72 6e 61 6c 5f 6d 6f 64  AGMA journal_mod
3990: 65 7c 50 52 41 47 4d 41 20 6a 6f 75 72 6e 61 6c  e|PRAGMA journal
39a0: 5f 6d 6f 64 65 3d 4f 46 46 5d 29 0a 61 6e 64 20  _mode=OFF]).and 
39b0: 5b 50 52 41 47 4d 41 20 73 79 6e 63 68 72 6f 6e  [PRAGMA synchron
39c0: 6f 75 73 5d 20 69 73 20 73 65 74 20 74 6f 20 4f  ous] is set to O
39d0: 46 46 2e 20 20 54 68 65 73 65 20 73 65 74 74 69  FF.  These setti
39e0: 6e 67 73 20 70 75 74 20 53 51 4c 69 74 65 20 6f  ngs put SQLite o
39f0: 6e 20 61 6e 0a 65 71 75 61 6c 20 66 6f 6f 74 69  n an.equal footi
3a00: 6e 67 20 77 69 74 68 20 64 69 72 65 63 74 2d 74  ng with direct-t
3a10: 6f 2d 64 69 73 6b 20 77 72 69 74 65 73 2c 20 77  o-disk writes, w
3a20: 68 69 63 68 20 69 73 20 74 6f 20 73 61 79 20 74  hich is to say t
3a30: 68 65 79 20 6d 61 6b 65 20 74 68 65 0a 64 61 74  hey make the.dat
3a40: 61 20 70 72 6f 6e 65 20 74 6f 20 63 6f 72 72 75  a prone to corru
3a50: 70 74 69 6f 6e 20 64 75 65 20 74 6f 20 73 79 73  ption due to sys
3a60: 74 65 6d 20 63 72 61 73 68 65 73 20 61 6e 64 20  tem crashes and 
3a70: 70 6f 77 65 72 20 66 61 69 6c 75 72 65 73 2e 0a  power failures..
3a80: 0a 3c 63 65 6e 74 65 72 3e 0a 3c 64 69 76 20 63  .<center>.<div c
3a90: 6c 61 73 73 3d 27 69 6d 67 63 6f 6e 74 61 69 6e  lass='imgcontain
3aa0: 65 72 27 3e 0a 3c 69 6d 67 20 73 72 63 3d 22 69  er'>.<img src="i
3ab0: 6d 61 67 65 73 2f 66 61 73 74 65 72 2d 77 72 69  mages/faster-wri
3ac0: 74 65 2d 75 6e 73 61 66 65 2e 6a 70 67 22 3e 0a  te-unsafe.jpg">.
3ad0: 3c 2f 64 69 76 3e 0a 3c 62 72 3e 0a 43 68 61 72  </div>.<br>.Char
3ae0: 74 20 35 3a 20 20 53 51 4c 69 74 65 20 77 72 69  t 5:  SQLite wri
3af0: 74 65 20 6c 61 74 65 6e 63 79 20 72 65 6c 61 74  te latency relat
3b00: 69 76 65 20 74 6f 20 64 69 72 65 63 74 20 66 69  ive to direct fi
3b10: 6c 65 73 79 73 74 65 6d 20 77 72 69 74 65 73 2e  lesystem writes.
3b20: 3c 62 72 3e 0a 31 30 4b 20 62 6c 6f 62 73 2c 20  <br>.10K blobs, 
3b30: 61 76 67 20 73 69 7a 65 20 31 30 4b 42 2c 20 72  avg size 10KB, r
3b40: 61 6e 64 6f 6d 20 6f 72 64 65 72 2c 3c 62 72 3e  andom order,<br>
3b50: 0a 6a 6f 75 72 6e 61 6c 69 6e 67 20 64 69 73 61  .journaling disa
3b60: 62 6c 65 64 2c 20 73 79 6e 63 68 72 6f 6e 6f 75  bled, synchronou
3b70: 73 20 4f 46 46 2e 0a 3c 2f 63 65 6e 74 65 72 3e  s OFF..</center>
3b80: 0a 0a 3c 70 3e 0a 49 6e 20 61 6c 6c 20 6f 66 20  ..<p>.In all of 
3b90: 74 68 65 20 77 72 69 74 65 20 74 65 73 74 73 2c  the write tests,
3ba0: 20 69 74 20 69 73 20 69 6d 70 6f 72 74 61 6e 74   it is important
3bb0: 20 74 6f 20 64 69 73 61 62 6c 65 20 61 6e 74 69   to disable anti
3bc0: 2d 76 69 72 75 73 20 73 6f 66 74 77 61 72 65 0a  -virus software.
3bd0: 70 72 69 6f 72 20 74 6f 20 72 75 6e 6e 69 6e 67  prior to running
3be0: 20 74 68 65 20 64 69 72 65 63 74 2d 74 6f 2d 64   the direct-to-d
3bf0: 69 73 6b 20 70 65 72 66 6f 72 6d 61 6e 63 65 20  isk performance 
3c00: 74 65 73 74 73 2e 20 20 57 65 20 66 6f 75 6e 64  tests.  We found
3c10: 20 74 68 61 74 0a 61 6e 74 69 2d 76 69 72 75 73   that.anti-virus
3c20: 20 73 6f 66 74 77 61 72 65 20 73 6c 6f 77 73 20   software slows 
3c30: 64 6f 77 6e 20 64 69 72 65 63 74 2d 74 6f 2d 64  down direct-to-d
3c40: 69 73 6b 20 62 79 20 61 6e 20 6f 72 64 65 72 20  isk by an order 
3c50: 6f 66 20 6d 61 67 6e 69 74 75 64 65 0a 77 68 65  of magnitude.whe
3c60: 72 65 61 73 20 69 74 20 69 6d 70 61 63 74 73 20  reas it impacts 
3c70: 53 51 4c 69 74 65 20 77 72 69 74 65 73 20 76 65  SQLite writes ve
3c80: 72 79 20 6c 69 74 74 6c 65 2e 20 20 54 68 69 73  ry little.  This
3c90: 20 69 73 20 70 72 6f 62 61 62 6c 79 20 64 75 65   is probably due
3ca0: 20 74 6f 20 74 68 65 0a 66 61 63 74 20 74 68 61   to the.fact tha
3cb0: 74 20 64 69 72 65 63 74 2d 74 6f 2d 64 69 73 6b  t direct-to-disk
3cc0: 20 63 68 61 6e 67 65 73 20 74 68 6f 75 73 61 6e   changes thousan
3cd0: 64 73 20 6f 66 20 73 65 70 61 72 61 74 65 20 66  ds of separate f
3ce0: 69 6c 65 73 20 77 68 69 63 68 20 61 6c 6c 20 6e  iles which all n
3cf0: 65 65 64 0a 74 6f 20 62 65 20 63 68 65 63 6b 65  eed.to be checke
3d00: 64 20 62 79 20 61 6e 74 69 2d 76 69 72 75 73 2c  d by anti-virus,
3d10: 20 77 68 65 72 65 61 73 20 53 51 4c 69 74 65 20   whereas SQLite 
3d20: 77 72 69 74 65 73 20 6f 6e 6c 79 20 63 68 61 6e  writes only chan
3d30: 67 65 73 20 74 68 65 20 73 69 6e 67 6c 65 0a 64  ges the single.d
3d40: 61 74 61 62 61 73 65 20 66 69 6c 65 2e 0a 0a 3c  atabase file...<
3d50: 68 32 3e 56 61 72 69 61 74 69 6f 6e 73 3c 2f 68  h2>Variations</h
3d60: 32 3e 0a 0a 3c 70 3e 54 68 65 20 5b 2d 44 53 51  2>..<p>The [-DSQ
3d70: 4c 49 54 45 5f 44 49 52 45 43 54 5f 4f 56 45 52  LITE_DIRECT_OVER
3d80: 46 4c 4f 57 5f 52 45 41 44 5d 20 63 6f 6d 70 69  FLOW_READ] compi
3d90: 6c 65 2d 74 69 6d 65 20 6f 70 74 69 6f 6e 20 63  le-time option c
3da0: 61 75 73 65 73 20 53 51 4c 69 74 65 0a 74 6f 20  auses SQLite.to 
3db0: 62 79 70 61 73 73 20 69 74 73 20 70 61 67 65 20  bypass its page 
3dc0: 63 61 63 68 65 20 77 68 65 6e 20 72 65 61 64 69  cache when readi
3dd0: 6e 67 20 63 6f 6e 74 65 6e 74 20 66 72 6f 6d 20  ng content from 
3de0: 6f 76 65 72 66 6c 6f 77 20 70 61 67 65 73 2e 20  overflow pages. 
3df0: 20 54 68 69 73 0a 68 65 6c 70 73 20 64 61 74 61   This.helps data
3e00: 62 61 73 65 20 72 65 61 64 73 20 6f 66 20 31 30  base reads of 10
3e10: 4b 20 62 6c 6f 62 73 20 72 75 6e 20 61 20 6c 69  K blobs run a li
3e20: 74 74 6c 65 20 66 61 73 74 65 72 2c 20 62 75 74  ttle faster, but
3e30: 20 6e 6f 74 20 61 6c 6c 20 74 68 61 74 20 6d 75   not all that mu
3e40: 63 68 0a 66 61 73 74 65 72 2e 20 20 53 51 4c 69  ch.faster.  SQLi
3e50: 74 65 20 73 74 69 6c 6c 20 68 6f 6c 64 73 20 61  te still holds a
3e60: 20 73 70 65 65 64 20 61 64 76 61 6e 74 61 67 65   speed advantage
3e70: 20 6f 76 65 72 20 64 69 72 65 63 74 20 66 69 6c   over direct fil
3e80: 65 73 79 73 74 65 6d 20 72 65 61 64 73 0a 77 69  esystem reads.wi
3e90: 74 68 6f 75 74 20 74 68 65 20 53 51 4c 49 54 45  thout the SQLITE
3ea0: 5f 44 49 52 45 43 54 5f 4f 56 45 52 46 4c 4f 57  _DIRECT_OVERFLOW
3eb0: 5f 52 45 41 44 20 63 6f 6d 70 69 6c 65 2d 74 69  _READ compile-ti
3ec0: 6d 65 20 6f 70 74 69 6f 6e 2e 0a 0a 3c 70 3e 4f  me option...<p>O
3ed0: 74 68 65 72 20 63 6f 6d 70 69 6c 65 2d 74 69 6d  ther compile-tim
3ee0: 65 20 6f 70 74 69 6f 6e 73 20 73 75 63 68 20 61  e options such a
3ef0: 73 20 75 73 69 6e 67 20 2d 4f 33 20 69 6e 73 74  s using -O3 inst
3f00: 65 61 64 20 6f 66 20 2d 4f 73 20 6f 72 0a 75 73  ead of -Os or.us
3f10: 69 6e 67 20 5b 2d 44 53 51 4c 49 54 45 5f 54 48  ing [-DSQLITE_TH
3f20: 52 45 41 44 53 41 46 45 3d 30 5d 20 61 6e 64 2f  READSAFE=0] and/
3f30: 6f 72 20 73 6f 6d 65 20 6f 66 20 74 68 65 20 6f  or some of the o
3f40: 74 68 65 72 0a 5b 72 65 63 6f 6d 6d 65 6e 64 65  ther.[recommende
3f50: 64 20 63 6f 6d 70 69 6c 65 2d 74 69 6d 65 20 6f  d compile-time o
3f60: 70 74 69 6f 6e 73 5d 20 6d 69 67 68 74 20 68 65  ptions] might he
3f70: 6c 70 20 53 51 4c 69 74 65 20 74 6f 20 72 75 6e  lp SQLite to run
3f80: 20 65 76 65 6e 20 66 61 73 74 65 72 0a 72 65 6c   even faster.rel
3f90: 61 74 69 76 65 20 74 6f 20 64 69 72 65 63 74 20  ative to direct 
3fa0: 66 69 6c 65 73 79 73 74 65 6d 20 72 65 61 64 73  filesystem reads
3fb0: 2e 0a 0a 3c 70 3e 54 68 65 20 73 69 7a 65 20 6f  ...<p>The size o
3fc0: 66 20 74 68 65 20 62 6c 6f 62 73 20 69 6e 20 74  f the blobs in t
3fd0: 68 65 20 74 65 73 74 20 64 61 74 61 20 61 66 66  he test data aff
3fe0: 65 63 74 73 20 70 65 72 66 6f 72 6d 61 6e 63 65  ects performance
3ff0: 2e 0a 54 68 65 20 66 69 6c 65 73 79 73 74 65 6d  ..The filesystem
4000: 20 77 69 6c 6c 20 67 65 6e 65 72 61 6c 6c 79 20   will generally 
4010: 62 65 20 66 61 73 74 65 72 20 66 6f 72 20 6c 61  be faster for la
4020: 72 67 65 72 20 62 6c 6f 62 73 2c 20 73 69 6e 63  rger blobs, sinc
4030: 65 0a 74 68 65 20 6f 76 65 72 68 65 61 64 20 6f  e.the overhead o
4040: 66 20 6f 70 65 6e 28 29 20 61 6e 64 20 63 6c 6f  f open() and clo
4050: 73 65 28 29 20 69 73 20 61 6d 6f 72 74 69 7a 65  se() is amortize
4060: 64 20 6f 76 65 72 20 6d 6f 72 65 20 62 79 74 65  d over more byte
4070: 73 20 6f 66 20 49 2f 4f 2c 0a 77 68 65 72 65 61  s of I/O,.wherea
4080: 73 20 74 68 65 20 64 61 74 61 62 61 73 65 20 77  s the database w
4090: 69 6c 6c 20 62 65 20 6d 6f 72 65 20 65 66 66 69  ill be more effi
40a0: 63 69 65 6e 74 20 69 6e 20 62 6f 74 68 20 73 70  cient in both sp
40b0: 65 65 64 20 61 6e 64 20 73 70 61 63 65 0a 61 73  eed and space.as
40c0: 20 74 68 65 20 61 76 65 72 61 67 65 20 62 6c 6f   the average blo
40d0: 62 20 73 69 7a 65 20 64 65 63 72 65 61 73 65 73  b size decreases
40e0: 2e 0a 0a 0a 3c 68 31 3e 47 65 6e 65 72 61 6c 20  ....<h1>General 
40f0: 46 69 6e 64 69 6e 67 73 3c 2f 68 31 3e 0a 0a 3c  Findings</h1>..<
4100: 6f 6c 20 74 79 70 65 3d 22 41 22 3e 0a 3c 6c 69  ol type="A">.<li
4110: 3e 0a 3c 70 3e 53 51 4c 69 74 65 20 69 73 20 63  >.<p>SQLite is c
4120: 6f 6d 70 65 74 69 74 69 76 65 20 77 69 74 68 2c  ompetitive with,
4130: 20 61 6e 64 20 75 73 75 61 6c 6c 79 20 66 61 73   and usually fas
4140: 74 65 72 20 74 68 61 6e 2c 20 62 6c 6f 62 73 20  ter than, blobs 
4150: 73 74 6f 72 65 64 20 69 6e 0a 73 65 70 61 72 61  stored in.separa
4160: 74 65 20 66 69 6c 65 73 20 6f 6e 20 64 69 73 6b  te files on disk
4170: 2c 20 66 6f 72 20 62 6f 74 68 20 72 65 61 64 69  , for both readi
4180: 6e 67 20 61 6e 64 20 77 72 69 74 69 6e 67 2e 0a  ng and writing..
4190: 0a 3c 6c 69 3e 0a 3c 70 3e 53 51 4c 69 74 65 20  .<li>.<p>SQLite 
41a0: 69 73 20 6d 75 63 68 20 66 61 73 74 65 72 20 74  is much faster t
41b0: 68 61 6e 20 64 69 72 65 63 74 20 77 72 69 74 65  han direct write
41c0: 73 20 74 6f 20 64 69 73 6b 20 6f 6e 20 57 69 6e  s to disk on Win
41d0: 64 6f 77 73 0a 77 68 65 6e 20 61 6e 74 69 2d 76  dows.when anti-v
41e0: 69 72 75 73 20 70 72 6f 74 65 63 74 69 6f 6e 20  irus protection 
41f0: 69 73 20 74 75 72 6e 65 64 20 6f 6e 2e 20 20 53  is turned on.  S
4200: 69 6e 63 65 20 61 6e 74 69 2d 76 69 72 75 73 20  ince anti-virus 
4210: 73 6f 66 74 77 61 72 65 0a 69 73 20 61 6e 64 20  software.is and 
4220: 73 68 6f 75 6c 64 20 62 65 20 6f 6e 20 62 79 20  should be on by 
4230: 64 65 66 61 75 6c 74 20 69 6e 20 57 69 6e 64 6f  default in Windo
4240: 77 73 2c 20 74 68 61 74 20 6d 65 61 6e 73 20 74  ws, that means t
4250: 68 61 74 20 53 51 4c 69 74 65 0a 69 73 20 67 65  hat SQLite.is ge
4260: 6e 65 72 61 6c 6c 79 20 6d 75 63 68 20 66 61 73  nerally much fas
4270: 74 65 72 20 74 68 61 6e 20 64 69 72 65 63 74 20  ter than direct 
4280: 64 69 73 6b 20 77 72 69 74 65 73 20 6f 6e 20 57  disk writes on W
4290: 69 6e 64 6f 77 73 2e 0a 0a 3c 6c 69 3e 0a 3c 70  indows...<li>.<p
42a0: 3e 52 65 61 64 69 6e 67 20 69 73 20 61 62 6f 75  >Reading is abou
42b0: 74 20 61 6e 20 6f 72 64 65 72 20 6f 66 20 6d 61  t an order of ma
42c0: 67 6e 69 74 75 64 65 20 66 61 73 74 65 72 20 74  gnitude faster t
42d0: 68 61 6e 20 77 72 69 74 69 6e 67 2c 20 66 6f 72  han writing, for
42e0: 20 61 6c 6c 0a 73 79 73 74 65 6d 73 20 61 6e 64   all.systems and
42f0: 20 66 6f 72 20 62 6f 74 68 20 53 51 4c 69 74 65   for both SQLite
4300: 20 61 6e 64 20 64 69 72 65 63 74 2d 74 6f 2d 64   and direct-to-d
4310: 69 73 6b 20 49 2f 4f 2e 0a 0a 3c 6c 69 3e 0a 3c  isk I/O...<li>.<
4320: 70 3e 49 2f 4f 20 70 65 72 66 6f 72 6d 61 6e 63  p>I/O performanc
4330: 65 20 76 61 72 69 65 73 20 77 69 64 65 6c 79 20  e varies widely 
4340: 64 65 70 65 6e 64 69 6e 67 20 6f 6e 20 6f 70 65  depending on ope
4350: 72 61 74 69 6e 67 20 73 79 73 74 65 6d 20 61 6e  rating system an
4360: 64 20 68 61 72 64 77 61 72 65 2e 0a 4d 61 6b 65  d hardware..Make
4370: 20 79 6f 75 72 20 6f 77 6e 20 6d 65 61 73 75 72   your own measur
4380: 65 6d 65 6e 74 73 20 62 65 66 6f 72 65 20 64 72  ements before dr
4390: 61 77 69 6e 67 20 63 6f 6e 63 6c 75 73 69 6f 6e  awing conclusion
43a0: 73 2e 0a 0a 3c 6c 69 3e 0a 3c 70 3e 53 6f 6d 65  s...<li>.<p>Some
43b0: 20 6f 74 68 65 72 20 53 51 4c 20 64 61 74 61 62   other SQL datab
43c0: 61 73 65 20 65 6e 67 69 6e 65 73 20 61 64 76 69  ase engines advi
43d0: 73 65 20 64 65 76 65 6c 6f 70 65 72 73 20 74 6f  se developers to
43e0: 20 73 74 6f 72 65 20 62 6c 6f 62 73 20 69 6e 20   store blobs in 
43f0: 73 65 70 61 72 61 74 65 0a 66 69 6c 65 73 20 61  separate.files a
4400: 6e 64 20 74 68 65 6e 20 73 74 6f 72 65 20 74 68  nd then store th
4410: 65 20 66 69 6c 65 6e 61 6d 65 20 69 6e 20 74 68  e filename in th
4420: 65 20 64 61 74 61 62 61 73 65 2e 20 20 49 6e 20  e database.  In 
4430: 74 68 61 74 20 63 61 73 65 2c 20 77 68 65 72 65  that case, where
4440: 0a 74 68 65 20 64 61 74 61 62 61 73 65 20 6d 75  .the database mu
4450: 73 74 20 66 69 72 73 74 20 62 65 20 63 6f 6e 73  st first be cons
4460: 75 6c 74 65 64 20 74 6f 20 66 69 6e 64 20 74 68  ulted to find th
4470: 65 20 66 69 6c 65 6e 61 6d 65 20 62 65 66 6f 72  e filename befor
4480: 65 20 6f 70 65 6e 69 6e 67 0a 61 6e 64 20 72 65  e opening.and re
4490: 61 64 69 6e 67 20 74 68 65 20 66 69 6c 65 2c 20  ading the file, 
44a0: 73 69 6d 70 6c 79 20 73 74 6f 72 69 6e 67 20 74  simply storing t
44b0: 68 65 20 65 6e 74 69 72 65 20 62 6c 6f 62 20 69  he entire blob i
44c0: 6e 20 74 68 65 20 64 61 74 61 62 61 73 65 0a 67  n the database.g
44d0: 69 76 65 73 20 6d 75 63 68 20 66 61 73 74 65 72  ives much faster
44e0: 20 72 65 61 64 20 61 6e 64 20 77 72 69 74 65 20   read and write 
44f0: 70 65 72 66 6f 72 6d 61 6e 63 65 20 77 69 74 68  performance with
4500: 20 53 51 4c 69 74 65 2e 0a 53 65 65 20 74 68 65   SQLite..See the
4510: 20 5b 49 6e 74 65 72 6e 61 6c 20 56 65 72 73 75   [Internal Versu
4520: 73 20 45 78 74 65 72 6e 61 6c 20 42 4c 4f 42 73  s External BLOBs
4530: 5d 20 61 72 74 69 63 6c 65 20 66 6f 72 20 6d 6f  ] article for mo
4540: 72 65 20 69 6e 66 6f 72 6d 61 74 69 6f 6e 2e 0a  re information..
4550: 3c 2f 6f 6c 3e 0a 0a 0a 3c 68 31 3e 41 64 64 69  </ol>...<h1>Addi
4560: 74 69 6f 6e 61 6c 20 4e 6f 74 65 73 3c 2f 68 31  tional Notes</h1
4570: 3e 0a 0a 3c 61 20 6e 61 6d 65 3d 22 63 6f 6d 70  >..<a name="comp
4580: 69 6c 65 2d 61 6e 64 72 6f 69 64 22 3e 3c 2f 61  ile-android"></a
4590: 3e 0a 3c 68 32 3e 43 6f 6d 70 69 6c 69 6e 67 20  >.<h2>Compiling 
45a0: 41 6e 64 20 54 65 73 74 69 6e 67 20 6f 6e 20 41  And Testing on A
45b0: 6e 64 72 6f 69 64 3c 2f 68 32 3e 0a 0a 3c 70 3e  ndroid</h2>..<p>
45c0: 0a 54 68 65 20 6b 76 74 65 73 74 20 70 72 6f 67  .The kvtest prog
45d0: 72 61 6d 20 69 73 20 63 6f 6d 70 69 6c 65 64 20  ram is compiled 
45e0: 61 6e 64 20 72 75 6e 20 6f 6e 20 41 6e 64 72 6f  and run on Andro
45f0: 69 64 20 61 73 20 66 6f 6c 6c 6f 77 73 2e 0a 46  id as follows..F
4600: 69 72 73 74 20 69 6e 73 74 61 6c 6c 20 74 68 65  irst install the
4610: 20 41 6e 64 72 6f 69 64 20 53 44 4b 20 61 6e 64   Android SDK and
4620: 20 4e 44 4b 2e 20 20 54 68 65 6e 20 70 72 65 70   NDK.  Then prep
4630: 61 72 65 20 61 20 73 63 72 69 70 74 0a 6e 61 6d  are a script.nam
4640: 65 64 20 22 61 6e 64 72 6f 69 64 2d 67 63 63 22  ed "android-gcc"
4650: 20 74 68 61 74 20 6c 6f 6f 6b 73 20 61 70 70 72   that looks appr
4660: 6f 78 69 6d 61 74 65 6c 79 20 6c 69 6b 65 20 74  oximately like t
4670: 68 69 73 3a 0a 0a 3c 63 6f 64 65 62 6c 6f 63 6b  his:..<codeblock
4680: 3e 0a 23 21 2f 62 69 6e 2f 73 68 0a 23 0a 4e 44  >.#!/bin/sh.#.ND
4690: 4b 3d 2f 68 6f 6d 65 2f 64 72 68 2f 41 6e 64 72  K=/home/drh/Andr
46a0: 6f 69 64 2f 53 64 6b 2f 6e 64 6b 2d 62 75 6e 64  oid/Sdk/ndk-bund
46b0: 6c 65 0a 53 59 53 52 4f 4f 54 3d 24 4e 44 4b 2f  le.SYSROOT=$NDK/
46c0: 70 6c 61 74 66 6f 72 6d 73 2f 61 6e 64 72 6f 69  platforms/androi
46d0: 64 2d 31 36 2f 61 72 63 68 2d 61 72 6d 0a 41 42  d-16/arch-arm.AB
46e0: 49 4e 3d 24 4e 44 4b 2f 74 6f 6f 6c 63 68 61 69  IN=$NDK/toolchai
46f0: 6e 73 2f 61 72 6d 2d 6c 69 6e 75 78 2d 61 6e 64  ns/arm-linux-and
4700: 72 6f 69 64 65 61 62 69 2d 34 2e 39 2f 70 72 65  roideabi-4.9/pre
4710: 62 75 69 6c 74 2f 6c 69 6e 75 78 2d 78 38 36 5f  built/linux-x86_
4720: 36 34 2f 62 69 6e 0a 47 43 43 3d 24 41 42 49 4e  64/bin.GCC=$ABIN
4730: 2f 61 72 6d 2d 6c 69 6e 75 78 2d 61 6e 64 72 6f  /arm-linux-andro
4740: 69 64 65 61 62 69 2d 67 63 63 0a 24 47 43 43 20  ideabi-gcc.$GCC 
4750: 2d 2d 73 79 73 72 6f 6f 74 3d 24 53 59 53 52 4f  --sysroot=$SYSRO
4760: 4f 54 20 2d 66 50 49 43 20 2d 70 69 65 20 24 2a  OT -fPIC -pie $*
4770: 0a 3c 2f 63 6f 64 65 62 6c 6f 63 6b 3e 0a 0a 3c  .</codeblock>..<
4780: 70 3e 4d 61 6b 65 20 74 68 61 74 20 73 63 72 69  p>Make that scri
4790: 70 74 20 65 78 65 63 75 74 61 62 6c 65 20 61 6e  pt executable an
47a0: 64 20 70 75 74 20 69 74 20 6f 6e 20 79 6f 75 72  d put it on your
47b0: 20 24 50 41 54 48 2e 20 20 54 68 65 6e 0a 63 6f   $PATH.  Then.co
47c0: 6d 70 69 6c 65 20 74 68 65 20 6b 76 74 65 73 74  mpile the kvtest
47d0: 20 70 72 6f 67 72 61 6d 20 61 73 20 66 6f 6c 6c   program as foll
47e0: 6f 77 73 3a 0a 0a 3c 63 6f 64 65 62 6c 6f 63 6b  ows:..<codeblock
47f0: 3e 0a 61 6e 64 72 6f 69 64 2d 67 63 63 20 2d 4f  >.android-gcc -O
4800: 73 20 2d 49 2e 20 6b 76 74 65 73 74 2e 63 20 73  s -I. kvtest.c s
4810: 71 6c 69 74 65 33 2e 63 20 2d 6f 20 6b 76 74 65  qlite3.c -o kvte
4820: 73 74 2d 61 6e 64 72 6f 69 64 0a 3c 2f 63 6f 64  st-android.</cod
4830: 65 62 6c 6f 63 6b 3e 0a 0a 3c 70 3e 4e 65 78 74  eblock>..<p>Next
4840: 2c 20 6d 6f 76 65 20 74 68 65 20 72 65 73 75 6c  , move the resul
4850: 74 69 6e 67 20 6b 76 74 65 73 74 2d 61 6e 64 72  ting kvtest-andr
4860: 6f 69 64 20 65 78 65 63 75 74 61 62 6c 65 20 74  oid executable t
4870: 6f 20 74 68 65 20 41 6e 64 72 6f 69 64 0a 64 65  o the Android.de
4880: 76 69 63 65 3a 0a 0a 3c 63 6f 64 65 62 6c 6f 63  vice:..<codebloc
4890: 6b 3e 0a 61 64 62 20 70 75 73 68 20 6b 76 74 65  k>.adb push kvte
48a0: 73 74 2d 61 6e 64 72 6f 69 64 20 2f 64 61 74 61  st-android /data
48b0: 2f 6c 6f 63 61 6c 2f 74 6d 70 0a 3c 2f 63 6f 64  /local/tmp.</cod
48c0: 65 62 6c 6f 63 6b 3e 0a 0a 3c 70 3e 46 69 6e 61  eblock>..<p>Fina
48d0: 6c 6c 79 20 75 73 65 20 22 61 64 62 20 73 68 65  lly use "adb she
48e0: 6c 6c 22 20 74 6f 20 67 65 74 20 61 20 73 68 65  ll" to get a she
48f0: 6c 6c 20 70 72 6f 6d 70 74 20 6f 6e 20 74 68 65  ll prompt on the
4900: 20 41 6e 64 72 6f 69 64 20 64 65 76 69 63 65 2c   Android device,
4910: 0a 63 64 20 69 6e 74 6f 20 74 68 65 20 2f 64 61  .cd into the /da
4920: 74 61 2f 6c 6f 63 61 6c 2f 74 6d 70 20 64 69 72  ta/local/tmp dir
4930: 65 63 74 6f 72 79 2c 20 61 6e 64 20 62 65 67 69  ectory, and begi
4940: 6e 20 72 75 6e 6e 69 6e 67 20 74 68 65 20 74 65  n running the te
4950: 73 74 73 0a 61 73 20 77 69 74 68 20 61 6e 79 20  sts.as with any 
4960: 6f 74 68 65 72 20 75 6e 69 78 20 68 6f 73 74 2e  other unix host.
4970: 0a                                               .