/ Hex Artifact Content
Login

Artifact a4cf51acad99bfc43c16fb74f9d22495dc221ae0701fc5e908ca963a9b26a02b:


0000: 23 20 32 30 31 35 20 41 70 72 69 6c 20 32 31 0a  # 2015 April 21.
0010: 23 0a 23 20 54 68 65 20 61 75 74 68 6f 72 20 64  #.# The author d
0020: 69 73 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67  isclaims copyrig
0030: 68 74 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63  ht to this sourc
0040: 65 20 63 6f 64 65 2e 20 20 49 6e 20 70 6c 61 63  e code.  In plac
0050: 65 20 6f 66 0a 23 20 61 20 6c 65 67 61 6c 20 6e  e of.# a legal n
0060: 6f 74 69 63 65 2c 20 68 65 72 65 20 69 73 20 61  otice, here is a
0070: 20 62 6c 65 73 73 69 6e 67 3a 0a 23 0a 23 20 20   blessing:.#.#  
0080: 20 20 4d 61 79 20 79 6f 75 20 64 6f 20 67 6f 6f    May you do goo
0090: 64 20 61 6e 64 20 6e 6f 74 20 65 76 69 6c 2e 0a  d and not evil..
00a0: 23 20 20 20 20 4d 61 79 20 79 6f 75 20 66 69 6e  #    May you fin
00b0: 64 20 66 6f 72 67 69 76 65 6e 65 73 73 20 66 6f  d forgiveness fo
00c0: 72 20 79 6f 75 72 73 65 6c 66 20 61 6e 64 20 66  r yourself and f
00d0: 6f 72 67 69 76 65 20 6f 74 68 65 72 73 2e 0a 23  orgive others..#
00e0: 20 20 20 20 4d 61 79 20 79 6f 75 20 73 68 61 72      May you shar
00f0: 65 20 66 72 65 65 6c 79 2c 20 6e 65 76 65 72 20  e freely, never 
0100: 74 61 6b 69 6e 67 20 6d 6f 72 65 20 74 68 61 6e  taking more than
0110: 20 79 6f 75 20 67 69 76 65 2e 0a 23 0a 23 2a 2a   you give..#.#**
0120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 0a 23 0a 23 20 54 68 65 20 74 65  *****.#.# The te
0170: 73 74 73 20 69 6e 20 74 68 69 73 20 66 69 6c 65  sts in this file
0180: 20 61 72 65 20 66 6f 63 75 73 65 64 20 6f 6e 20   are focused on 
0190: 74 68 65 20 63 6f 64 65 20 69 6e 20 66 74 73 35  the code in fts5
01a0: 5f 68 61 73 68 2e 63 2e 0a 23 0a 0a 73 6f 75 72  _hash.c..#..sour
01b0: 63 65 20 5b 66 69 6c 65 20 6a 6f 69 6e 20 5b 66  ce [file join [f
01c0: 69 6c 65 20 64 69 72 6e 61 6d 65 20 5b 69 6e 66  ile dirname [inf
01d0: 6f 20 73 63 72 69 70 74 5d 5d 20 66 74 73 35 5f  o script]] fts5_
01e0: 63 6f 6d 6d 6f 6e 2e 74 63 6c 5d 0a 73 65 74 20  common.tcl].set 
01f0: 74 65 73 74 70 72 65 66 69 78 20 66 74 73 35 68  testprefix fts5h
0200: 61 73 68 0a 0a 23 20 49 66 20 53 51 4c 49 54 45  ash..# If SQLITE
0210: 5f 45 4e 41 42 4c 45 5f 46 54 53 35 20 69 73 20  _ENABLE_FTS5 is 
0220: 64 65 66 69 6e 65 64 2c 20 6f 6d 69 74 20 74 68  defined, omit th
0230: 69 73 20 66 69 6c 65 2e 0a 69 66 63 61 70 61 62  is file..ifcapab
0240: 6c 65 20 21 66 74 73 35 20 7b 0a 20 20 66 69 6e  le !fts5 {.  fin
0250: 69 73 68 5f 74 65 73 74 0a 20 20 72 65 74 75 72  ish_test.  retur
0260: 6e 0a 7d 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  n.}..#----------
0270: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0280: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0290: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
02a0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a  ---------------.
02b0: 23 20 52 65 74 75 72 6e 20 61 20 6c 69 73 74 20  # Return a list 
02c0: 6f 66 20 74 6f 6b 65 6e 73 20 28 61 20 76 6f 63  of tokens (a voc
02d0: 61 62 75 6c 61 72 79 29 20 74 68 61 74 20 61 6c  abulary) that al
02e0: 6c 20 73 68 61 72 65 20 74 68 65 20 73 61 6d 65  l share the same
02f0: 20 68 61 73 68 0a 23 20 6b 65 79 20 76 61 6c 75   hash.# key valu
0300: 65 2e 20 54 68 69 73 20 63 61 6e 20 62 65 20 75  e. This can be u
0310: 73 65 64 20 74 6f 20 74 65 73 74 20 68 61 73 68  sed to test hash
0320: 20 63 6f 6c 6c 69 73 69 6f 6e 73 2e 0a 23 0a 70   collisions..#.p
0330: 72 6f 63 20 62 75 69 6c 64 5f 76 6f 63 61 62 31  roc build_vocab1
0340: 20 7b 61 72 67 73 7d 20 7b 0a 0a 20 20 73 65 74   {args} {..  set
0350: 20 4f 28 2d 6e 73 6c 6f 74 29 20 31 30 32 34 0a   O(-nslot) 1024.
0360: 20 20 73 65 74 20 4f 28 2d 6e 77 6f 72 64 29 20    set O(-nword) 
0370: 20 20 32 30 0a 20 20 73 65 74 20 4f 28 2d 68 61    20.  set O(-ha
0380: 73 68 29 20 20 20 20 38 38 0a 20 20 73 65 74 20  sh)    88.  set 
0390: 4f 28 2d 70 72 65 66 69 78 29 20 20 22 22 0a 0a  O(-prefix)  ""..
03a0: 20 20 69 66 20 7b 5b 6c 6c 65 6e 67 74 68 20 24    if {[llength $
03b0: 61 72 67 73 5d 20 25 20 32 7d 20 7b 20 65 72 72  args] % 2} { err
03c0: 6f 72 20 22 62 61 64 20 61 72 67 73 22 20 7d 0a  or "bad args" }.
03d0: 20 20 61 72 72 61 79 20 73 65 74 20 4f 32 20 24    array set O2 $
03e0: 61 72 67 73 0a 20 20 66 6f 72 65 61 63 68 20 7b  args.  foreach {
03f0: 6b 20 76 7d 20 24 61 72 67 73 20 7b 0a 20 20 20  k v} $args {.   
0400: 20 69 66 20 7b 5b 69 6e 66 6f 20 65 78 69 73 74   if {[info exist
0410: 73 20 4f 28 24 6b 29 5d 3d 3d 30 7d 20 7b 20 65  s O($k)]==0} { e
0420: 72 72 6f 72 20 22 62 61 64 20 6f 70 74 69 6f 6e  rror "bad option
0430: 3a 20 24 6b 22 20 7d 0a 20 20 20 20 73 65 74 20  : $k" }.    set 
0440: 4f 28 24 6b 29 20 24 76 0a 20 20 7d 0a 0a 20 20  O($k) $v.  }..  
0450: 73 65 74 20 4c 20 5b 6c 69 73 74 5d 0a 20 20 77  set L [list].  w
0460: 68 69 6c 65 20 7b 5b 6c 6c 65 6e 67 74 68 20 24  hile {[llength $
0470: 4c 5d 20 3c 20 24 4f 28 2d 6e 77 6f 72 64 29 7d  L] < $O(-nword)}
0480: 20 7b 0a 20 20 20 20 73 65 74 20 74 20 22 24 4f   {.    set t "$O
0490: 28 2d 70 72 65 66 69 78 29 5b 72 61 6e 64 6f 6d  (-prefix)[random
04a0: 5f 74 6f 6b 65 6e 5d 22 0a 20 20 20 20 73 65 74  _token]".    set
04b0: 20 68 20 5b 73 71 6c 69 74 65 33 5f 66 74 73 35   h [sqlite3_fts5
04c0: 5f 74 6f 6b 65 6e 5f 68 61 73 68 20 24 4f 28 2d  _token_hash $O(-
04d0: 6e 73 6c 6f 74 29 20 24 74 5d 0a 20 20 20 20 69  nslot) $t].    i
04e0: 66 20 7b 24 4f 28 2d 68 61 73 68 29 3d 3d 24 68  f {$O(-hash)==$h
04f0: 7d 20 7b 20 6c 61 70 70 65 6e 64 20 4c 20 24 74  } { lappend L $t
0500: 20 7d 0a 20 20 7d 0a 20 20 72 65 74 75 72 6e 20   }.  }.  return 
0510: 24 4c 0a 7d 0a 0a 70 72 6f 63 20 72 61 6e 64 6f  $L.}..proc rando
0520: 6d 5f 74 6f 6b 65 6e 20 7b 7d 20 7b 0a 20 20 73  m_token {} {.  s
0530: 65 74 20 6d 61 70 20 5b 6c 69 73 74 20 30 20 61  et map [list 0 a
0540: 20 20 31 20 62 20 20 32 20 63 20 20 33 20 64 20    1 b  2 c  3 d 
0550: 20 34 20 65 20 20 35 20 66 20 20 36 20 67 20 20   4 e  5 f  6 g  
0560: 37 20 68 20 20 38 20 69 20 20 39 20 6a 5d 0a 20  7 h  8 i  9 j]. 
0570: 20 73 65 74 20 69 56 61 6c 20 5b 65 78 70 72 20   set iVal [expr 
0580: 69 6e 74 28 72 61 6e 64 28 29 20 2a 20 32 30 30  int(rand() * 200
0590: 30 30 30 30 29 5d 0a 20 20 72 65 74 75 72 6e 20  0000)].  return 
05a0: 5b 73 74 72 69 6e 67 20 6d 61 70 20 24 6d 61 70  [string map $map
05b0: 20 24 69 56 61 6c 5d 0a 7d 0a 0a 70 72 6f 63 20   $iVal].}..proc 
05c0: 72 61 6e 64 6f 6d 5f 64 6f 63 20 7b 76 6f 63 61  random_doc {voca
05d0: 62 20 6e 57 6f 72 64 7d 20 7b 0a 20 20 73 65 74  b nWord} {.  set
05e0: 20 64 6f 63 20 22 22 0a 20 20 73 65 74 20 6e 56   doc "".  set nV
05f0: 6f 63 61 62 20 5b 6c 6c 65 6e 67 74 68 20 24 76  ocab [llength $v
0600: 6f 63 61 62 5d 0a 20 20 66 6f 72 20 7b 73 65 74  ocab].  for {set
0610: 20 69 20 30 7d 20 7b 24 69 3c 24 6e 57 6f 72 64   i 0} {$i<$nWord
0620: 7d 20 7b 69 6e 63 72 20 69 7d 20 7b 0a 20 20 20  } {incr i} {.   
0630: 20 73 65 74 20 6a 20 5b 65 78 70 72 20 7b 69 6e   set j [expr {in
0640: 74 28 72 61 6e 64 28 29 20 2a 20 24 6e 56 6f 63  t(rand() * $nVoc
0650: 61 62 29 7d 5d 0a 20 20 20 20 6c 61 70 70 65 6e  ab)}].    lappen
0660: 64 20 64 6f 63 20 5b 6c 69 6e 64 65 78 20 24 76  d doc [lindex $v
0670: 6f 63 61 62 20 24 6a 5d 0a 20 20 7d 0a 20 20 72  ocab $j].  }.  r
0680: 65 74 75 72 6e 20 24 64 6f 63 0a 7d 0a 0a 66 6f  eturn $doc.}..fo
0690: 72 65 61 63 68 5f 64 65 74 61 69 6c 5f 6d 6f 64  reach_detail_mod
06a0: 65 20 24 74 65 73 74 70 72 65 66 69 78 20 7b 0a  e $testprefix {.
06b0: 0a 20 20 73 65 74 20 76 6f 63 61 62 20 5b 62 75  .  set vocab [bu
06c0: 69 6c 64 5f 76 6f 63 61 62 31 5d 0a 20 20 64 62  ild_vocab1].  db
06d0: 20 66 75 6e 63 20 72 20 72 61 6e 64 6f 6d 5f 64   func r random_d
06e0: 6f 63 20 0a 20 20 0a 20 20 64 6f 5f 65 78 65 63  oc .  .  do_exec
06f0: 73 71 6c 5f 74 65 73 74 20 31 2e 30 20 7b 0a 20  sql_test 1.0 {. 
0700: 20 20 20 43 52 45 41 54 45 20 56 49 52 54 55 41     CREATE VIRTUA
0710: 4c 20 54 41 42 4c 45 20 65 65 65 20 55 53 49 4e  L TABLE eee USIN
0720: 47 20 66 74 73 35 28 65 2c 20 65 65 2c 20 64 65  G fts5(e, ee, de
0730: 74 61 69 6c 3d 25 44 45 54 41 49 4c 25 29 3b 0a  tail=%DETAIL%);.
0740: 20 20 20 20 42 45 47 49 4e 3b 0a 20 20 20 20 20      BEGIN;.     
0750: 20 57 49 54 48 20 69 69 28 69 29 20 41 53 20 28   WITH ii(i) AS (
0760: 53 45 4c 45 43 54 20 31 20 55 4e 49 4f 4e 20 41  SELECT 1 UNION A
0770: 4c 4c 20 53 45 4c 45 43 54 20 69 2b 31 20 46 52  LL SELECT i+1 FR
0780: 4f 4d 20 69 69 20 57 48 45 52 45 20 69 3c 31 30  OM ii WHERE i<10
0790: 30 29 0a 20 20 20 20 20 20 49 4e 53 45 52 54 20  0).      INSERT 
07a0: 49 4e 54 4f 20 65 65 65 20 53 45 4c 45 43 54 20  INTO eee SELECT 
07b0: 72 28 24 76 6f 63 61 62 2c 20 35 29 2c 20 72 28  r($vocab, 5), r(
07c0: 24 76 6f 63 61 62 2c 20 37 29 20 46 52 4f 4d 20  $vocab, 7) FROM 
07d0: 69 69 3b 0a 20 20 20 20 20 20 49 4e 53 45 52 54  ii;.      INSERT
07e0: 20 49 4e 54 4f 20 65 65 65 28 65 65 65 29 20 56   INTO eee(eee) V
07f0: 41 4c 55 45 53 28 27 69 6e 74 65 67 72 69 74 79  ALUES('integrity
0800: 2d 63 68 65 63 6b 27 29 3b 0a 20 20 20 20 43 4f  -check');.    CO
0810: 4d 4d 49 54 3b 0a 20 20 20 20 49 4e 53 45 52 54  MMIT;.    INSERT
0820: 20 49 4e 54 4f 20 65 65 65 28 65 65 65 29 20 56   INTO eee(eee) V
0830: 41 4c 55 45 53 28 27 69 6e 74 65 67 72 69 74 79  ALUES('integrity
0840: 2d 63 68 65 63 6b 27 29 3b 0a 20 20 7d 0a 20 20  -check');.  }.  
0850: 0a 20 20 73 65 74 20 68 61 73 68 20 5b 73 71 6c  .  set hash [sql
0860: 69 74 65 33 5f 66 74 73 35 5f 74 6f 6b 65 6e 5f  ite3_fts5_token_
0870: 68 61 73 68 20 31 30 32 34 20 78 79 7a 5d 0a 20  hash 1024 xyz]. 
0880: 20 73 65 74 20 76 6f 63 61 62 20 5b 62 75 69 6c   set vocab [buil
0890: 64 5f 76 6f 63 61 62 31 20 2d 70 72 65 66 69 78  d_vocab1 -prefix
08a0: 20 78 79 7a 20 2d 68 61 73 68 20 24 68 61 73 68   xyz -hash $hash
08b0: 5d 0a 20 20 6c 61 70 70 65 6e 64 20 76 6f 63 61  ].  lappend voca
08c0: 62 20 78 79 7a 0a 20 20 0a 20 20 64 6f 5f 65 78  b xyz.  .  do_ex
08d0: 65 63 73 71 6c 5f 74 65 73 74 20 31 2e 31 20 7b  ecsql_test 1.1 {
08e0: 0a 20 20 20 20 43 52 45 41 54 45 20 56 49 52 54  .    CREATE VIRT
08f0: 55 41 4c 20 54 41 42 4c 45 20 76 6f 63 61 62 20  UAL TABLE vocab 
0900: 55 53 49 4e 47 20 66 74 73 35 76 6f 63 61 62 28  USING fts5vocab(
0910: 65 65 65 2c 20 27 72 6f 77 27 29 3b 20 0a 20 20  eee, 'row'); .  
0920: 20 20 42 45 47 49 4e 3b 0a 20 20 7d 0a 20 20 64    BEGIN;.  }.  d
0930: 6f 5f 74 65 73 74 20 31 2e 32 20 7b 0a 20 20 20  o_test 1.2 {.   
0940: 20 66 6f 72 20 7b 73 65 74 20 69 20 31 7d 20 7b   for {set i 1} {
0950: 24 69 20 3c 3d 20 31 30 30 7d 20 7b 69 6e 63 72  $i <= 100} {incr
0960: 20 69 7d 20 7b 0a 20 20 20 20 20 20 65 78 65 63   i} {.      exec
0970: 73 71 6c 20 7b 20 49 4e 53 45 52 54 20 49 4e 54  sql { INSERT INT
0980: 4f 20 65 65 65 20 56 41 4c 55 45 53 28 20 72 28  O eee VALUES( r(
0990: 24 76 6f 63 61 62 2c 20 35 29 2c 20 72 28 24 76  $vocab, 5), r($v
09a0: 6f 63 61 62 2c 20 37 29 20 29 20 7d 0a 20 20 20  ocab, 7) ) }.   
09b0: 20 7d 0a 20 20 7d 20 7b 7d 0a 20 20 20 20 0a 20   }.  } {}.    . 
09c0: 20 64 6f 5f 74 65 73 74 20 31 2e 33 20 7b 0a 20   do_test 1.3 {. 
09d0: 20 20 20 64 62 20 65 76 61 6c 20 7b 20 53 45 4c     db eval { SEL
09e0: 45 43 54 20 74 65 72 6d 2c 20 64 6f 63 20 46 52  ECT term, doc FR
09f0: 4f 4d 20 76 6f 63 61 62 20 7d 20 7b 0a 20 20 20  OM vocab } {.   
0a00: 20 20 20 73 65 74 20 6e 52 6f 77 20 5b 64 62 20     set nRow [db 
0a10: 6f 6e 65 20 7b 53 45 4c 45 43 54 20 63 6f 75 6e  one {SELECT coun
0a20: 74 28 2a 29 20 46 52 4f 4d 20 65 65 65 20 57 48  t(*) FROM eee WH
0a30: 45 52 45 20 65 65 65 20 4d 41 54 43 48 20 24 74  ERE eee MATCH $t
0a40: 65 72 6d 7d 5d 0a 20 20 20 20 20 20 69 66 20 7b  erm}].      if {
0a50: 24 6e 52 6f 77 20 21 3d 20 24 64 6f 63 7d 20 7b  $nRow != $doc} {
0a60: 0a 20 20 20 20 20 20 20 20 65 72 72 6f 72 20 22  .        error "
0a70: 74 65 72 6d 3d 24 74 65 72 6d 20 66 74 73 35 76  term=$term fts5v
0a80: 6f 63 61 62 3d 24 64 6f 63 20 63 6e 74 3d 24 6e  ocab=$doc cnt=$n
0a90: 52 6f 77 22 0a 20 20 20 20 20 20 7d 0a 20 20 20  Row".      }.   
0aa0: 20 7d 0a 20 20 20 20 73 65 74 20 7b 7d 20 7b 7d   }.    set {} {}
0ab0: 0a 20 20 7d 20 7b 7d 0a 20 20 0a 20 20 64 6f 5f  .  } {}.  .  do_
0ac0: 65 78 65 63 73 71 6c 5f 74 65 73 74 20 31 2e 34  execsql_test 1.4
0ad0: 20 7b 0a 20 20 20 20 43 4f 4d 4d 49 54 3b 0a 20   {.    COMMIT;. 
0ae0: 20 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 65     INSERT INTO e
0af0: 65 65 28 65 65 65 29 20 56 41 4c 55 45 53 28 27  ee(eee) VALUES('
0b00: 69 6e 74 65 67 72 69 74 79 2d 63 68 65 63 6b 27  integrity-check'
0b10: 29 3b 0a 20 20 7d 0a 0a 20 20 23 2d 2d 2d 2d 2d  );.  }..  #-----
0b20: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0b30: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0b40: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0b50: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0b60: 2d 2d 0a 20 20 23 20 41 64 64 20 61 20 73 6d 61  --.  # Add a sma
0b70: 6c 6c 20 61 6e 64 20 76 65 72 79 20 6c 61 72 67  ll and very larg
0b80: 65 20 74 6f 6b 65 6e 20 77 69 74 68 20 74 68 65  e token with the
0b90: 20 73 61 6d 65 20 68 61 73 68 20 76 61 6c 75 65   same hash value
0ba0: 20 74 6f 20 61 6e 0a 20 20 23 20 65 6d 70 74 79   to an.  # empty
0bb0: 20 74 61 62 6c 65 2e 20 41 74 20 6f 6e 65 20 70   table. At one p
0bc0: 6f 69 6e 74 20 74 68 69 73 20 77 6f 75 6c 64 20  oint this would 
0bd0: 70 72 6f 76 6f 6b 65 20 61 6e 20 61 73 61 6e 20  provoke an asan 
0be0: 65 72 72 6f 72 2e 0a 20 20 23 0a 20 20 64 6f 5f  error..  #.  do_
0bf0: 74 65 73 74 20 32 2e 30 20 7b 0a 20 20 20 20 73  test 2.0 {.    s
0c00: 65 74 20 62 69 67 20 5b 73 74 72 69 6e 67 20 72  et big [string r
0c10: 65 70 65 61 74 20 31 32 33 34 35 20 34 30 5d 0a  epeat 12345 40].
0c20: 20 20 20 20 73 65 74 20 68 61 73 68 20 5b 73 71      set hash [sq
0c30: 6c 69 74 65 33 5f 66 74 73 35 5f 74 6f 6b 65 6e  lite3_fts5_token
0c40: 5f 68 61 73 68 20 31 30 32 34 20 24 62 69 67 5d  _hash 1024 $big]
0c50: 0a 20 20 20 20 77 68 69 6c 65 20 7b 31 7d 20 7b  .    while {1} {
0c60: 0a 20 20 20 20 20 20 73 65 74 20 73 6d 61 6c 6c  .      set small
0c70: 20 5b 72 61 6e 64 6f 6d 5f 74 6f 6b 65 6e 5d 0a   [random_token].
0c80: 20 20 20 20 20 20 69 66 20 7b 5b 73 71 6c 69 74        if {[sqlit
0c90: 65 33 5f 66 74 73 35 5f 74 6f 6b 65 6e 5f 68 61  e3_fts5_token_ha
0ca0: 73 68 20 31 30 32 34 20 24 73 6d 61 6c 6c 5d 3d  sh 1024 $small]=
0cb0: 3d 24 68 61 73 68 7d 20 62 72 65 61 6b 0a 20 20  =$hash} break.  
0cc0: 20 20 7d 0a 0a 20 20 20 20 65 78 65 63 73 71 6c    }..    execsql
0cd0: 20 7b 20 43 52 45 41 54 45 20 56 49 52 54 55 41   { CREATE VIRTUA
0ce0: 4c 20 54 41 42 4c 45 20 74 32 20 55 53 49 4e 47  L TABLE t2 USING
0cf0: 20 66 74 73 35 28 78 2c 20 64 65 74 61 69 6c 3d   fts5(x, detail=
0d00: 25 44 45 54 41 49 4c 25 29 20 7d 0a 20 20 20 20  %DETAIL%) }.    
0d10: 65 78 65 63 73 71 6c 20 7b 0a 20 20 20 20 20 20  execsql {.      
0d20: 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 32 20 56  INSERT INTO t2 V
0d30: 41 4c 55 45 53 28 24 73 6d 61 6c 6c 20 7c 7c 20  ALUES($small || 
0d40: 27 20 27 20 7c 7c 20 24 62 69 67 29 3b 0a 20 20  ' ' || $big);.  
0d50: 20 20 7d 0a 20 20 7d 20 7b 7d 0a 0a 7d 20 3b 23    }.  } {}..} ;#
0d60: 20 66 6f 72 65 61 63 68 5f 64 65 74 61 69 6c 5f   foreach_detail_
0d70: 6d 6f 64 65 0a 0a 66 69 6e 69 73 68 5f 74 65 73  mode..finish_tes
0d80: 74 0a                                            t.