/ Hex Artifact Content
Login
SQLite training in Houston TX on 2019-11-05 (details)
Part of the 2019 Tcl Conference

Artifact b6e6a40ef5d069c8e86ca4fbad491e1195485dbc:


0000: 23 20 32 30 31 34 20 44 65 63 20 31 39 0a 23 0a  # 2014 Dec 19.#.
0010: 23 20 54 68 65 20 61 75 74 68 6f 72 20 64 69 73  # The author dis
0020: 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67 68 74  claims copyright
0030: 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63 65 20   to this source 
0040: 63 6f 64 65 2e 20 20 49 6e 20 70 6c 61 63 65 20  code.  In place 
0050: 6f 66 0a 23 20 61 20 6c 65 67 61 6c 20 6e 6f 74  of.# a legal not
0060: 69 63 65 2c 20 68 65 72 65 20 69 73 20 61 20 62  ice, here is a b
0070: 6c 65 73 73 69 6e 67 3a 0a 23 0a 23 20 20 20 20  lessing:.#.#    
0080: 4d 61 79 20 79 6f 75 20 64 6f 20 67 6f 6f 64 20  May you do good 
0090: 61 6e 64 20 6e 6f 74 20 65 76 69 6c 2e 0a 23 20  and not evil..# 
00a0: 20 20 20 4d 61 79 20 79 6f 75 20 66 69 6e 64 20     May you find 
00b0: 66 6f 72 67 69 76 65 6e 65 73 73 20 66 6f 72 20  forgiveness for 
00c0: 79 6f 75 72 73 65 6c 66 20 61 6e 64 20 66 6f 72  yourself and for
00d0: 67 69 76 65 20 6f 74 68 65 72 73 2e 0a 23 20 20  give others..#  
00e0: 20 20 4d 61 79 20 79 6f 75 20 73 68 61 72 65 20    May you share 
00f0: 66 72 65 65 6c 79 2c 20 6e 65 76 65 72 20 74 61  freely, never ta
0100: 6b 69 6e 67 20 6d 6f 72 65 20 74 68 61 6e 20 79  king more than y
0110: 6f 75 20 67 69 76 65 2e 0a 23 0a 23 2a 2a 2a 2a  ou give..#.#****
0120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 0a 23 0a 0a 69 66 20 7b 21 5b 69 6e 66  ***.#..if {![inf
0170: 6f 20 65 78 69 73 74 73 20 74 65 73 74 64 69 72  o exists testdir
0180: 5d 7d 20 7b 0a 20 20 73 65 74 20 74 65 73 74 64  ]} {.  set testd
0190: 69 72 20 5b 66 69 6c 65 20 6a 6f 69 6e 20 5b 66  ir [file join [f
01a0: 69 6c 65 20 64 69 72 6e 61 6d 65 20 5b 69 6e 66  ile dirname [inf
01b0: 6f 20 73 63 72 69 70 74 5d 5d 20 2e 2e 20 2e 2e  o script]] .. ..
01c0: 20 2e 2e 20 74 65 73 74 5d 0a 7d 0a 73 6f 75 72   .. test].}.sour
01d0: 63 65 20 24 74 65 73 74 64 69 72 2f 74 65 73 74  ce $testdir/test
01e0: 65 72 2e 74 63 6c 0a 0a 63 61 74 63 68 20 7b 20  er.tcl..catch { 
01f0: 0a 20 20 73 71 6c 69 74 65 33 5f 66 74 73 35 5f  .  sqlite3_fts5_
0200: 6d 61 79 5f 62 65 5f 63 6f 72 72 75 70 74 20 30  may_be_corrupt 0
0210: 20 0a 20 20 61 70 70 65 6e 64 20 47 28 70 65 72   .  append G(per
0220: 6d 3a 64 62 63 6f 6e 66 69 67 29 20 22 3b 20 6c  m:dbconfig) "; l
0230: 6f 61 64 5f 73 74 61 74 69 63 5f 65 78 74 65 6e  oad_static_exten
0240: 73 69 6f 6e 20 5c 24 3a 3a 64 62 68 61 6e 64 6c  sion \$::dbhandl
0250: 65 20 66 74 73 35 22 0a 20 20 72 65 73 65 74 5f  e fts5".  reset_
0260: 64 62 0a 7d 0a 0a 70 72 6f 63 20 66 74 73 35 5f  db.}..proc fts5_
0270: 74 65 73 74 5f 70 6f 73 6c 69 73 74 20 7b 63 6d  test_poslist {cm
0280: 64 7d 20 7b 0a 20 20 73 65 74 20 72 65 73 20 5b  d} {.  set res [
0290: 6c 69 73 74 5d 0a 20 20 66 6f 72 20 7b 73 65 74  list].  for {set
02a0: 20 69 20 30 7d 20 7b 24 69 20 3c 20 5b 24 63 6d   i 0} {$i < [$cm
02b0: 64 20 78 49 6e 73 74 43 6f 75 6e 74 5d 7d 20 7b  d xInstCount]} {
02c0: 69 6e 63 72 20 69 7d 20 7b 0a 20 20 20 20 6c 61  incr i} {.    la
02d0: 70 70 65 6e 64 20 72 65 73 20 5b 73 74 72 69 6e  ppend res [strin
02e0: 67 20 6d 61 70 20 7b 7b 20 7d 20 2e 7d 20 5b 24  g map {{ } .} [$
02f0: 63 6d 64 20 78 49 6e 73 74 20 24 69 5d 5d 0a 20  cmd xInst $i]]. 
0300: 20 7d 0a 20 20 73 65 74 20 72 65 73 0a 7d 0a 0a   }.  set res.}..
0310: 70 72 6f 63 20 66 74 73 35 5f 74 65 73 74 5f 63  proc fts5_test_c
0320: 6f 6c 75 6d 6e 73 69 7a 65 20 7b 63 6d 64 7d 20  olumnsize {cmd} 
0330: 7b 0a 20 20 73 65 74 20 72 65 73 20 5b 6c 69 73  {.  set res [lis
0340: 74 5d 0a 20 20 66 6f 72 20 7b 73 65 74 20 69 20  t].  for {set i 
0350: 30 7d 20 7b 24 69 20 3c 20 5b 24 63 6d 64 20 78  0} {$i < [$cmd x
0360: 43 6f 6c 75 6d 6e 43 6f 75 6e 74 5d 7d 20 7b 69  ColumnCount]} {i
0370: 6e 63 72 20 69 7d 20 7b 0a 20 20 20 20 6c 61 70  ncr i} {.    lap
0380: 70 65 6e 64 20 72 65 73 20 5b 24 63 6d 64 20 78  pend res [$cmd x
0390: 43 6f 6c 75 6d 6e 53 69 7a 65 20 24 69 5d 0a 20  ColumnSize $i]. 
03a0: 20 7d 0a 20 20 73 65 74 20 72 65 73 0a 7d 0a 0a   }.  set res.}..
03b0: 70 72 6f 63 20 66 74 73 35 5f 74 65 73 74 5f 63  proc fts5_test_c
03c0: 6f 6c 75 6d 6e 74 65 78 74 20 7b 63 6d 64 7d 20  olumntext {cmd} 
03d0: 7b 0a 20 20 73 65 74 20 72 65 73 20 5b 6c 69 73  {.  set res [lis
03e0: 74 5d 0a 20 20 66 6f 72 20 7b 73 65 74 20 69 20  t].  for {set i 
03f0: 30 7d 20 7b 24 69 20 3c 20 5b 24 63 6d 64 20 78  0} {$i < [$cmd x
0400: 43 6f 6c 75 6d 6e 43 6f 75 6e 74 5d 7d 20 7b 69  ColumnCount]} {i
0410: 6e 63 72 20 69 7d 20 7b 0a 20 20 20 20 6c 61 70  ncr i} {.    lap
0420: 70 65 6e 64 20 72 65 73 20 5b 24 63 6d 64 20 78  pend res [$cmd x
0430: 43 6f 6c 75 6d 6e 54 65 78 74 20 24 69 5d 0a 20  ColumnText $i]. 
0440: 20 7d 0a 20 20 73 65 74 20 72 65 73 0a 7d 0a 0a   }.  set res.}..
0450: 70 72 6f 63 20 66 74 73 35 5f 74 65 73 74 5f 63  proc fts5_test_c
0460: 6f 6c 75 6d 6e 74 6f 74 61 6c 73 69 7a 65 20 7b  olumntotalsize {
0470: 63 6d 64 7d 20 7b 0a 20 20 73 65 74 20 72 65 73  cmd} {.  set res
0480: 20 5b 6c 69 73 74 5d 0a 20 20 66 6f 72 20 7b 73   [list].  for {s
0490: 65 74 20 69 20 30 7d 20 7b 24 69 20 3c 20 5b 24  et i 0} {$i < [$
04a0: 63 6d 64 20 78 43 6f 6c 75 6d 6e 43 6f 75 6e 74  cmd xColumnCount
04b0: 5d 7d 20 7b 69 6e 63 72 20 69 7d 20 7b 0a 20 20  ]} {incr i} {.  
04c0: 20 20 6c 61 70 70 65 6e 64 20 72 65 73 20 5b 24    lappend res [$
04d0: 63 6d 64 20 78 43 6f 6c 75 6d 6e 54 6f 74 61 6c  cmd xColumnTotal
04e0: 53 69 7a 65 20 24 69 5d 0a 20 20 7d 0a 20 20 73  Size $i].  }.  s
04f0: 65 74 20 72 65 73 0a 7d 0a 0a 70 72 6f 63 20 74  et res.}..proc t
0500: 65 73 74 5f 61 70 70 65 6e 64 5f 74 6f 6b 65 6e  est_append_token
0510: 20 7b 76 61 72 6e 61 6d 65 20 74 6f 6b 65 6e 20   {varname token 
0520: 69 53 74 61 72 74 20 69 45 6e 64 7d 20 7b 0a 20  iStart iEnd} {. 
0530: 20 75 70 76 61 72 20 24 76 61 72 6e 61 6d 65 20   upvar $varname 
0540: 76 61 72 0a 20 20 6c 61 70 70 65 6e 64 20 76 61  var.  lappend va
0550: 72 20 24 74 6f 6b 65 6e 0a 20 20 72 65 74 75 72  r $token.  retur
0560: 6e 20 22 53 51 4c 49 54 45 5f 4f 4b 22 0a 7d 0a  n "SQLITE_OK".}.
0570: 70 72 6f 63 20 66 74 73 35 5f 74 65 73 74 5f 74  proc fts5_test_t
0580: 6f 6b 65 6e 69 7a 65 20 7b 63 6d 64 7d 20 7b 0a  okenize {cmd} {.
0590: 20 20 73 65 74 20 72 65 73 20 5b 6c 69 73 74 5d    set res [list]
05a0: 0a 20 20 66 6f 72 20 7b 73 65 74 20 69 20 30 7d  .  for {set i 0}
05b0: 20 7b 24 69 20 3c 20 5b 24 63 6d 64 20 78 43 6f   {$i < [$cmd xCo
05c0: 6c 75 6d 6e 43 6f 75 6e 74 5d 7d 20 7b 69 6e 63  lumnCount]} {inc
05d0: 72 20 69 7d 20 7b 0a 20 20 20 20 73 65 74 20 74  r i} {.    set t
05e0: 6f 6b 65 6e 73 20 5b 6c 69 73 74 5d 0a 20 20 20  okens [list].   
05f0: 20 24 63 6d 64 20 78 54 6f 6b 65 6e 69 7a 65 20   $cmd xTokenize 
0600: 5b 24 63 6d 64 20 78 43 6f 6c 75 6d 6e 54 65 78  [$cmd xColumnTex
0610: 74 20 24 69 5d 20 5b 6c 69 73 74 20 74 65 73 74  t $i] [list test
0620: 5f 61 70 70 65 6e 64 5f 74 6f 6b 65 6e 20 74 6f  _append_token to
0630: 6b 65 6e 73 5d 0a 20 20 20 20 6c 61 70 70 65 6e  kens].    lappen
0640: 64 20 72 65 73 20 24 74 6f 6b 65 6e 73 0a 20 20  d res $tokens.  
0650: 7d 0a 20 20 73 65 74 20 72 65 73 0a 7d 0a 0a 70  }.  set res.}..p
0660: 72 6f 63 20 66 74 73 35 5f 74 65 73 74 5f 72 6f  roc fts5_test_ro
0670: 77 63 6f 75 6e 74 20 7b 63 6d 64 7d 20 7b 0a 20  wcount {cmd} {. 
0680: 20 24 63 6d 64 20 78 52 6f 77 43 6f 75 6e 74 0a   $cmd xRowCount.
0690: 7d 0a 0a 70 72 6f 63 20 74 65 73 74 5f 71 75 65  }..proc test_que
06a0: 72 79 70 68 72 61 73 65 5f 63 62 20 7b 63 6e 74  ryphrase_cb {cnt
06b0: 20 63 6d 64 7d 20 7b 0a 20 20 75 70 76 61 72 20   cmd} {.  upvar 
06c0: 24 63 6e 74 20 4c 20 0a 20 20 66 6f 72 20 7b 73  $cnt L .  for {s
06d0: 65 74 20 69 20 30 7d 20 7b 24 69 20 3c 20 5b 24  et i 0} {$i < [$
06e0: 63 6d 64 20 78 49 6e 73 74 43 6f 75 6e 74 5d 7d  cmd xInstCount]}
06f0: 20 7b 69 6e 63 72 20 69 7d 20 7b 0a 20 20 20 20   {incr i} {.    
0700: 66 6f 72 65 61 63 68 20 7b 69 70 20 69 63 20 69  foreach {ip ic i
0710: 6f 7d 20 5b 24 63 6d 64 20 78 49 6e 73 74 20 24  o} [$cmd xInst $
0720: 69 5d 20 62 72 65 61 6b 0a 20 20 20 20 73 65 74  i] break.    set
0730: 20 41 28 24 69 63 29 20 31 0a 20 20 7d 0a 20 20   A($ic) 1.  }.  
0740: 66 6f 72 65 61 63 68 20 69 63 20 5b 61 72 72 61  foreach ic [arra
0750: 79 20 6e 61 6d 65 73 20 41 5d 20 7b 0a 20 20 20  y names A] {.   
0760: 20 6c 73 65 74 20 4c 20 24 69 63 20 5b 65 78 70   lset L $ic [exp
0770: 72 20 7b 5b 6c 69 6e 64 65 78 20 24 4c 20 24 69  r {[lindex $L $i
0780: 63 5d 20 2b 20 31 7d 5d 0a 20 20 7d 0a 7d 0a 70  c] + 1}].  }.}.p
0790: 72 6f 63 20 66 74 73 35 5f 74 65 73 74 5f 71 75  roc fts5_test_qu
07a0: 65 72 79 70 68 72 61 73 65 20 7b 63 6d 64 7d 20  eryphrase {cmd} 
07b0: 7b 0a 20 20 73 65 74 20 72 65 73 20 5b 6c 69 73  {.  set res [lis
07c0: 74 5d 0a 20 20 66 6f 72 20 7b 73 65 74 20 69 20  t].  for {set i 
07d0: 30 7d 20 7b 24 69 20 3c 20 5b 24 63 6d 64 20 78  0} {$i < [$cmd x
07e0: 50 68 72 61 73 65 43 6f 75 6e 74 5d 7d 20 7b 69  PhraseCount]} {i
07f0: 6e 63 72 20 69 7d 20 7b 0a 20 20 20 20 73 65 74  ncr i} {.    set
0800: 20 63 6e 74 20 5b 6c 69 73 74 5d 0a 20 20 20 20   cnt [list].    
0810: 66 6f 72 20 7b 73 65 74 20 6a 20 30 7d 20 7b 24  for {set j 0} {$
0820: 6a 20 3c 20 5b 24 63 6d 64 20 78 43 6f 6c 75 6d  j < [$cmd xColum
0830: 6e 43 6f 75 6e 74 5d 7d 20 7b 69 6e 63 72 20 6a  nCount]} {incr j
0840: 7d 20 7b 20 6c 61 70 70 65 6e 64 20 63 6e 74 20  } { lappend cnt 
0850: 30 20 7d 0a 20 20 20 20 24 63 6d 64 20 78 51 75  0 }.    $cmd xQu
0860: 65 72 79 50 68 72 61 73 65 20 24 69 20 5b 6c 69  eryPhrase $i [li
0870: 73 74 20 74 65 73 74 5f 71 75 65 72 79 70 68 72  st test_queryphr
0880: 61 73 65 5f 63 62 20 63 6e 74 5d 0a 20 20 20 20  ase_cb cnt].    
0890: 6c 61 70 70 65 6e 64 20 72 65 73 20 24 63 6e 74  lappend res $cnt
08a0: 0a 20 20 7d 0a 20 20 73 65 74 20 72 65 73 0a 7d  .  }.  set res.}
08b0: 0a 0a 70 72 6f 63 20 66 74 73 35 5f 74 65 73 74  ..proc fts5_test
08c0: 5f 70 68 72 61 73 65 63 6f 75 6e 74 20 7b 63 6d  _phrasecount {cm
08d0: 64 7d 20 7b 0a 20 20 24 63 6d 64 20 78 50 68 72  d} {.  $cmd xPhr
08e0: 61 73 65 43 6f 75 6e 74 0a 7d 0a 0a 70 72 6f 63  aseCount.}..proc
08f0: 20 66 74 73 35 5f 74 65 73 74 5f 61 6c 6c 20 7b   fts5_test_all {
0900: 63 6d 64 7d 20 7b 0a 20 20 73 65 74 20 72 65 73  cmd} {.  set res
0910: 20 5b 6c 69 73 74 5d 0a 20 20 6c 61 70 70 65 6e   [list].  lappen
0920: 64 20 72 65 73 20 63 6f 6c 75 6d 6e 73 69 7a 65  d res columnsize
0930: 20 20 20 20 20 20 5b 66 74 73 35 5f 74 65 73 74        [fts5_test
0940: 5f 63 6f 6c 75 6d 6e 73 69 7a 65 20 24 63 6d 64  _columnsize $cmd
0950: 5d 0a 20 20 6c 61 70 70 65 6e 64 20 72 65 73 20  ].  lappend res 
0960: 63 6f 6c 75 6d 6e 74 65 78 74 20 20 20 20 20 20  columntext      
0970: 5b 66 74 73 35 5f 74 65 73 74 5f 63 6f 6c 75 6d  [fts5_test_colum
0980: 6e 74 65 78 74 20 24 63 6d 64 5d 0a 20 20 6c 61  ntext $cmd].  la
0990: 70 70 65 6e 64 20 72 65 73 20 63 6f 6c 75 6d 6e  ppend res column
09a0: 74 6f 74 61 6c 73 69 7a 65 20 5b 66 74 73 35 5f  totalsize [fts5_
09b0: 74 65 73 74 5f 63 6f 6c 75 6d 6e 74 6f 74 61 6c  test_columntotal
09c0: 73 69 7a 65 20 24 63 6d 64 5d 0a 20 20 6c 61 70  size $cmd].  lap
09d0: 70 65 6e 64 20 72 65 73 20 70 6f 73 6c 69 73 74  pend res poslist
09e0: 20 20 20 20 20 20 20 20 20 5b 66 74 73 35 5f 74           [fts5_t
09f0: 65 73 74 5f 70 6f 73 6c 69 73 74 20 24 63 6d 64  est_poslist $cmd
0a00: 5d 0a 20 20 6c 61 70 70 65 6e 64 20 72 65 73 20  ].  lappend res 
0a10: 74 6f 6b 65 6e 69 7a 65 20 20 20 20 20 20 20 20  tokenize        
0a20: 5b 66 74 73 35 5f 74 65 73 74 5f 74 6f 6b 65 6e  [fts5_test_token
0a30: 69 7a 65 20 24 63 6d 64 5d 0a 20 20 6c 61 70 70  ize $cmd].  lapp
0a40: 65 6e 64 20 72 65 73 20 72 6f 77 63 6f 75 6e 74  end res rowcount
0a50: 20 20 20 20 20 20 20 20 5b 66 74 73 35 5f 74 65          [fts5_te
0a60: 73 74 5f 72 6f 77 63 6f 75 6e 74 20 24 63 6d 64  st_rowcount $cmd
0a70: 5d 0a 20 20 73 65 74 20 72 65 73 0a 7d 0a 0a 70  ].  set res.}..p
0a80: 72 6f 63 20 66 74 73 35 5f 61 75 78 5f 74 65 73  roc fts5_aux_tes
0a90: 74 5f 66 75 6e 63 74 69 6f 6e 73 20 7b 64 62 7d  t_functions {db}
0aa0: 20 7b 0a 20 20 66 6f 72 65 61 63 68 20 66 20 7b   {.  foreach f {
0ab0: 0a 20 20 20 20 66 74 73 35 5f 74 65 73 74 5f 63  .    fts5_test_c
0ac0: 6f 6c 75 6d 6e 73 69 7a 65 0a 20 20 20 20 66 74  olumnsize.    ft
0ad0: 73 35 5f 74 65 73 74 5f 63 6f 6c 75 6d 6e 74 65  s5_test_columnte
0ae0: 78 74 0a 20 20 20 20 66 74 73 35 5f 74 65 73 74  xt.    fts5_test
0af0: 5f 63 6f 6c 75 6d 6e 74 6f 74 61 6c 73 69 7a 65  _columntotalsize
0b00: 0a 20 20 20 20 66 74 73 35 5f 74 65 73 74 5f 70  .    fts5_test_p
0b10: 6f 73 6c 69 73 74 0a 20 20 20 20 66 74 73 35 5f  oslist.    fts5_
0b20: 74 65 73 74 5f 74 6f 6b 65 6e 69 7a 65 0a 20 20  test_tokenize.  
0b30: 20 20 66 74 73 35 5f 74 65 73 74 5f 72 6f 77 63    fts5_test_rowc
0b40: 6f 75 6e 74 0a 20 20 20 20 66 74 73 35 5f 74 65  ount.    fts5_te
0b50: 73 74 5f 61 6c 6c 0a 0a 20 20 20 20 66 74 73 35  st_all..    fts5
0b60: 5f 74 65 73 74 5f 71 75 65 72 79 70 68 72 61 73  _test_queryphras
0b70: 65 0a 20 20 20 20 66 74 73 35 5f 74 65 73 74 5f  e.    fts5_test_
0b80: 70 68 72 61 73 65 63 6f 75 6e 74 0a 20 20 7d 20  phrasecount.  } 
0b90: 7b 0a 20 20 20 20 73 71 6c 69 74 65 33 5f 66 74  {.    sqlite3_ft
0ba0: 73 35 5f 63 72 65 61 74 65 5f 66 75 6e 63 74 69  s5_create_functi
0bb0: 6f 6e 20 24 64 62 20 24 66 20 24 66 0a 20 20 7d  on $db $f $f.  }
0bc0: 0a 7d 0a 0a 70 72 6f 63 20 66 74 73 35 5f 6c 65  .}..proc fts5_le
0bd0: 76 65 6c 5f 73 65 67 73 20 7b 74 62 6c 7d 20 7b  vel_segs {tbl} {
0be0: 0a 20 20 73 65 74 20 73 71 6c 20 22 53 45 4c 45  .  set sql "SELE
0bf0: 43 54 20 66 74 73 35 5f 64 65 63 6f 64 65 28 72  CT fts5_decode(r
0c00: 6f 77 69 64 2c 62 6c 6f 63 6b 29 20 61 53 20 72  owid,block) aS r
0c10: 20 46 52 4f 4d 20 24 7b 74 62 6c 7d 5f 64 61 74   FROM ${tbl}_dat
0c20: 61 20 57 48 45 52 45 20 72 6f 77 69 64 3d 31 30  a WHERE rowid=10
0c30: 22 0a 20 20 73 65 74 20 72 65 74 20 5b 6c 69 73  ".  set ret [lis
0c40: 74 5d 0a 20 20 66 6f 72 65 61 63 68 20 4c 20 5b  t].  foreach L [
0c50: 6c 72 61 6e 67 65 20 5b 64 62 20 6f 6e 65 20 24  lrange [db one $
0c60: 73 71 6c 5d 20 31 20 65 6e 64 5d 20 7b 0a 20 20  sql] 1 end] {.  
0c70: 20 20 6c 61 70 70 65 6e 64 20 72 65 74 20 5b 65    lappend ret [e
0c80: 78 70 72 20 5b 6c 6c 65 6e 67 74 68 20 24 4c 5d  xpr [llength $L]
0c90: 20 2d 20 33 5d 0a 20 20 7d 0a 20 20 73 65 74 20   - 3].  }.  set 
0ca0: 72 65 74 0a 7d 20 0a 0a 70 72 6f 63 20 66 74 73  ret.} ..proc fts
0cb0: 35 5f 6c 65 76 65 6c 5f 73 65 67 69 64 73 20 7b  5_level_segids {
0cc0: 74 62 6c 7d 20 7b 0a 20 20 73 65 74 20 73 71 6c  tbl} {.  set sql
0cd0: 20 22 53 45 4c 45 43 54 20 66 74 73 35 5f 64 65   "SELECT fts5_de
0ce0: 63 6f 64 65 28 72 6f 77 69 64 2c 62 6c 6f 63 6b  code(rowid,block
0cf0: 29 20 61 53 20 72 20 46 52 4f 4d 20 24 7b 74 62  ) aS r FROM ${tb
0d00: 6c 7d 5f 64 61 74 61 20 57 48 45 52 45 20 72 6f  l}_data WHERE ro
0d10: 77 69 64 3d 31 30 22 0a 20 20 73 65 74 20 72 65  wid=10".  set re
0d20: 74 20 5b 6c 69 73 74 5d 0a 20 20 66 6f 72 65 61  t [list].  forea
0d30: 63 68 20 4c 20 5b 6c 72 61 6e 67 65 20 5b 64 62  ch L [lrange [db
0d40: 20 6f 6e 65 20 24 73 71 6c 5d 20 31 20 65 6e 64   one $sql] 1 end
0d50: 5d 20 7b 0a 20 20 20 20 73 65 74 20 6c 76 6c 20  ] {.    set lvl 
0d60: 5b 6c 69 73 74 5d 0a 20 20 20 20 66 6f 72 65 61  [list].    forea
0d70: 63 68 20 53 20 5b 6c 72 61 6e 67 65 20 24 4c 20  ch S [lrange $L 
0d80: 33 20 65 6e 64 5d 20 7b 0a 20 20 20 20 20 20 72  3 end] {.      r
0d90: 65 67 65 78 70 20 7b 69 64 3d 28 5b 31 32 33 34  egexp {id=([1234
0da0: 35 36 37 38 39 30 5d 2a 29 7d 20 24 53 20 2d 3e  567890]*)} $S ->
0db0: 20 73 65 67 69 64 0a 20 20 20 20 20 20 6c 61 70   segid.      lap
0dc0: 70 65 6e 64 20 6c 76 6c 20 24 73 65 67 69 64 0a  pend lvl $segid.
0dd0: 20 20 20 20 7d 0a 20 20 20 20 6c 61 70 70 65 6e      }.    lappen
0de0: 64 20 72 65 74 20 24 6c 76 6c 0a 20 20 7d 0a 20  d ret $lvl.  }. 
0df0: 20 73 65 74 20 72 65 74 0a 7d 0a 0a 70 72 6f 63   set ret.}..proc
0e00: 20 66 74 73 35 5f 72 6e 64 64 6f 63 20 7b 6e 7d   fts5_rnddoc {n}
0e10: 20 7b 0a 20 20 73 65 74 20 6d 61 70 20 5b 6c 69   {.  set map [li
0e20: 73 74 20 30 20 61 20 20 31 20 62 20 20 32 20 63  st 0 a  1 b  2 c
0e30: 20 20 33 20 64 20 20 34 20 65 20 20 35 20 66 20    3 d  4 e  5 f 
0e40: 20 36 20 67 20 20 37 20 68 20 20 38 20 69 20 20   6 g  7 h  8 i  
0e50: 39 20 6a 5d 0a 20 20 73 65 74 20 64 6f 63 20 5b  9 j].  set doc [
0e60: 6c 69 73 74 5d 0a 20 20 66 6f 72 20 7b 73 65 74  list].  for {set
0e70: 20 69 20 30 7d 20 7b 24 69 20 3c 20 24 6e 7d 20   i 0} {$i < $n} 
0e80: 7b 69 6e 63 72 20 69 7d 20 7b 0a 20 20 20 20 6c  {incr i} {.    l
0e90: 61 70 70 65 6e 64 20 64 6f 63 20 22 78 5b 73 74  append doc "x[st
0ea0: 72 69 6e 67 20 6d 61 70 20 24 6d 61 70 20 5b 66  ring map $map [f
0eb0: 6f 72 6d 61 74 20 25 2e 33 64 20 5b 65 78 70 72  ormat %.3d [expr
0ec0: 20 69 6e 74 28 72 61 6e 64 28 29 2a 31 30 30 30   int(rand()*1000
0ed0: 29 5d 5d 5d 22 0a 20 20 7d 0a 20 20 73 65 74 20  )]]]".  }.  set 
0ee0: 64 6f 63 0a 7d 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d  doc.}..#--------
0ef0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0f00: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0f10: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0f20: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0f30: 2d 0a 23 20 55 73 61 67 65 3a 0a 23 0a 23 20 20  -.# Usage:.#.#  
0f40: 20 6e 65 61 72 73 65 74 20 61 43 6f 6c 20 3f 2d   nearset aCol ?-
0f50: 70 63 20 56 41 52 4e 41 4d 45 3f 20 3f 2d 6e 65  pc VARNAME? ?-ne
0f60: 61 72 20 4e 3f 20 3f 2d 63 6f 6c 20 43 3f 20 2d  ar N? ?-col C? -
0f70: 2d 20 70 68 72 61 73 65 31 20 70 68 72 61 73 65  - phrase1 phrase
0f80: 32 2e 2e 2e 0a 23 0a 23 20 54 68 69 73 20 63 6f  2....#.# This co
0f90: 6d 6d 61 6e 64 20 69 73 20 75 73 65 64 20 74 6f  mmand is used to
0fa0: 20 74 65 73 74 20 69 66 20 61 20 64 6f 63 75 6d   test if a docum
0fb0: 65 6e 74 20 28 73 65 74 20 6f 66 20 63 6f 6c 75  ent (set of colu
0fc0: 6d 6e 20 76 61 6c 75 65 73 29 20 6d 61 74 63 68  mn values) match
0fd0: 65 73 0a 23 20 74 68 65 20 6c 6f 67 69 63 61 6c  es.# the logical
0fe0: 20 65 71 75 69 76 61 6c 65 6e 74 20 6f 66 20 61   equivalent of a
0ff0: 20 73 69 6e 67 6c 65 20 46 54 53 35 20 4e 45 41   single FTS5 NEA
1000: 52 28 29 20 63 6c 75 6d 70 20 61 6e 64 2c 20 69  R() clump and, i
1010: 66 20 73 6f 2c 20 72 65 74 75 72 6e 0a 23 20 74  f so, return.# t
1020: 68 65 20 65 71 75 69 76 61 6c 65 6e 74 20 6f 66  he equivalent of
1030: 20 61 6e 20 46 54 53 35 20 70 6f 73 69 74 69 6f   an FTS5 positio
1040: 6e 20 6c 69 73 74 2e 0a 23 0a 23 20 50 61 72 61  n list..#.# Para
1050: 6d 65 74 65 72 20 24 61 43 6f 6c 20 69 73 20 70  meter $aCol is p
1060: 61 73 73 65 64 20 61 20 6c 69 73 74 20 6f 66 20  assed a list of 
1070: 74 68 65 20 63 6f 6c 75 6d 6e 20 76 61 6c 75 65  the column value
1080: 73 20 66 6f 72 20 74 68 65 20 64 6f 63 75 6d 65  s for the docume
1090: 6e 74 0a 23 20 74 6f 20 74 65 73 74 2e 20 50 61  nt.# to test. Pa
10a0: 72 61 6d 65 74 65 72 73 20 24 70 68 72 61 73 65  rameters $phrase
10b0: 31 20 61 6e 64 20 73 6f 20 6f 6e 20 61 72 65 20  1 and so on are 
10c0: 74 68 65 20 70 68 72 61 73 65 73 2e 0a 23 0a 23  the phrases..#.#
10d0: 20 54 68 65 20 72 65 73 75 6c 74 20 69 73 20 61   The result is a
10e0: 20 6c 69 73 74 20 6f 66 20 70 68 72 61 73 65 20   list of phrase 
10f0: 68 69 74 73 2e 20 45 61 63 68 20 70 68 72 61 73  hits. Each phras
1100: 65 20 68 69 74 20 69 73 20 66 6f 72 6d 61 74 74  e hit is formatt
1110: 65 64 20 61 73 0a 23 20 74 68 72 65 65 20 69 6e  ed as.# three in
1120: 74 65 67 65 72 73 20 73 65 70 61 72 61 74 65 64  tegers separated
1130: 20 62 79 20 22 2e 22 20 63 68 61 72 61 63 74 65   by "." characte
1140: 72 73 2c 20 69 6e 20 74 68 65 20 66 6f 6c 6c 6f  rs, in the follo
1150: 77 69 6e 67 20 66 6f 72 6d 61 74 3a 0a 23 0a 23  wing format:.#.#
1160: 20 20 20 3c 70 68 72 61 73 65 20 6e 75 6d 62 65     <phrase numbe
1170: 72 3e 20 2e 20 3c 63 6f 6c 75 6d 6e 20 6e 75 6d  r> . <column num
1180: 62 65 72 3e 20 2e 20 3c 74 6f 6b 65 6e 20 6f 66  ber> . <token of
1190: 66 73 65 74 3e 0a 23 0a 23 20 4f 70 74 69 6f 6e  fset>.#.# Option
11a0: 73 3a 0a 23 0a 23 20 20 20 2d 6e 65 61 72 20 4e  s:.#.#   -near N
11b0: 20 20 20 20 20 20 20 20 28 4e 45 41 52 20 64 69          (NEAR di
11c0: 73 74 61 6e 63 65 2e 20 44 65 66 61 75 6c 74 20  stance. Default 
11d0: 31 30 29 0a 23 20 20 20 2d 63 6f 6c 20 20 43 20  10).#   -col  C 
11e0: 20 20 20 20 20 20 20 28 4c 69 73 74 20 6f 66 20         (List of 
11f0: 63 6f 6c 75 6d 6e 20 69 6e 64 65 78 65 73 20 74  column indexes t
1200: 6f 20 6d 61 74 63 68 20 61 67 61 69 6e 73 74 29  o match against)
1210: 0a 23 20 20 20 2d 70 63 20 20 20 56 41 52 4e 41  .#   -pc   VARNA
1220: 4d 45 20 20 28 76 61 72 69 61 62 6c 65 20 69 6e  ME  (variable in
1230: 20 63 61 6c 6c 65 72 20 66 72 61 6d 65 20 74 6f   caller frame to
1240: 20 75 73 65 20 66 6f 72 20 70 68 72 61 73 65 20   use for phrase 
1250: 6e 75 6d 62 65 72 69 6e 67 29 0a 23 0a 70 72 6f  numbering).#.pro
1260: 63 20 6e 65 61 72 73 65 74 20 7b 61 43 6f 6c 20  c nearset {aCol 
1270: 61 72 67 73 7d 20 7b 0a 20 20 73 65 74 20 4f 28  args} {.  set O(
1280: 2d 6e 65 61 72 29 20 31 30 0a 20 20 73 65 74 20  -near) 10.  set 
1290: 4f 28 2d 63 6f 6c 29 20 20 7b 7d 0a 20 20 73 65  O(-col)  {}.  se
12a0: 74 20 4f 28 2d 70 63 29 20 20 20 22 22 0a 0a 20  t O(-pc)   "".. 
12b0: 20 73 65 74 20 6e 4f 70 74 20 5b 6c 73 65 61 72   set nOpt [lsear
12c0: 63 68 20 2d 65 78 61 63 74 20 24 61 72 67 73 20  ch -exact $args 
12d0: 2d 2d 5d 0a 20 20 69 66 20 7b 24 6e 4f 70 74 3c  --].  if {$nOpt<
12e0: 30 7d 20 7b 20 65 72 72 6f 72 20 22 6e 6f 20 2d  0} { error "no -
12f0: 2d 20 6f 70 74 69 6f 6e 22 20 7d 0a 0a 20 20 66  - option" }..  f
1300: 6f 72 65 61 63 68 20 7b 6b 20 76 7d 20 5b 6c 72  oreach {k v} [lr
1310: 61 6e 67 65 20 24 61 72 67 73 20 30 20 5b 65 78  ange $args 0 [ex
1320: 70 72 20 24 6e 4f 70 74 2d 31 5d 5d 20 7b 0a 20  pr $nOpt-1]] {. 
1330: 20 20 20 69 66 20 7b 5b 69 6e 66 6f 20 65 78 69     if {[info exi
1340: 73 74 73 20 4f 28 24 6b 29 5d 3d 3d 30 7d 20 7b  sts O($k)]==0} {
1350: 20 65 72 72 6f 72 20 22 75 6e 72 65 63 6f 67 6e   error "unrecogn
1360: 69 7a 65 64 20 6f 70 74 69 6f 6e 20 24 6b 22 20  ized option $k" 
1370: 7d 0a 20 20 20 20 73 65 74 20 4f 28 24 6b 29 20  }.    set O($k) 
1380: 24 76 0a 20 20 7d 0a 0a 20 20 69 66 20 7b 24 4f  $v.  }..  if {$O
1390: 28 2d 70 63 29 20 3d 3d 20 22 22 7d 20 7b 0a 20  (-pc) == ""} {. 
13a0: 20 20 20 73 65 74 20 63 6f 75 6e 74 65 72 20 30     set counter 0
13b0: 0a 20 20 7d 20 65 6c 73 65 20 7b 0a 20 20 20 20  .  } else {.    
13c0: 75 70 76 61 72 20 24 4f 28 2d 70 63 29 20 63 6f  upvar $O(-pc) co
13d0: 75 6e 74 65 72 0a 20 20 7d 0a 0a 20 20 23 20 53  unter.  }..  # S
13e0: 65 74 20 24 70 68 72 61 73 65 6c 69 73 74 20 74  et $phraselist t
13f0: 6f 20 62 65 20 61 20 6c 69 73 74 20 6f 66 20 70  o be a list of p
1400: 68 72 61 73 65 73 2e 20 24 6e 50 68 72 61 73 65  hrases. $nPhrase
1410: 20 69 74 73 20 6c 65 6e 67 74 68 2e 0a 20 20 73   its length..  s
1420: 65 74 20 70 68 72 61 73 65 6c 69 73 74 20 5b 6c  et phraselist [l
1430: 72 61 6e 67 65 20 24 61 72 67 73 20 5b 65 78 70  range $args [exp
1440: 72 20 24 6e 4f 70 74 2b 31 5d 20 65 6e 64 5d 0a  r $nOpt+1] end].
1450: 20 20 73 65 74 20 6e 50 68 72 61 73 65 20 5b 6c    set nPhrase [l
1460: 6c 65 6e 67 74 68 20 24 70 68 72 61 73 65 6c 69  length $phraseli
1470: 73 74 5d 0a 0a 20 20 66 6f 72 20 7b 73 65 74 20  st]..  for {set 
1480: 6a 20 30 7d 20 7b 24 6a 20 3c 20 5b 6c 6c 65 6e  j 0} {$j < [llen
1490: 67 74 68 20 24 61 43 6f 6c 5d 7d 20 7b 69 6e 63  gth $aCol]} {inc
14a0: 72 20 6a 7d 20 7b 0a 20 20 20 20 66 6f 72 20 7b  r j} {.    for {
14b0: 73 65 74 20 69 20 30 7d 20 7b 24 69 20 3c 20 24  set i 0} {$i < $
14c0: 6e 50 68 72 61 73 65 7d 20 7b 69 6e 63 72 20 69  nPhrase} {incr i
14d0: 7d 20 7b 20 0a 20 20 20 20 20 20 73 65 74 20 41  } { .      set A
14e0: 28 24 6a 2c 24 69 29 20 5b 6c 69 73 74 5d 0a 20  ($j,$i) [list]. 
14f0: 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 73 65 74 20     }.  }..  set 
1500: 69 43 6f 6c 20 2d 31 0a 20 20 66 6f 72 65 61 63  iCol -1.  foreac
1510: 68 20 63 6f 6c 20 24 61 43 6f 6c 20 7b 0a 20 20  h col $aCol {.  
1520: 20 20 69 6e 63 72 20 69 43 6f 6c 0a 20 20 20 20    incr iCol.    
1530: 69 66 20 7b 24 4f 28 2d 63 6f 6c 29 21 3d 22 22  if {$O(-col)!=""
1540: 20 26 26 20 5b 6c 73 65 61 72 63 68 20 24 4f 28   && [lsearch $O(
1550: 2d 63 6f 6c 29 20 24 69 43 6f 6c 5d 3c 30 7d 20  -col) $iCol]<0} 
1560: 63 6f 6e 74 69 6e 75 65 0a 20 20 20 20 73 65 74  continue.    set
1570: 20 6e 54 6f 6b 65 6e 20 5b 6c 6c 65 6e 67 74 68   nToken [llength
1580: 20 24 63 6f 6c 5d 0a 0a 20 20 20 20 73 65 74 20   $col]..    set 
1590: 69 46 4c 20 5b 65 78 70 72 20 24 4f 28 2d 6e 65  iFL [expr $O(-ne
15a0: 61 72 29 20 3e 3d 20 24 6e 54 6f 6b 65 6e 20 3f  ar) >= $nToken ?
15b0: 20 24 6e 54 6f 6b 65 6e 20 2d 20 31 20 3a 20 24   $nToken - 1 : $
15c0: 4f 28 2d 6e 65 61 72 29 5d 0a 20 20 20 20 66 6f  O(-near)].    fo
15d0: 72 20 7b 20 7d 20 7b 24 69 46 4c 20 3c 20 24 6e  r { } {$iFL < $n
15e0: 54 6f 6b 65 6e 7d 20 7b 69 6e 63 72 20 69 46 4c  Token} {incr iFL
15f0: 7d 20 7b 0a 20 20 20 20 20 20 66 6f 72 20 7b 73  } {.      for {s
1600: 65 74 20 69 50 68 72 61 73 65 20 30 7d 20 7b 24  et iPhrase 0} {$
1610: 69 50 68 72 61 73 65 3c 24 6e 50 68 72 61 73 65  iPhrase<$nPhrase
1620: 7d 20 7b 69 6e 63 72 20 69 50 68 72 61 73 65 7d  } {incr iPhrase}
1630: 20 7b 0a 20 20 20 20 20 20 20 20 73 65 74 20 42   {.        set B
1640: 28 24 69 50 68 72 61 73 65 29 20 5b 6c 69 73 74  ($iPhrase) [list
1650: 5d 0a 20 20 20 20 20 20 7d 0a 20 20 20 20 20 20  ].      }.      
1660: 0a 20 20 20 20 20 20 66 6f 72 20 7b 73 65 74 20  .      for {set 
1670: 69 50 68 72 61 73 65 20 30 7d 20 7b 24 69 50 68  iPhrase 0} {$iPh
1680: 72 61 73 65 3c 24 6e 50 68 72 61 73 65 7d 20 7b  rase<$nPhrase} {
1690: 69 6e 63 72 20 69 50 68 72 61 73 65 7d 20 7b 0a  incr iPhrase} {.
16a0: 20 20 20 20 20 20 20 20 73 65 74 20 70 20 5b 6c          set p [l
16b0: 69 6e 64 65 78 20 24 70 68 72 61 73 65 6c 69 73  index $phraselis
16c0: 74 20 24 69 50 68 72 61 73 65 5d 0a 20 20 20 20  t $iPhrase].    
16d0: 20 20 20 20 73 65 74 20 6e 50 6d 31 20 5b 65 78      set nPm1 [ex
16e0: 70 72 20 7b 5b 6c 6c 65 6e 67 74 68 20 24 70 5d  pr {[llength $p]
16f0: 20 2d 20 31 7d 5d 0a 20 20 20 20 20 20 20 20 73   - 1}].        s
1700: 65 74 20 69 46 69 72 73 74 20 5b 65 78 70 72 20  et iFirst [expr 
1710: 24 69 46 4c 20 2d 20 24 4f 28 2d 6e 65 61 72 29  $iFL - $O(-near)
1720: 20 2d 20 5b 6c 6c 65 6e 67 74 68 20 24 70 5d 5d   - [llength $p]]
1730: 0a 0a 20 20 20 20 20 20 20 20 66 6f 72 20 7b 73  ..        for {s
1740: 65 74 20 69 20 24 69 46 69 72 73 74 7d 20 7b 24  et i $iFirst} {$
1750: 69 20 3c 3d 20 24 69 46 4c 7d 20 7b 69 6e 63 72  i <= $iFL} {incr
1760: 20 69 7d 20 7b 0a 20 20 20 20 20 20 20 20 20 20   i} {.          
1770: 69 66 20 7b 5b 6c 72 61 6e 67 65 20 24 63 6f 6c  if {[lrange $col
1780: 20 24 69 20 5b 65 78 70 72 20 24 69 2b 24 6e 50   $i [expr $i+$nP
1790: 6d 31 5d 5d 20 3d 3d 20 24 70 7d 20 7b 20 6c 61  m1]] == $p} { la
17a0: 70 70 65 6e 64 20 42 28 24 69 50 68 72 61 73 65  ppend B($iPhrase
17b0: 29 20 24 69 20 7d 0a 20 20 20 20 20 20 20 20 7d  ) $i }.        }
17c0: 0a 20 20 20 20 20 20 20 20 69 66 20 7b 5b 6c 6c  .        if {[ll
17d0: 65 6e 67 74 68 20 24 42 28 24 69 50 68 72 61 73  ength $B($iPhras
17e0: 65 29 5d 20 3d 3d 20 30 7d 20 62 72 65 61 6b 0a  e)] == 0} break.
17f0: 20 20 20 20 20 20 7d 0a 0a 20 20 20 20 20 20 69        }..      i
1800: 66 20 7b 24 69 50 68 72 61 73 65 3d 3d 24 6e 50  f {$iPhrase==$nP
1810: 68 72 61 73 65 7d 20 7b 0a 20 20 20 20 20 20 20  hrase} {.       
1820: 20 66 6f 72 20 7b 73 65 74 20 69 50 68 72 61 73   for {set iPhras
1830: 65 20 30 7d 20 7b 24 69 50 68 72 61 73 65 3c 24  e 0} {$iPhrase<$
1840: 6e 50 68 72 61 73 65 7d 20 7b 69 6e 63 72 20 69  nPhrase} {incr i
1850: 50 68 72 61 73 65 7d 20 7b 0a 20 20 20 20 20 20  Phrase} {.      
1860: 20 20 20 20 73 65 74 20 41 28 24 69 43 6f 6c 2c      set A($iCol,
1870: 24 69 50 68 72 61 73 65 29 20 5b 63 6f 6e 63 61  $iPhrase) [conca
1880: 74 20 24 41 28 24 69 43 6f 6c 2c 24 69 50 68 72  t $A($iCol,$iPhr
1890: 61 73 65 29 20 24 42 28 24 69 50 68 72 61 73 65  ase) $B($iPhrase
18a0: 29 5d 0a 20 20 20 20 20 20 20 20 20 20 73 65 74  )].          set
18b0: 20 41 28 24 69 43 6f 6c 2c 24 69 50 68 72 61 73   A($iCol,$iPhras
18c0: 65 29 20 5b 6c 73 6f 72 74 20 2d 69 6e 74 65 67  e) [lsort -integ
18d0: 65 72 20 2d 75 6e 69 71 20 24 41 28 24 69 43 6f  er -uniq $A($iCo
18e0: 6c 2c 24 69 50 68 72 61 73 65 29 5d 0a 20 20 20  l,$iPhrase)].   
18f0: 20 20 20 20 20 7d 0a 20 20 20 20 20 20 7d 0a 20       }.      }. 
1900: 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 73 65 74 20     }.  }..  set 
1910: 72 65 73 20 5b 6c 69 73 74 5d 0a 20 20 23 70 75  res [list].  #pu
1920: 74 73 20 5b 61 72 72 61 79 20 6e 61 6d 65 73 20  ts [array names 
1930: 41 5d 0a 0a 20 20 66 6f 72 20 7b 73 65 74 20 69  A]..  for {set i
1940: 50 68 72 61 73 65 20 30 7d 20 7b 24 69 50 68 72  Phrase 0} {$iPhr
1950: 61 73 65 3c 24 6e 50 68 72 61 73 65 7d 20 7b 69  ase<$nPhrase} {i
1960: 6e 63 72 20 69 50 68 72 61 73 65 7d 20 7b 0a 20  ncr iPhrase} {. 
1970: 20 20 20 66 6f 72 20 7b 73 65 74 20 69 43 6f 6c     for {set iCol
1980: 20 30 7d 20 7b 24 69 43 6f 6c 20 3c 20 5b 6c 6c   0} {$iCol < [ll
1990: 65 6e 67 74 68 20 24 61 43 6f 6c 5d 7d 20 7b 69  ength $aCol]} {i
19a0: 6e 63 72 20 69 43 6f 6c 7d 20 7b 0a 20 20 20 20  ncr iCol} {.    
19b0: 20 20 66 6f 72 65 61 63 68 20 61 20 24 41 28 24    foreach a $A($
19c0: 69 43 6f 6c 2c 24 69 50 68 72 61 73 65 29 20 7b  iCol,$iPhrase) {
19d0: 0a 20 20 20 20 20 20 20 20 6c 61 70 70 65 6e 64  .        lappend
19e0: 20 72 65 73 20 22 24 63 6f 75 6e 74 65 72 2e 24   res "$counter.$
19f0: 69 43 6f 6c 2e 24 61 22 0a 20 20 20 20 20 20 7d  iCol.$a".      }
1a00: 0a 20 20 20 20 7d 0a 20 20 20 20 69 6e 63 72 20  .    }.    incr 
1a10: 63 6f 75 6e 74 65 72 0a 20 20 7d 0a 0a 20 20 23  counter.  }..  #
1a20: 70 75 74 73 20 24 72 65 73 0a 20 20 73 6f 72 74  puts $res.  sort
1a30: 5f 70 6f 73 6c 69 73 74 20 24 72 65 73 0a 7d 0a  _poslist $res.}.
1a40: 0a 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  .#--------------
1a50: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1a60: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1a70: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1a80: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 23 20 55 73  -----------.# Us
1a90: 61 67 65 3a 0a 23 0a 23 20 20 20 73 6f 72 74 5f  age:.#.#   sort_
1aa0: 70 6f 73 6c 69 73 74 20 4c 49 53 54 0a 23 0a 23  poslist LIST.#.#
1ab0: 20 53 6f 72 74 20 61 20 70 6f 73 69 74 69 6f 6e   Sort a position
1ac0: 20 6c 69 73 74 20 6f 66 20 74 68 65 20 74 79 70   list of the typ
1ad0: 65 20 72 65 74 75 72 6e 65 64 20 62 79 20 63 6f  e returned by co
1ae0: 6d 6d 61 6e 64 20 5b 6e 65 61 72 73 65 74 5d 0a  mmand [nearset].
1af0: 23 0a 70 72 6f 63 20 73 6f 72 74 5f 70 6f 73 6c  #.proc sort_posl
1b00: 69 73 74 20 7b 4c 7d 20 7b 0a 20 20 6c 73 6f 72  ist {L} {.  lsor
1b10: 74 20 2d 63 6f 6d 6d 61 6e 64 20 69 6e 73 74 63  t -command instc
1b20: 6f 6d 70 61 72 65 20 24 4c 0a 7d 0a 70 72 6f 63  ompare $L.}.proc
1b30: 20 69 6e 73 74 63 6f 6d 70 61 72 65 20 7b 6c 68   instcompare {lh
1b40: 73 20 72 68 73 7d 20 7b 0a 20 20 66 6f 72 65 61  s rhs} {.  forea
1b50: 63 68 20 7b 70 31 20 63 31 20 6f 31 7d 20 5b 73  ch {p1 c1 o1} [s
1b60: 70 6c 69 74 20 24 6c 68 73 20 2e 5d 20 7b 7d 0a  plit $lhs .] {}.
1b70: 20 20 66 6f 72 65 61 63 68 20 7b 70 32 20 63 32    foreach {p2 c2
1b80: 20 6f 32 7d 20 5b 73 70 6c 69 74 20 24 72 68 73   o2} [split $rhs
1b90: 20 2e 5d 20 7b 7d 0a 0a 20 20 73 65 74 20 72 65   .] {}..  set re
1ba0: 73 20 5b 65 78 70 72 20 24 63 31 20 2d 20 24 63  s [expr $c1 - $c
1bb0: 32 5d 0a 20 20 69 66 20 7b 24 72 65 73 3d 3d 30  2].  if {$res==0
1bc0: 7d 20 7b 20 73 65 74 20 72 65 73 20 5b 65 78 70  } { set res [exp
1bd0: 72 20 24 6f 31 20 2d 20 24 6f 32 5d 20 7d 0a 20  r $o1 - $o2] }. 
1be0: 20 69 66 20 7b 24 72 65 73 3d 3d 30 7d 20 7b 20   if {$res==0} { 
1bf0: 73 65 74 20 72 65 73 20 5b 65 78 70 72 20 24 70  set res [expr $p
1c00: 31 20 2d 20 24 70 32 5d 20 7d 0a 0a 20 20 72 65  1 - $p2] }..  re
1c10: 74 75 72 6e 20 24 72 65 73 0a 7d 0a 0a 23 2d 2d  turn $res.}..#--
1c20: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1c30: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1c40: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1c50: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1c60: 2d 2d 2d 2d 2d 2d 2d 0a 23 20 4c 6f 67 69 63 61  -------.# Logica
1c70: 6c 20 6f 70 65 72 61 74 6f 72 73 20 75 73 65 64  l operators used
1c80: 20 62 79 20 74 68 65 20 63 6f 6d 6d 61 6e 64 73   by the commands
1c90: 20 72 65 74 75 72 6e 65 64 20 62 79 20 66 74 73   returned by fts
1ca0: 35 5f 74 63 6c 5f 65 78 70 72 28 29 2e 0a 23 0a  5_tcl_expr()..#.
1cb0: 70 72 6f 63 20 41 4e 44 20 7b 61 72 67 73 7d 20  proc AND {args} 
1cc0: 7b 0a 20 20 66 6f 72 65 61 63 68 20 61 20 24 61  {.  foreach a $a
1cd0: 72 67 73 20 7b 0a 20 20 20 20 69 66 20 7b 5b 6c  rgs {.    if {[l
1ce0: 6c 65 6e 67 74 68 20 24 61 5d 3d 3d 30 7d 20 7b  length $a]==0} {
1cf0: 20 72 65 74 75 72 6e 20 5b 6c 69 73 74 5d 20 7d   return [list] }
1d00: 0a 20 20 7d 0a 20 20 73 6f 72 74 5f 70 6f 73 6c  .  }.  sort_posl
1d10: 69 73 74 20 5b 63 6f 6e 63 61 74 20 7b 2a 7d 24  ist [concat {*}$
1d20: 61 72 67 73 5d 0a 7d 0a 70 72 6f 63 20 4f 52 20  args].}.proc OR 
1d30: 7b 61 72 67 73 7d 20 7b 0a 20 20 73 6f 72 74 5f  {args} {.  sort_
1d40: 70 6f 73 6c 69 73 74 20 5b 63 6f 6e 63 61 74 20  poslist [concat 
1d50: 7b 2a 7d 24 61 72 67 73 5d 0a 7d 0a 70 72 6f 63  {*}$args].}.proc
1d60: 20 4e 4f 54 20 7b 61 20 62 7d 20 7b 0a 20 20 69   NOT {a b} {.  i
1d70: 66 20 7b 5b 6c 6c 65 6e 67 74 68 20 24 62 5d 3e  f {[llength $b]>
1d80: 30 7d 20 7b 20 72 65 74 75 72 6e 20 5b 6c 69 73  0} { return [lis
1d90: 74 5d 20 7d 0a 20 20 72 65 74 75 72 6e 20 24 61  t] }.  return $a
1da0: 0a 7d 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  .}..#-----------
1db0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1dc0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1dd0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1de0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 23  --------------.#
1df0: 20 54 68 69 73 20 63 6f 6d 6d 61 6e 64 20 69 73   This command is
1e00: 20 73 69 6d 69 6c 61 72 20 74 6f 20 5b 73 70 6c   similar to [spl
1e10: 69 74 5d 2c 20 65 78 63 65 70 74 20 74 68 61 74  it], except that
1e20: 20 69 74 20 61 6c 73 6f 20 70 72 6f 76 69 64 65   it also provide
1e30: 73 20 74 68 65 0a 23 20 73 74 61 72 74 20 61 6e  s the.# start an
1e40: 64 20 65 6e 64 20 6f 66 66 73 65 74 73 20 6f 66  d end offsets of
1e50: 20 65 61 63 68 20 74 6f 6b 65 6e 2e 20 46 6f 72   each token. For
1e60: 20 65 78 61 6d 70 6c 65 3a 0a 23 0a 23 20 20 20   example:.#.#   
1e70: 5b 66 74 73 35 5f 74 6f 6b 65 6e 69 7a 65 5f 73  [fts5_tokenize_s
1e80: 70 6c 69 74 20 22 61 62 63 20 64 20 65 66 22 5d  plit "abc d ef"]
1e90: 20 2d 3e 20 7b 61 62 63 20 30 20 33 20 64 20 34   -> {abc 0 3 d 4
1ea0: 20 35 20 65 66 20 36 20 38 7d 0a 23 0a 0a 70 72   5 ef 6 8}.#..pr
1eb0: 6f 63 20 67 6f 62 62 6c 65 5f 77 68 69 74 65 73  oc gobble_whites
1ec0: 70 61 63 65 20 7b 74 65 78 74 76 61 72 7d 20 7b  pace {textvar} {
1ed0: 0a 20 20 75 70 76 61 72 20 24 74 65 78 74 76 61  .  upvar $textva
1ee0: 72 20 74 0a 20 20 72 65 67 65 78 70 20 7b 28 5b  r t.  regexp {([
1ef0: 20 5d 2a 29 28 2e 2a 29 7d 20 24 74 20 2d 3e 20   ]*)(.*)} $t -> 
1f00: 73 70 61 63 65 20 74 0a 20 20 72 65 74 75 72 6e  space t.  return
1f10: 20 5b 73 74 72 69 6e 67 20 6c 65 6e 67 74 68 20   [string length 
1f20: 24 73 70 61 63 65 5d 0a 7d 0a 0a 70 72 6f 63 20  $space].}..proc 
1f30: 67 6f 62 62 6c 65 5f 74 65 78 74 20 7b 74 65 78  gobble_text {tex
1f40: 74 76 61 72 20 77 6f 72 64 76 61 72 7d 20 7b 0a  tvar wordvar} {.
1f50: 20 20 75 70 76 61 72 20 24 74 65 78 74 76 61 72    upvar $textvar
1f60: 20 74 0a 20 20 75 70 76 61 72 20 24 77 6f 72 64   t.  upvar $word
1f70: 76 61 72 20 77 0a 20 20 72 65 67 65 78 70 20 7b  var w.  regexp {
1f80: 28 5b 5e 20 5d 2a 29 28 2e 2a 29 7d 20 24 74 20  ([^ ]*)(.*)} $t 
1f90: 2d 3e 20 77 20 74 0a 20 20 72 65 74 75 72 6e 20  -> w t.  return 
1fa0: 5b 73 74 72 69 6e 67 20 6c 65 6e 67 74 68 20 24  [string length $
1fb0: 77 5d 0a 7d 0a 0a 70 72 6f 63 20 66 74 73 35 5f  w].}..proc fts5_
1fc0: 74 6f 6b 65 6e 69 7a 65 5f 73 70 6c 69 74 20 7b  tokenize_split {
1fd0: 74 65 78 74 7d 20 7b 0a 20 20 73 65 74 20 74 6f  text} {.  set to
1fe0: 6b 65 6e 20 22 22 0a 20 20 73 65 74 20 72 65 74  ken "".  set ret
1ff0: 20 5b 6c 69 73 74 5d 0a 20 20 73 65 74 20 69 4f   [list].  set iO
2000: 66 66 20 5b 67 6f 62 62 6c 65 5f 77 68 69 74 65  ff [gobble_white
2010: 73 70 61 63 65 20 74 65 78 74 5d 0a 20 20 77 68  space text].  wh
2020: 69 6c 65 20 7b 5b 73 65 74 20 6e 54 6f 6b 65 6e  ile {[set nToken
2030: 20 5b 67 6f 62 62 6c 65 5f 74 65 78 74 20 74 65   [gobble_text te
2040: 78 74 20 77 6f 72 64 5d 5d 7d 20 7b 0a 20 20 20  xt word]]} {.   
2050: 20 6c 61 70 70 65 6e 64 20 72 65 74 20 24 77 6f   lappend ret $wo
2060: 72 64 20 24 69 4f 66 66 20 5b 65 78 70 72 20 24  rd $iOff [expr $
2070: 69 4f 66 66 2b 24 6e 54 6f 6b 65 6e 5d 0a 20 20  iOff+$nToken].  
2080: 20 20 69 6e 63 72 20 69 4f 66 66 20 24 6e 54 6f    incr iOff $nTo
2090: 6b 65 6e 0a 20 20 20 20 69 6e 63 72 20 69 4f 66  ken.    incr iOf
20a0: 66 20 5b 67 6f 62 62 6c 65 5f 77 68 69 74 65 73  f [gobble_whites
20b0: 70 61 63 65 20 74 65 78 74 5d 0a 20 20 7d 0a 0a  pace text].  }..
20c0: 20 20 73 65 74 20 72 65 74 0a 7d 0a 0a             set ret.}..