/ Hex Artifact Content
Login

Artifact ea4df698b35cc427ebf2ba22829d0e28386d8c89:


0000: 23 20 32 30 31 34 20 44 65 63 20 32 30 0a 23 0a  # 2014 Dec 20.#.
0010: 23 20 54 68 65 20 61 75 74 68 6f 72 20 64 69 73  # The author dis
0020: 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67 68 74  claims copyright
0030: 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63 65 20   to this source 
0040: 63 6f 64 65 2e 20 20 49 6e 20 70 6c 61 63 65 20  code.  In place 
0050: 6f 66 0a 23 20 61 20 6c 65 67 61 6c 20 6e 6f 74  of.# a legal not
0060: 69 63 65 2c 20 68 65 72 65 20 69 73 20 61 20 62  ice, here is a b
0070: 6c 65 73 73 69 6e 67 3a 0a 23 0a 23 20 20 20 20  lessing:.#.#    
0080: 4d 61 79 20 79 6f 75 20 64 6f 20 67 6f 6f 64 20  May you do good 
0090: 61 6e 64 20 6e 6f 74 20 65 76 69 6c 2e 0a 23 20  and not evil..# 
00a0: 20 20 20 4d 61 79 20 79 6f 75 20 66 69 6e 64 20     May you find 
00b0: 66 6f 72 67 69 76 65 6e 65 73 73 20 66 6f 72 20  forgiveness for 
00c0: 79 6f 75 72 73 65 6c 66 20 61 6e 64 20 66 6f 72  yourself and for
00d0: 67 69 76 65 20 6f 74 68 65 72 73 2e 0a 23 20 20  give others..#  
00e0: 20 20 4d 61 79 20 79 6f 75 20 73 68 61 72 65 20    May you share 
00f0: 66 72 65 65 6c 79 2c 20 6e 65 76 65 72 20 74 61  freely, never ta
0100: 6b 69 6e 67 20 6d 6f 72 65 20 74 68 61 6e 20 79  king more than y
0110: 6f 75 20 67 69 76 65 2e 0a 23 0a 23 2a 2a 2a 2a  ou give..#.#****
0120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 0a 23 0a 23 20 54 65 73 74 73 20 66 6f  ***.#.# Tests fo
0170: 63 75 73 69 6e 67 20 6f 6e 20 74 68 65 20 62 75  cusing on the bu
0180: 69 6c 74 2d 69 6e 20 66 74 73 35 20 74 6f 6b 65  ilt-in fts5 toke
0190: 6e 69 7a 65 72 73 2e 20 0a 23 0a 0a 73 6f 75 72  nizers. .#..sour
01a0: 63 65 20 5b 66 69 6c 65 20 6a 6f 69 6e 20 5b 66  ce [file join [f
01b0: 69 6c 65 20 64 69 72 6e 61 6d 65 20 5b 69 6e 66  ile dirname [inf
01c0: 6f 20 73 63 72 69 70 74 5d 5d 20 66 74 73 35 5f  o script]] fts5_
01d0: 63 6f 6d 6d 6f 6e 2e 74 63 6c 5d 0a 73 65 74 20  common.tcl].set 
01e0: 74 65 73 74 70 72 65 66 69 78 20 66 74 73 35 74  testprefix fts5t
01f0: 6f 6b 65 6e 69 7a 65 72 0a 0a 23 20 49 66 20 53  okenizer..# If S
0200: 51 4c 49 54 45 5f 45 4e 41 42 4c 45 5f 46 54 53  QLITE_ENABLE_FTS
0210: 35 20 69 73 20 64 65 66 69 6e 65 64 2c 20 6f 6d  5 is defined, om
0220: 69 74 20 74 68 69 73 20 66 69 6c 65 2e 0a 69 66  it this file..if
0230: 63 61 70 61 62 6c 65 20 21 66 74 73 35 20 7b 0a  capable !fts5 {.
0240: 20 20 66 69 6e 69 73 68 5f 74 65 73 74 0a 20 20    finish_test.  
0250: 72 65 74 75 72 6e 0a 7d 0a 0a 0a 64 6f 5f 65 78  return.}...do_ex
0260: 65 63 73 71 6c 5f 74 65 73 74 20 31 2e 30 20 7b  ecsql_test 1.0 {
0270: 0a 20 20 43 52 45 41 54 45 20 56 49 52 54 55 41  .  CREATE VIRTUA
0280: 4c 20 54 41 42 4c 45 20 66 74 31 20 55 53 49 4e  L TABLE ft1 USIN
0290: 47 20 66 74 73 35 28 78 2c 20 74 6f 6b 65 6e 69  G fts5(x, tokeni
02a0: 7a 65 3d 70 6f 72 74 65 72 29 3b 0a 20 20 44 52  ze=porter);.  DR
02b0: 4f 50 20 54 41 42 4c 45 20 66 74 31 3b 0a 7d 0a  OP TABLE ft1;.}.
02c0: 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65 73 74 20  do_execsql_test 
02d0: 31 2e 31 20 7b 0a 20 20 43 52 45 41 54 45 20 56  1.1 {.  CREATE V
02e0: 49 52 54 55 41 4c 20 54 41 42 4c 45 20 66 74 31  IRTUAL TABLE ft1
02f0: 20 55 53 49 4e 47 20 66 74 73 35 28 78 2c 20 74   USING fts5(x, t
0300: 6f 6b 65 6e 69 7a 65 3d 27 70 6f 72 74 65 72 27  okenize='porter'
0310: 29 3b 0a 20 20 44 52 4f 50 20 54 41 42 4c 45 20  );.  DROP TABLE 
0320: 66 74 31 3b 0a 7d 0a 64 6f 5f 65 78 65 63 73 71  ft1;.}.do_execsq
0330: 6c 5f 74 65 73 74 20 31 2e 32 20 7b 0a 20 20 43  l_test 1.2 {.  C
0340: 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54 41  REATE VIRTUAL TA
0350: 42 4c 45 20 66 74 31 20 55 53 49 4e 47 20 66 74  BLE ft1 USING ft
0360: 73 35 28 78 2c 20 74 6f 6b 65 6e 69 7a 65 20 3d  s5(x, tokenize =
0370: 20 70 6f 72 74 65 72 29 3b 0a 20 20 44 52 4f 50   porter);.  DROP
0380: 20 54 41 42 4c 45 20 66 74 31 3b 0a 7d 0a 64 6f   TABLE ft1;.}.do
0390: 5f 65 78 65 63 73 71 6c 5f 74 65 73 74 20 31 2e  _execsql_test 1.
03a0: 33 20 7b 0a 20 20 43 52 45 41 54 45 20 56 49 52  3 {.  CREATE VIR
03b0: 54 55 41 4c 20 54 41 42 4c 45 20 66 74 31 20 55  TUAL TABLE ft1 U
03c0: 53 49 4e 47 20 66 74 73 35 28 78 2c 20 74 6f 6b  SING fts5(x, tok
03d0: 65 6e 69 7a 65 20 3d 20 27 70 6f 72 74 65 72 27  enize = 'porter'
03e0: 29 3b 0a 20 20 44 52 4f 50 20 54 41 42 4c 45 20  );.  DROP TABLE 
03f0: 66 74 31 3b 0a 7d 0a 64 6f 5f 65 78 65 63 73 71  ft1;.}.do_execsq
0400: 6c 5f 74 65 73 74 20 31 2e 34 20 7b 0a 20 20 43  l_test 1.4 {.  C
0410: 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54 41  REATE VIRTUAL TA
0420: 42 4c 45 20 66 74 31 20 55 53 49 4e 47 20 66 74  BLE ft1 USING ft
0430: 73 35 28 78 2c 20 74 6f 6b 65 6e 69 7a 65 20 3d  s5(x, tokenize =
0440: 20 27 70 6f 72 74 65 72 20 61 73 63 69 69 27 29   'porter ascii')
0450: 3b 0a 20 20 44 52 4f 50 20 54 41 42 4c 45 20 66  ;.  DROP TABLE f
0460: 74 31 3b 0a 7d 0a 0a 64 6f 5f 63 61 74 63 68 73  t1;.}..do_catchs
0470: 71 6c 5f 74 65 73 74 20 31 2e 35 20 7b 0a 20 20  ql_test 1.5 {.  
0480: 43 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54  CREATE VIRTUAL T
0490: 41 42 4c 45 20 66 74 31 20 55 53 49 4e 47 20 66  ABLE ft1 USING f
04a0: 74 73 35 28 78 2c 20 74 6f 6b 65 6e 69 7a 65 20  ts5(x, tokenize 
04b0: 3d 20 27 6e 6f 73 75 63 68 27 29 3b 0a 7d 20 7b  = 'nosuch');.} {
04c0: 31 20 7b 6e 6f 20 73 75 63 68 20 74 6f 6b 65 6e  1 {no such token
04d0: 69 7a 65 72 3a 20 6e 6f 73 75 63 68 7d 7d 0a 0a  izer: nosuch}}..
04e0: 64 6f 5f 63 61 74 63 68 73 71 6c 5f 74 65 73 74  do_catchsql_test
04f0: 20 31 2e 36 20 7b 0a 20 20 43 52 45 41 54 45 20   1.6 {.  CREATE 
0500: 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 66 74  VIRTUAL TABLE ft
0510: 31 20 55 53 49 4e 47 20 66 74 73 35 28 78 2c 20  1 USING fts5(x, 
0520: 74 6f 6b 65 6e 69 7a 65 20 3d 20 27 70 6f 72 74  tokenize = 'port
0530: 65 72 20 6e 6f 73 75 63 68 27 29 3b 0a 7d 20 7b  er nosuch');.} {
0540: 31 20 7b 65 72 72 6f 72 20 69 6e 20 74 6f 6b 65  1 {error in toke
0550: 6e 69 7a 65 72 20 63 6f 6e 73 74 72 75 63 74 6f  nizer constructo
0560: 72 7d 7d 0a 0a 64 6f 5f 65 78 65 63 73 71 6c 5f  r}}..do_execsql_
0570: 74 65 73 74 20 32 2e 30 20 7b 0a 20 20 43 52 45  test 2.0 {.  CRE
0580: 41 54 45 20 56 49 52 54 55 41 4c 20 54 41 42 4c  ATE VIRTUAL TABL
0590: 45 20 66 74 31 20 55 53 49 4e 47 20 66 74 73 35  E ft1 USING fts5
05a0: 28 78 2c 20 74 6f 6b 65 6e 69 7a 65 3d 70 6f 72  (x, tokenize=por
05b0: 74 65 72 29 3b 0a 20 20 49 4e 53 45 52 54 20 49  ter);.  INSERT I
05c0: 4e 54 4f 20 66 74 31 20 56 41 4c 55 45 53 28 27  NTO ft1 VALUES('
05d0: 65 6d 62 65 64 64 65 64 20 64 61 74 61 62 61 73  embedded databas
05e0: 65 73 27 29 3b 0a 7d 0a 64 6f 5f 65 78 65 63 73  es');.}.do_execs
05f0: 71 6c 5f 74 65 73 74 20 32 2e 31 20 7b 20 53 45  ql_test 2.1 { SE
0600: 4c 45 43 54 20 72 6f 77 69 64 20 46 52 4f 4d 20  LECT rowid FROM 
0610: 66 74 31 20 57 48 45 52 45 20 66 74 31 20 4d 41  ft1 WHERE ft1 MA
0620: 54 43 48 20 27 65 6d 62 65 64 64 69 6e 67 27 20  TCH 'embedding' 
0630: 7d 20 31 0a 64 6f 5f 65 78 65 63 73 71 6c 5f 74  } 1.do_execsql_t
0640: 65 73 74 20 32 2e 32 20 7b 20 53 45 4c 45 43 54  est 2.2 { SELECT
0650: 20 72 6f 77 69 64 20 46 52 4f 4d 20 66 74 31 20   rowid FROM ft1 
0660: 57 48 45 52 45 20 66 74 31 20 4d 41 54 43 48 20  WHERE ft1 MATCH 
0670: 27 64 61 74 61 62 61 73 65 27 20 7d 20 31 0a 64  'database' } 1.d
0680: 6f 5f 65 78 65 63 73 71 6c 5f 74 65 73 74 20 32  o_execsql_test 2
0690: 2e 33 20 7b 20 0a 20 20 53 45 4c 45 43 54 20 72  .3 { .  SELECT r
06a0: 6f 77 69 64 20 46 52 4f 4d 20 66 74 31 20 57 48  owid FROM ft1 WH
06b0: 45 52 45 20 66 74 31 20 4d 41 54 43 48 20 27 64  ERE ft1 MATCH 'd
06c0: 61 74 61 62 61 73 65 20 65 6d 62 65 64 64 69 6e  atabase embeddin
06d0: 67 27 20 0a 7d 20 31 0a 0a 70 72 6f 63 20 74 63  g' .} 1..proc tc
06e0: 6c 5f 63 72 65 61 74 65 20 7b 61 72 67 73 7d 20  l_create {args} 
06f0: 7b 20 0a 20 20 73 65 74 20 3a 3a 74 61 72 67 73  { .  set ::targs
0700: 20 24 61 72 67 73 0a 20 20 65 72 72 6f 72 20 22   $args.  error "
0710: 66 61 69 6c 65 64 22 20 0a 7d 0a 73 71 6c 69 74  failed" .}.sqlit
0720: 65 33 5f 66 74 73 35 5f 63 72 65 61 74 65 5f 74  e3_fts5_create_t
0730: 6f 6b 65 6e 69 7a 65 72 20 64 62 20 74 63 6c 20  okenizer db tcl 
0740: 74 63 6c 5f 63 72 65 61 74 65 0a 0a 66 6f 72 65  tcl_create..fore
0750: 61 63 68 20 7b 74 6e 20 64 69 72 65 63 74 69 76  ach {tn directiv
0760: 65 20 65 78 70 65 63 74 65 64 7d 20 7b 0a 20 20  e expected} {.  
0770: 31 20 7b 74 6f 6b 65 6e 69 7a 65 3d 27 74 63 6c  1 {tokenize='tcl
0780: 20 61 20 62 20 63 27 7d 20 20 20 20 20 20 20 20   a b c'}        
0790: 20 20 20 20 20 7b 61 20 62 20 63 7d 0a 20 20 32       {a b c}.  2
07a0: 20 7b 74 6f 6b 65 6e 69 7a 65 3d 27 74 63 6c 20   {tokenize='tcl 
07b0: 27 27 64 27 27 20 27 27 65 27 27 20 27 27 66 27  ''d'' ''e'' ''f'
07c0: 27 27 7d 20 7b 64 20 65 20 66 7d 0a 20 20 33 20  ''} {d e f}.  3 
07d0: 7b 74 6f 6b 65 6e 69 7a 65 3d 22 74 63 6c 20 27  {tokenize="tcl '
07e0: 67 27 20 27 68 27 20 27 69 27 22 7d 20 20 20 20  g' 'h' 'i'"}    
07f0: 20 20 20 7b 67 20 68 20 69 7d 0a 20 20 34 20 7b     {g h i}.  4 {
0800: 74 6f 6b 65 6e 69 7a 65 20 3d 20 74 63 6c 7d 20  tokenize = tcl} 
0810: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0820: 20 20 7b 7d 0a 7d 20 7b 0a 20 20 64 6f 5f 63 61    {}.} {.  do_ca
0830: 74 63 68 73 71 6c 5f 74 65 73 74 20 33 2e 24 74  tchsql_test 3.$t
0840: 6e 2e 31 20 22 0a 20 20 20 20 43 52 45 41 54 45  n.1 ".    CREATE
0850: 20 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 66   VIRTUAL TABLE f
0860: 74 32 20 55 53 49 4e 47 20 66 74 73 35 28 78 2c  t2 USING fts5(x,
0870: 20 24 64 69 72 65 63 74 69 76 65 29 0a 20 20 22   $directive).  "
0880: 20 7b 31 20 7b 65 72 72 6f 72 20 69 6e 20 74 6f   {1 {error in to
0890: 6b 65 6e 69 7a 65 72 20 63 6f 6e 73 74 72 75 63  kenizer construc
08a0: 74 6f 72 7d 7d 0a 20 20 64 6f 5f 74 65 73 74 20  tor}}.  do_test 
08b0: 33 2e 24 74 6e 2e 32 20 7b 20 73 65 74 20 3a 3a  3.$tn.2 { set ::
08c0: 74 61 72 67 73 20 7d 20 24 65 78 70 65 63 74 65  targs } $expecte
08d0: 64 0a 7d 0a 0a 64 6f 5f 63 61 74 63 68 73 71 6c  d.}..do_catchsql
08e0: 5f 74 65 73 74 20 34 2e 31 20 7b 0a 20 20 43 52  _test 4.1 {.  CR
08f0: 45 41 54 45 20 56 49 52 54 55 41 4c 20 54 41 42  EATE VIRTUAL TAB
0900: 4c 45 20 66 74 32 20 55 53 49 4e 47 20 66 74 73  LE ft2 USING fts
0910: 35 28 78 2c 20 74 6f 6b 65 6e 69 7a 65 20 3d 20  5(x, tokenize = 
0920: 74 63 6c 20 61 62 63 29 3b 0a 7d 20 7b 31 20 7b  tcl abc);.} {1 {
0930: 70 61 72 73 65 20 65 72 72 6f 72 20 69 6e 20 22  parse error in "
0940: 74 6f 6b 65 6e 69 7a 65 20 3d 20 74 63 6c 20 61  tokenize = tcl a
0950: 62 63 22 7d 7d 0a 64 6f 5f 63 61 74 63 68 73 71  bc"}}.do_catchsq
0960: 6c 5f 74 65 73 74 20 34 2e 32 20 7b 0a 20 20 43  l_test 4.2 {.  C
0970: 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54 41  REATE VIRTUAL TA
0980: 42 4c 45 20 66 74 32 20 55 53 49 4e 47 20 66 74  BLE ft2 USING ft
0990: 73 35 28 78 20 79 29 0a 7d 20 7b 31 20 7b 75 6e  s5(x y).} {1 {un
09a0: 72 65 63 6f 67 6e 69 7a 65 64 20 63 6f 6c 75 6d  recognized colum
09b0: 6e 20 6f 70 74 69 6f 6e 3a 20 79 7d 7d 0a 0a 23  n option: y}}..#
09c0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
09d0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
09e0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
09f0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0a00: 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 23 20 54 65 73 74  ---------.# Test
0a10: 20 74 68 65 20 22 73 65 70 61 72 61 74 6f 72 73   the "separators
0a20: 22 20 61 6e 64 20 22 74 6f 6b 65 6e 63 68 61 72  " and "tokenchar
0a30: 73 22 20 6f 70 74 69 6f 6e 73 20 61 20 62 69 74  s" options a bit
0a40: 2e 0a 23 0a 66 6f 72 65 61 63 68 20 7b 74 6e 20  ..#.foreach {tn 
0a50: 74 6f 6b 65 6e 69 7a 65 72 7d 20 7b 31 20 61 73  tokenizer} {1 as
0a60: 63 69 69 20 32 20 75 6e 69 63 6f 64 65 36 31 7d  cii 2 unicode61}
0a70: 20 7b 0a 20 20 72 65 73 65 74 5f 64 62 0a 20 20   {.  reset_db.  
0a80: 73 65 74 20 54 20 22 24 74 6f 6b 65 6e 69 7a 65  set T "$tokenize
0a90: 72 20 74 6f 6b 65 6e 63 68 61 72 73 20 27 2c 2e  r tokenchars ',.
0aa0: 3a 27 20 73 65 70 61 72 61 74 6f 72 73 20 27 78  :' separators 'x
0ab0: 79 7a 27 22 0a 20 20 65 78 65 63 73 71 6c 20 22  yz'".  execsql "
0ac0: 43 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54  CREATE VIRTUAL T
0ad0: 41 42 4c 45 20 74 31 20 55 53 49 4e 47 20 66 74  ABLE t1 USING ft
0ae0: 73 35 28 78 2c 20 74 6f 6b 65 6e 69 7a 65 20 3d  s5(x, tokenize =
0af0: 20 5c 22 24 54 5c 22 29 22 0a 20 20 64 6f 5f 65   \"$T\")".  do_e
0b00: 78 65 63 73 71 6c 5f 74 65 73 74 20 35 2e 24 74  xecsql_test 5.$t
0b10: 6e 2e 31 20 7b 0a 20 20 20 20 49 4e 53 45 52 54  n.1 {.    INSERT
0b20: 20 49 4e 54 4f 20 74 31 20 56 41 4c 55 45 53 28   INTO t1 VALUES(
0b30: 27 61 62 63 78 64 65 66 79 67 68 69 7a 6a 6b 6c  'abcxdefyghizjkl
0b40: 2e 6d 6e 6f 2c 70 71 72 3a 73 74 75 2f 76 77 78  .mno,pqr:stu/vwx
0b50: 2b 79 7a 27 29 3b 0a 20 20 7d 0a 20 20 66 6f 72  +yz');.  }.  for
0b60: 65 61 63 68 20 7b 74 6e 32 20 74 6f 6b 65 6e 20  each {tn2 token 
0b70: 72 65 73 7d 20 7b 0a 20 20 20 20 31 20 61 62 63  res} {.    1 abc
0b80: 20 31 20 20 20 20 20 32 20 64 65 66 20 31 20 20   1     2 def 1  
0b90: 20 20 20 33 20 67 68 69 20 31 20 20 20 20 34 20     3 ghi 1    4 
0ba0: 6a 6b 6c 20 7b 7d 0a 20 20 20 20 35 20 6d 6e 6f  jkl {}.    5 mno
0bb0: 20 7b 7d 20 20 20 20 36 20 70 71 72 20 7b 7d 20   {}    6 pqr {} 
0bc0: 20 20 20 37 20 73 74 75 20 7b 7d 20 20 20 38 20     7 stu {}   8 
0bd0: 6a 6b 6c 2e 6d 6e 6f 2c 70 71 72 3a 73 74 75 20  jkl.mno,pqr:stu 
0be0: 31 0a 20 20 20 20 39 20 76 77 20 20 31 0a 20 20  1.    9 vw  1.  
0bf0: 7d 20 7b 0a 20 20 20 20 64 6f 5f 65 78 65 63 73  } {.    do_execs
0c00: 71 6c 5f 74 65 73 74 20 35 2e 24 74 6e 2e 32 2e  ql_test 5.$tn.2.
0c10: 24 74 6e 32 20 22 0a 20 20 20 20 20 20 53 45 4c  $tn2 ".      SEL
0c20: 45 43 54 20 72 6f 77 69 64 20 46 52 4f 4d 20 74  ECT rowid FROM t
0c30: 31 20 57 48 45 52 45 20 74 31 20 4d 41 54 43 48  1 WHERE t1 MATCH
0c40: 20 27 5c 22 24 74 6f 6b 65 6e 5c 22 27 0a 20 20   '\"$token\"'.  
0c50: 20 20 22 20 24 72 65 73 0a 20 20 7d 0a 7d 0a 0a    " $res.  }.}..
0c60: 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  #---------------
0c70: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0c80: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0c90: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0ca0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 23 20 4d 69 73  ----------.# Mis
0cb0: 63 65 6c 6c 61 6e 65 6f 75 73 20 74 65 73 74 73  cellaneous tests
0cc0: 20 66 6f 72 20 74 68 65 20 61 73 63 69 69 20 74   for the ascii t
0cd0: 6f 6b 65 6e 69 7a 65 72 2e 0a 23 0a 23 20 35 2e  okenizer..#.# 5.
0ce0: 31 2e 2a 3a 20 54 65 73 74 20 74 68 61 74 20 74  1.*: Test that t
0cf0: 68 65 20 61 73 63 69 69 20 74 6f 6b 65 6e 69 7a  he ascii tokeniz
0d00: 65 72 20 69 67 6e 6f 72 65 73 20 6e 6f 6e 2d 41  er ignores non-A
0d10: 53 43 49 49 20 63 68 61 72 61 63 74 65 72 73 20  SCII characters 
0d20: 69 6e 20 74 68 65 0a 23 20 20 20 20 20 20 20 20  in the.#        
0d30: 27 73 65 70 61 72 61 74 6f 72 73 27 20 6f 70 74  'separators' opt
0d40: 69 6f 6e 2e 20 42 75 74 20 75 6e 69 63 6f 64 65  ion. But unicode
0d50: 36 31 20 64 6f 65 73 20 6e 6f 74 2e 0a 23 0a 23  61 does not..#.#
0d60: 20 35 2e 32 2e 2a 3a 20 41 6e 20 6f 70 74 69 6f   5.2.*: An optio
0d70: 6e 20 77 69 74 68 6f 75 74 20 61 6e 20 61 72 67  n without an arg
0d80: 75 6d 65 6e 74 20 69 73 20 61 6e 20 65 72 72 6f  ument is an erro
0d90: 72 2e 0a 23 0a 0a 64 6f 5f 74 65 73 74 20 35 2e  r..#..do_test 5.
0da0: 31 2e 31 20 7b 0a 20 20 65 78 65 63 73 71 6c 20  1.1 {.  execsql 
0db0: 22 0a 20 20 20 20 43 52 45 41 54 45 20 56 49 52  ".    CREATE VIR
0dc0: 54 55 41 4c 20 54 41 42 4c 45 20 61 31 20 55 53  TUAL TABLE a1 US
0dd0: 49 4e 47 20 66 74 73 35 28 78 2c 20 74 6f 6b 65  ING fts5(x, toke
0de0: 6e 69 7a 65 3d 60 61 73 63 69 69 20 73 65 70 61  nize=`ascii sepa
0df0: 72 61 74 6f 72 73 20 27 5c 75 31 32 33 34 27 60  rators '\u1234'`
0e00: 29 3b 0a 20 20 20 20 49 4e 53 45 52 54 20 49 4e  );.    INSERT IN
0e10: 54 4f 20 61 31 20 56 41 4c 55 45 53 28 27 61 62  TO a1 VALUES('ab
0e20: 63 5c 75 31 32 33 34 64 65 66 27 29 3b 0a 20 20  c\u1234def');.  
0e30: 22 0a 20 20 65 78 65 63 73 71 6c 20 7b 20 53 45  ".  execsql { SE
0e40: 4c 45 43 54 20 72 6f 77 69 64 20 46 52 4f 4d 20  LECT rowid FROM 
0e50: 61 31 20 57 48 45 52 45 20 61 31 20 4d 41 54 43  a1 WHERE a1 MATC
0e60: 48 20 27 64 65 66 27 20 7d 20 0a 7d 20 7b 7d 0a  H 'def' } .} {}.
0e70: 0a 64 6f 5f 74 65 73 74 20 35 2e 31 2e 32 20 7b  .do_test 5.1.2 {
0e80: 0a 20 20 65 78 65 63 73 71 6c 20 22 0a 20 20 20  .  execsql ".   
0e90: 20 43 52 45 41 54 45 20 56 49 52 54 55 41 4c 20   CREATE VIRTUAL 
0ea0: 54 41 42 4c 45 20 61 32 20 55 53 49 4e 47 20 66  TABLE a2 USING f
0eb0: 74 73 35 28 0a 20 20 20 20 20 20 20 20 78 2c 20  ts5(.        x, 
0ec0: 74 6f 6b 65 6e 69 7a 65 3d 60 75 6e 69 63 6f 64  tokenize=`unicod
0ed0: 65 36 31 20 73 65 70 61 72 61 74 6f 72 73 20 27  e61 separators '
0ee0: 5c 75 31 32 33 34 27 60 29 3b 0a 20 20 20 20 49  \u1234'`);.    I
0ef0: 4e 53 45 52 54 20 49 4e 54 4f 20 61 32 20 56 41  NSERT INTO a2 VA
0f00: 4c 55 45 53 28 27 61 62 63 5c 75 31 32 33 34 64  LUES('abc\u1234d
0f10: 65 66 27 29 3b 0a 20 20 22 0a 20 20 65 78 65 63  ef');.  ".  exec
0f20: 73 71 6c 20 7b 20 53 45 4c 45 43 54 20 72 6f 77  sql { SELECT row
0f30: 69 64 20 46 52 4f 4d 20 61 32 20 57 48 45 52 45  id FROM a2 WHERE
0f40: 20 61 32 20 4d 41 54 43 48 20 27 64 65 66 27 20   a2 MATCH 'def' 
0f50: 7d 20 0a 7d 20 7b 31 7d 0a 0a 64 6f 5f 63 61 74  } .} {1}..do_cat
0f60: 63 68 73 71 6c 5f 74 65 73 74 20 35 2e 32 20 7b  chsql_test 5.2 {
0f70: 0a 20 20 43 52 45 41 54 45 20 56 49 52 54 55 41  .  CREATE VIRTUA
0f80: 4c 20 54 41 42 4c 45 20 61 33 20 55 53 49 4e 47  L TABLE a3 USING
0f90: 20 66 74 73 35 28 78 2c 20 79 2c 20 74 6f 6b 65   fts5(x, y, toke
0fa0: 6e 69 7a 65 20 3d 20 27 61 73 63 69 69 20 74 6f  nize = 'ascii to
0fb0: 6b 65 6e 63 68 61 72 73 27 29 3b 0a 7d 20 7b 31  kenchars');.} {1
0fc0: 20 7b 65 72 72 6f 72 20 69 6e 20 74 6f 6b 65 6e   {error in token
0fd0: 69 7a 65 72 20 63 6f 6e 73 74 72 75 63 74 6f 72  izer constructor
0fe0: 7d 7d 0a 64 6f 5f 63 61 74 63 68 73 71 6c 5f 74  }}.do_catchsql_t
0ff0: 65 73 74 20 35 2e 33 20 7b 0a 20 20 43 52 45 41  est 5.3 {.  CREA
1000: 54 45 20 56 49 52 54 55 41 4c 20 54 41 42 4c 45  TE VIRTUAL TABLE
1010: 20 61 33 20 55 53 49 4e 47 20 66 74 73 35 28 78   a3 USING fts5(x
1020: 2c 20 79 2c 20 74 6f 6b 65 6e 69 7a 65 20 3d 20  , y, tokenize = 
1030: 27 61 73 63 69 69 20 6f 70 74 20 61 72 67 27 29  'ascii opt arg')
1040: 3b 0a 7d 20 7b 31 20 7b 65 72 72 6f 72 20 69 6e  ;.} {1 {error in
1050: 20 74 6f 6b 65 6e 69 7a 65 72 20 63 6f 6e 73 74   tokenizer const
1060: 72 75 63 74 6f 72 7d 7d 0a 0a 23 2d 2d 2d 2d 2d  ructor}}..#-----
1070: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1080: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1090: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
10a0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
10b0: 2d 2d 2d 2d 0a 23 20 54 65 73 74 20 74 68 61 74  ----.# Test that
10c0: 20 74 68 65 20 41 53 43 49 49 20 61 6e 64 20 75   the ASCII and u
10d0: 6e 69 63 6f 64 65 36 31 20 74 6f 6b 65 6e 69 7a  nicode61 tokeniz
10e0: 65 72 73 20 62 6f 74 68 20 68 61 6e 64 6c 65 20  ers both handle 
10f0: 53 51 4c 49 54 45 5f 44 4f 4e 45 20 0a 23 20 63  SQLITE_DONE .# c
1100: 6f 72 72 65 63 74 6c 79 2e 0a 23 0a 0a 70 72 6f  orrectly..#..pro
1110: 63 20 74 65 73 74 5f 74 6f 6b 65 6e 5f 63 62 20  c test_token_cb 
1120: 7b 76 61 72 6e 61 6d 65 20 74 6f 6b 65 6e 20 69  {varname token i
1130: 53 74 61 72 74 20 69 45 6e 64 7d 20 7b 0a 20 20  Start iEnd} {.  
1140: 75 70 76 61 72 20 24 76 61 72 6e 61 6d 65 20 76  upvar $varname v
1150: 61 72 0a 20 20 6c 61 70 70 65 6e 64 20 76 61 72  ar.  lappend var
1160: 20 24 74 6f 6b 65 6e 0a 20 20 69 66 20 7b 5b 6c   $token.  if {[l
1170: 6c 65 6e 67 74 68 20 24 76 61 72 5d 3d 3d 33 7d  length $var]==3}
1180: 20 7b 20 72 65 74 75 72 6e 20 22 53 51 4c 49 54   { return "SQLIT
1190: 45 5f 44 4f 4e 45 22 20 7d 0a 20 20 72 65 74 75  E_DONE" }.  retu
11a0: 72 6e 20 22 53 51 4c 49 54 45 5f 4f 4b 22 0a 7d  rn "SQLITE_OK".}
11b0: 0a 0a 70 72 6f 63 20 74 6f 6b 65 6e 69 7a 65 20  ..proc tokenize 
11c0: 7b 63 6d 64 7d 20 7b 0a 20 20 73 65 74 20 72 65  {cmd} {.  set re
11d0: 73 20 5b 6c 69 73 74 5d 0a 20 20 24 63 6d 64 20  s [list].  $cmd 
11e0: 78 54 6f 6b 65 6e 69 7a 65 20 5b 24 63 6d 64 20  xTokenize [$cmd 
11f0: 78 43 6f 6c 75 6d 6e 54 65 78 74 20 30 5d 20 5b  xColumnText 0] [
1200: 6c 69 73 74 20 74 65 73 74 5f 74 6f 6b 65 6e 5f  list test_token_
1210: 63 62 20 72 65 73 5d 0a 20 20 73 65 74 20 72 65  cb res].  set re
1220: 73 0a 7d 0a 73 71 6c 69 74 65 33 5f 66 74 73 35  s.}.sqlite3_fts5
1230: 5f 63 72 65 61 74 65 5f 66 75 6e 63 74 69 6f 6e  _create_function
1240: 20 64 62 20 74 6f 6b 65 6e 69 7a 65 20 74 6f 6b   db tokenize tok
1250: 65 6e 69 7a 65 0a 0a 64 6f 5f 65 78 65 63 73 71  enize..do_execsq
1260: 6c 5f 74 65 73 74 20 36 2e 30 20 7b 0a 20 20 43  l_test 6.0 {.  C
1270: 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54 41  REATE VIRTUAL TA
1280: 42 4c 45 20 78 31 20 55 53 49 4e 47 20 66 74 73  BLE x1 USING fts
1290: 35 28 61 2c 20 74 6f 6b 65 6e 69 7a 65 3d 61 73  5(a, tokenize=as
12a0: 63 69 69 29 3b 0a 20 20 49 4e 53 45 52 54 20 49  cii);.  INSERT I
12b0: 4e 54 4f 20 78 31 20 56 41 4c 55 45 53 28 27 71  NTO x1 VALUES('q
12c0: 20 77 20 65 20 72 20 74 20 79 27 29 3b 0a 20 20   w e r t y');.  
12d0: 49 4e 53 45 52 54 20 49 4e 54 4f 20 78 31 20 56  INSERT INTO x1 V
12e0: 41 4c 55 45 53 28 27 79 20 74 20 72 20 65 20 77  ALUES('y t r e w
12f0: 20 71 27 29 3b 0a 20 20 53 45 4c 45 43 54 20 74   q');.  SELECT t
1300: 6f 6b 65 6e 69 7a 65 28 78 31 29 20 46 52 4f 4d  okenize(x1) FROM
1310: 20 78 31 20 57 48 45 52 45 20 78 31 20 4d 41 54   x1 WHERE x1 MAT
1320: 43 48 20 27 65 20 41 4e 44 20 72 27 3b 0a 7d 20  CH 'e AND r';.} 
1330: 7b 0a 20 20 7b 71 20 77 20 65 7d 20 7b 79 20 74  {.  {q w e} {y t
1340: 20 72 7d 0a 7d 0a 0a 64 6f 5f 65 78 65 63 73 71   r}.}..do_execsq
1350: 6c 5f 74 65 73 74 20 36 2e 31 20 7b 0a 20 20 43  l_test 6.1 {.  C
1360: 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54 41  REATE VIRTUAL TA
1370: 42 4c 45 20 78 32 20 55 53 49 4e 47 20 66 74 73  BLE x2 USING fts
1380: 35 28 61 2c 20 74 6f 6b 65 6e 69 7a 65 3d 75 6e  5(a, tokenize=un
1390: 69 63 6f 64 65 36 31 29 3b 0a 20 20 49 4e 53 45  icode61);.  INSE
13a0: 52 54 20 49 4e 54 4f 20 78 32 20 56 41 4c 55 45  RT INTO x2 VALUE
13b0: 53 28 27 71 20 77 20 65 20 72 20 74 20 79 27 29  S('q w e r t y')
13c0: 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20  ;.  INSERT INTO 
13d0: 78 32 20 56 41 4c 55 45 53 28 27 79 20 74 20 72  x2 VALUES('y t r
13e0: 20 65 20 77 20 71 27 29 3b 0a 20 20 53 45 4c 45   e w q');.  SELE
13f0: 43 54 20 74 6f 6b 65 6e 69 7a 65 28 78 32 29 20  CT tokenize(x2) 
1400: 46 52 4f 4d 20 78 32 20 57 48 45 52 45 20 78 32  FROM x2 WHERE x2
1410: 20 4d 41 54 43 48 20 27 65 20 41 4e 44 20 72 27   MATCH 'e AND r'
1420: 3b 0a 7d 20 7b 0a 20 20 7b 71 20 77 20 65 7d 20  ;.} {.  {q w e} 
1430: 7b 79 20 74 20 72 7d 0a 7d 0a 0a 0a 23 2d 2d 2d  {y t r}.}...#---
1440: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1450: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1460: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1470: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1480: 2d 2d 2d 2d 2d 2d 0a 23 20 4d 69 73 63 65 6c 6c  ------.# Miscell
1490: 61 6e 65 6f 75 73 20 74 65 73 74 73 20 66 6f 72  aneous tests for
14a0: 20 74 68 65 20 75 6e 69 63 6f 64 65 20 74 6f 6b   the unicode tok
14b0: 65 6e 69 7a 65 72 2e 0a 23 0a 64 6f 5f 63 61 74  enizer..#.do_cat
14c0: 63 68 73 71 6c 5f 74 65 73 74 20 36 2e 31 20 7b  chsql_test 6.1 {
14d0: 0a 20 20 43 52 45 41 54 45 20 56 49 52 54 55 41  .  CREATE VIRTUA
14e0: 4c 20 54 41 42 4c 45 20 61 33 20 55 53 49 4e 47  L TABLE a3 USING
14f0: 20 66 74 73 35 28 78 2c 20 79 2c 20 74 6f 6b 65   fts5(x, y, toke
1500: 6e 69 7a 65 20 3d 20 27 75 6e 69 63 6f 64 65 36  nize = 'unicode6
1510: 31 20 74 6f 6b 65 6e 63 68 61 72 73 27 29 3b 0a  1 tokenchars');.
1520: 7d 20 7b 31 20 7b 65 72 72 6f 72 20 69 6e 20 74  } {1 {error in t
1530: 6f 6b 65 6e 69 7a 65 72 20 63 6f 6e 73 74 72 75  okenizer constru
1540: 63 74 6f 72 7d 7d 0a 64 6f 5f 63 61 74 63 68 73  ctor}}.do_catchs
1550: 71 6c 5f 74 65 73 74 20 36 2e 32 20 7b 0a 20 20  ql_test 6.2 {.  
1560: 43 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54  CREATE VIRTUAL T
1570: 41 42 4c 45 20 61 33 20 55 53 49 4e 47 20 66 74  ABLE a3 USING ft
1580: 73 35 28 78 2c 20 79 2c 20 74 6f 6b 65 6e 69 7a  s5(x, y, tokeniz
1590: 65 20 3d 20 27 75 6e 69 63 6f 64 65 36 31 20 61  e = 'unicode61 a
15a0: 20 62 27 29 3b 0a 7d 20 7b 31 20 7b 65 72 72 6f   b');.} {1 {erro
15b0: 72 20 69 6e 20 74 6f 6b 65 6e 69 7a 65 72 20 63  r in tokenizer c
15c0: 6f 6e 73 74 72 75 63 74 6f 72 7d 7d 0a 64 6f 5f  onstructor}}.do_
15d0: 63 61 74 63 68 73 71 6c 5f 74 65 73 74 20 36 2e  catchsql_test 6.
15e0: 33 20 7b 0a 20 20 43 52 45 41 54 45 20 56 49 52  3 {.  CREATE VIR
15f0: 54 55 41 4c 20 54 41 42 4c 45 20 61 33 20 55 53  TUAL TABLE a3 US
1600: 49 4e 47 20 66 74 73 35 28 0a 20 20 20 20 78 2c  ING fts5(.    x,
1610: 20 79 2c 20 74 6f 6b 65 6e 69 7a 65 20 3d 20 27   y, tokenize = '
1620: 75 6e 69 63 6f 64 65 36 31 20 72 65 6d 6f 76 65  unicode61 remove
1630: 5f 64 69 61 63 72 69 74 69 63 73 20 32 27 0a 20  _diacritics 2'. 
1640: 20 29 3b 0a 7d 20 7b 31 20 7b 65 72 72 6f 72 20   );.} {1 {error 
1650: 69 6e 20 74 6f 6b 65 6e 69 7a 65 72 20 63 6f 6e  in tokenizer con
1660: 73 74 72 75 63 74 6f 72 7d 7d 0a 64 6f 5f 63 61  structor}}.do_ca
1670: 74 63 68 73 71 6c 5f 74 65 73 74 20 36 2e 34 20  tchsql_test 6.4 
1680: 7b 0a 20 20 43 52 45 41 54 45 20 56 49 52 54 55  {.  CREATE VIRTU
1690: 41 4c 20 54 41 42 4c 45 20 61 33 20 55 53 49 4e  AL TABLE a3 USIN
16a0: 47 20 66 74 73 35 28 0a 20 20 20 20 78 2c 20 79  G fts5(.    x, y
16b0: 2c 20 74 6f 6b 65 6e 69 7a 65 20 3d 20 27 75 6e  , tokenize = 'un
16c0: 69 63 6f 64 65 36 31 20 72 65 6d 6f 76 65 5f 64  icode61 remove_d
16d0: 69 61 63 72 69 74 69 63 73 20 31 30 27 0a 20 20  iacritics 10'.  
16e0: 29 3b 0a 7d 20 7b 31 20 7b 65 72 72 6f 72 20 69  );.} {1 {error i
16f0: 6e 20 74 6f 6b 65 6e 69 7a 65 72 20 63 6f 6e 73  n tokenizer cons
1700: 74 72 75 63 74 6f 72 7d 7d 0a 0a 23 2d 2d 2d 2d  tructor}}..#----
1710: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1720: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1730: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1740: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1750: 2d 2d 2d 2d 2d 0a 23 20 50 6f 72 74 65 72 20 74  -----.# Porter t
1760: 6f 6b 65 6e 69 7a 65 72 20 77 69 74 68 20 76 65  okenizer with ve
1770: 72 79 20 6c 61 72 67 65 20 74 6f 6b 65 6e 73 2e  ry large tokens.
1780: 0a 23 0a 73 65 74 20 61 20 5b 73 74 72 69 6e 67  .#.set a [string
1790: 20 72 65 70 65 61 74 20 61 20 31 30 30 5d 0a 73   repeat a 100].s
17a0: 65 74 20 62 20 5b 73 74 72 69 6e 67 20 72 65 70  et b [string rep
17b0: 65 61 74 20 62 20 35 30 30 5d 0a 73 65 74 20 63  eat b 500].set c
17c0: 20 5b 73 74 72 69 6e 67 20 72 65 70 65 61 74 20   [string repeat 
17d0: 63 20 31 30 30 30 5d 0a 64 6f 5f 65 78 65 63 73  c 1000].do_execs
17e0: 71 6c 5f 74 65 73 74 20 37 2e 30 20 7b 0a 20 20  ql_test 7.0 {.  
17f0: 43 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54  CREATE VIRTUAL T
1800: 41 42 4c 45 20 65 35 20 55 53 49 4e 47 20 66 74  ABLE e5 USING ft
1810: 73 35 28 78 2c 20 74 6f 6b 65 6e 69 7a 65 3d 70  s5(x, tokenize=p
1820: 6f 72 74 65 72 29 3b 0a 20 20 49 4e 53 45 52 54  orter);.  INSERT
1830: 20 49 4e 54 4f 20 65 35 20 56 41 4c 55 45 53 28   INTO e5 VALUES(
1840: 24 61 20 7c 7c 20 27 20 27 20 7c 7c 20 24 62 29  $a || ' ' || $b)
1850: 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20  ;.  INSERT INTO 
1860: 65 35 20 56 41 4c 55 45 53 28 24 62 20 7c 7c 20  e5 VALUES($b || 
1870: 27 20 27 20 7c 7c 20 24 63 29 3b 0a 20 20 49 4e  ' ' || $c);.  IN
1880: 53 45 52 54 20 49 4e 54 4f 20 65 35 20 56 41 4c  SERT INTO e5 VAL
1890: 55 45 53 28 24 63 20 7c 7c 20 27 20 27 20 7c 7c  UES($c || ' ' ||
18a0: 20 24 61 29 3b 0a 7d 0a 0a 64 6f 5f 65 78 65 63   $a);.}..do_exec
18b0: 73 71 6c 5f 74 65 73 74 20 37 2e 31 20 7b 53 45  sql_test 7.1 {SE
18c0: 4c 45 43 54 20 72 6f 77 69 64 20 46 52 4f 4d 20  LECT rowid FROM 
18d0: 65 35 20 57 48 45 52 45 20 65 35 20 4d 41 54 43  e5 WHERE e5 MATC
18e0: 48 20 24 61 7d 20 7b 20 31 20 33 20 7d 0a 64 6f  H $a} { 1 3 }.do
18f0: 5f 65 78 65 63 73 71 6c 5f 74 65 73 74 20 37 2e  _execsql_test 7.
1900: 32 20 7b 53 45 4c 45 43 54 20 72 6f 77 69 64 20  2 {SELECT rowid 
1910: 46 52 4f 4d 20 65 35 20 57 48 45 52 45 20 65 35  FROM e5 WHERE e5
1920: 20 4d 41 54 43 48 20 24 62 7d 20 7b 20 31 20 32   MATCH $b} { 1 2
1930: 20 7d 0a 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65   }.do_execsql_te
1940: 73 74 20 37 2e 33 20 7b 53 45 4c 45 43 54 20 72  st 7.3 {SELECT r
1950: 6f 77 69 64 20 46 52 4f 4d 20 65 35 20 57 48 45  owid FROM e5 WHE
1960: 52 45 20 65 35 20 4d 41 54 43 48 20 24 63 7d 20  RE e5 MATCH $c} 
1970: 7b 20 32 20 33 20 7d 0a 0a 23 2d 2d 2d 2d 2d 2d  { 2 3 }..#------
1980: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1990: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
19a0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
19b0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
19c0: 2d 2d 2d 0a 23 20 54 65 73 74 20 74 68 65 20 27  ---.# Test the '
19d0: 73 65 70 61 72 61 74 6f 72 73 27 20 6f 70 74 69  separators' opti
19e0: 6f 6e 20 77 69 74 68 20 74 68 65 20 75 6e 69 63  on with the unic
19f0: 6f 64 65 36 31 20 74 6f 6b 65 6e 69 7a 65 72 2e  ode61 tokenizer.
1a00: 0a 23 0a 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65  .#.do_execsql_te
1a10: 73 74 20 38 2e 31 20 7b 0a 20 20 42 45 47 49 4e  st 8.1 {.  BEGIN
1a20: 3b 0a 20 20 43 52 45 41 54 45 20 56 49 52 54 55  ;.  CREATE VIRTU
1a30: 41 4c 20 54 41 42 4c 45 20 65 36 20 55 53 49 4e  AL TABLE e6 USIN
1a40: 47 20 66 74 73 35 28 78 2c 0a 20 20 20 20 74 6f  G fts5(x,.    to
1a50: 6b 65 6e 69 7a 65 3d 22 75 6e 69 63 6f 64 65 36  kenize="unicode6
1a60: 31 20 73 65 70 61 72 61 74 6f 72 73 20 41 42 43  1 separators ABC
1a70: 44 45 46 47 48 49 4a 4b 4c 4d 4e 4f 50 51 52 53  DEFGHIJKLMNOPQRS
1a80: 54 55 56 57 58 59 5a 22 0a 20 20 29 3b 0a 20 20  TUVWXYZ".  );.  
1a90: 49 4e 53 45 52 54 20 49 4e 54 4f 20 65 36 20 56  INSERT INTO e6 V
1aa0: 41 4c 55 45 53 28 27 74 68 65 41 71 75 69 63 6b  ALUES('theAquick
1ab0: 42 62 72 6f 77 6e 43 66 6f 78 44 6a 75 6d 70 65  BbrownCfoxDjumpe
1ac0: 64 57 6f 76 65 72 58 74 68 65 59 6c 61 7a 79 5a  dWoverXtheYlazyZ
1ad0: 64 6f 67 27 29 3b 0a 20 20 43 52 45 41 54 45 20  dog');.  CREATE 
1ae0: 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 65 37  VIRTUAL TABLE e7
1af0: 20 55 53 49 4e 47 20 66 74 73 35 76 6f 63 61 62   USING fts5vocab
1b00: 28 65 36 2c 20 27 72 6f 77 27 29 3b 0a 20 20 53  (e6, 'row');.  S
1b10: 45 4c 45 43 54 20 74 65 72 6d 20 46 52 4f 4d 20  ELECT term FROM 
1b20: 65 37 3b 0a 20 20 52 4f 4c 4c 42 41 43 4b 3b 0a  e7;.  ROLLBACK;.
1b30: 7d 20 7b 0a 20 20 62 72 6f 77 6e 20 64 6f 67 20  } {.  brown dog 
1b40: 66 6f 78 20 6a 75 6d 70 65 64 20 6c 61 7a 79 20  fox jumped lazy 
1b50: 6f 76 65 72 20 71 75 69 63 6b 20 74 68 65 0a 7d  over quick the.}
1b60: 0a 0a 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65 73  ..do_execsql_tes
1b70: 74 20 38 2e 32 20 5b 73 75 62 73 74 20 7b 0a 20  t 8.2 [subst {. 
1b80: 20 42 45 47 49 4e 3b 0a 20 20 43 52 45 41 54 45   BEGIN;.  CREATE
1b90: 20 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 65   VIRTUAL TABLE e
1ba0: 36 20 55 53 49 4e 47 20 66 74 73 35 28 78 2c 0a  6 USING fts5(x,.
1bb0: 20 20 20 20 74 6f 6b 65 6e 69 7a 65 3d 22 75 6e      tokenize="un
1bc0: 69 63 6f 64 65 36 31 20 73 65 70 61 72 61 74 6f  icode61 separato
1bd0: 72 73 20 27 5c 75 30 45 30 31 5c 75 30 45 30 32  rs '\u0E01\u0E02
1be0: 5c 75 30 45 30 33 5c 75 30 45 30 34 5c 75 30 45  \u0E03\u0E04\u0E
1bf0: 30 35 5c 75 30 45 30 36 5c 75 30 45 30 37 27 22  05\u0E06\u0E07'"
1c00: 0a 20 20 29 3b 0a 20 20 49 4e 53 45 52 54 20 49  .  );.  INSERT I
1c10: 4e 54 4f 20 65 36 20 56 41 4c 55 45 53 28 27 74  NTO e6 VALUES('t
1c20: 68 65 5c 75 30 45 30 31 71 75 69 63 6b 5c 75 30  he\u0E01quick\u0
1c30: 45 30 31 62 72 6f 77 6e 5c 75 30 45 30 31 66 6f  E01brown\u0E01fo
1c40: 78 5c 75 30 45 30 31 27 20 0a 20 20 20 20 20 20  x\u0E01' .      
1c50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 7c                 |
1c60: 7c 20 27 6a 75 6d 70 65 64 5c 75 30 45 30 31 6f  | 'jumped\u0E01o
1c70: 76 65 72 5c 75 30 45 30 31 74 68 65 5c 75 30 45  ver\u0E01the\u0E
1c80: 30 31 6c 61 7a 79 5c 75 30 45 30 31 64 6f 67 27  01lazy\u0E01dog'
1c90: 0a 20 20 29 3b 0a 20 20 49 4e 53 45 52 54 20 49  .  );.  INSERT I
1ca0: 4e 54 4f 20 65 36 20 56 41 4c 55 45 53 28 27 5c  NTO e6 VALUES('\
1cb0: 75 30 45 30 38 5c 75 30 45 30 37 5c 75 30 45 30  u0E08\u0E07\u0E0
1cc0: 39 27 29 3b 0a 20 20 43 52 45 41 54 45 20 56 49  9');.  CREATE VI
1cd0: 52 54 55 41 4c 20 54 41 42 4c 45 20 65 37 20 55  RTUAL TABLE e7 U
1ce0: 53 49 4e 47 20 66 74 73 35 76 6f 63 61 62 28 65  SING fts5vocab(e
1cf0: 36 2c 20 27 72 6f 77 27 29 3b 0a 20 20 53 45 4c  6, 'row');.  SEL
1d00: 45 43 54 20 74 65 72 6d 20 46 52 4f 4d 20 65 37  ECT term FROM e7
1d10: 3b 0a 20 20 52 4f 4c 4c 42 41 43 4b 3b 0a 7d 5d  ;.  ROLLBACK;.}]
1d20: 20 5b 73 75 62 73 74 20 7b 0a 20 20 62 72 6f 77   [subst {.  brow
1d30: 6e 20 64 6f 67 20 66 6f 78 20 6a 75 6d 70 65 64  n dog fox jumped
1d40: 20 6c 61 7a 79 20 6f 76 65 72 20 71 75 69 63 6b   lazy over quick
1d50: 20 74 68 65 20 5c 75 30 45 30 38 20 5c 75 30 45   the \u0E08 \u0E
1d60: 30 39 0a 7d 5d 0a 0a 23 20 54 65 73 74 20 74 68  09.}]..# Test th
1d70: 61 74 20 74 68 65 20 70 6f 72 74 65 72 20 74 6f  at the porter to
1d80: 6b 65 6e 69 7a 65 72 20 63 6f 72 72 65 63 74 6c  kenizer correctl
1d90: 79 20 70 61 73 73 65 73 20 61 72 67 75 6d 65 6e  y passes argumen
1da0: 74 73 20 74 68 72 6f 75 67 68 20 74 6f 0a 23 20  ts through to.# 
1db0: 69 74 73 20 70 61 72 65 6e 74 20 74 6f 6b 65 6e  its parent token
1dc0: 69 7a 65 72 2e 0a 64 6f 5f 65 78 65 63 73 71 6c  izer..do_execsql
1dd0: 5f 74 65 73 74 20 38 2e 33 20 7b 0a 20 20 42 45  _test 8.3 {.  BE
1de0: 47 49 4e 3b 0a 20 20 43 52 45 41 54 45 20 56 49  GIN;.  CREATE VI
1df0: 52 54 55 41 4c 20 54 41 42 4c 45 20 65 36 20 55  RTUAL TABLE e6 U
1e00: 53 49 4e 47 20 66 74 73 35 28 78 2c 0a 20 20 20  SING fts5(x,.   
1e10: 20 74 6f 6b 65 6e 69 7a 65 3d 22 70 6f 72 74 65   tokenize="porte
1e20: 72 20 75 6e 69 63 6f 64 65 36 31 20 73 65 70 61  r unicode61 sepa
1e30: 72 61 74 6f 72 73 20 41 42 43 44 45 46 47 48 49  rators ABCDEFGHI
1e40: 4a 4b 4c 4d 4e 4f 50 51 52 53 54 55 56 57 58 59  JKLMNOPQRSTUVWXY
1e50: 5a 22 0a 20 20 29 3b 0a 20 20 49 4e 53 45 52 54  Z".  );.  INSERT
1e60: 20 49 4e 54 4f 20 65 36 20 56 41 4c 55 45 53 28   INTO e6 VALUES(
1e70: 27 74 68 65 41 71 75 69 63 6b 42 62 72 6f 77 6e  'theAquickBbrown
1e80: 43 66 6f 78 44 6a 75 6d 70 65 64 57 6f 76 65 72  CfoxDjumpedWover
1e90: 58 74 68 65 59 6c 61 7a 79 5a 64 6f 67 27 29 3b  XtheYlazyZdog');
1ea0: 0a 20 20 43 52 45 41 54 45 20 56 49 52 54 55 41  .  CREATE VIRTUA
1eb0: 4c 20 54 41 42 4c 45 20 65 37 20 55 53 49 4e 47  L TABLE e7 USING
1ec0: 20 66 74 73 35 76 6f 63 61 62 28 65 36 2c 20 27   fts5vocab(e6, '
1ed0: 72 6f 77 27 29 3b 0a 20 20 53 45 4c 45 43 54 20  row');.  SELECT 
1ee0: 74 65 72 6d 20 46 52 4f 4d 20 65 37 3b 0a 20 20  term FROM e7;.  
1ef0: 52 4f 4c 4c 42 41 43 4b 3b 0a 7d 20 7b 0a 20 20  ROLLBACK;.} {.  
1f00: 62 72 6f 77 6e 20 64 6f 67 20 66 6f 78 20 6a 75  brown dog fox ju
1f10: 6d 70 20 6c 61 7a 69 20 6f 76 65 72 20 71 75 69  mp lazi over qui
1f20: 63 6b 20 74 68 65 0a 7d 0a 0a 66 69 6e 69 73 68  ck the.}..finish
1f30: 5f 74 65 73 74 0a 0a                             _test..