/ Hex Artifact Content
Login

Artifact 01ec3fe2a7c3cfff3b4c0581b83caa11b33efa36:


0000: 23 20 32 30 31 32 20 4d 61 79 20 32 35 0a 23 0a  # 2012 May 25.#.
0010: 23 20 54 68 65 20 61 75 74 68 6f 72 20 64 69 73  # The author dis
0020: 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67 68 74  claims copyright
0030: 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63 65 20   to this source 
0040: 63 6f 64 65 2e 20 20 49 6e 20 70 6c 61 63 65 20  code.  In place 
0050: 6f 66 0a 23 20 61 20 6c 65 67 61 6c 20 6e 6f 74  of.# a legal not
0060: 69 63 65 2c 20 68 65 72 65 20 69 73 20 61 20 62  ice, here is a b
0070: 6c 65 73 73 69 6e 67 3a 0a 23 0a 23 20 20 20 20  lessing:.#.#    
0080: 4d 61 79 20 79 6f 75 20 64 6f 20 67 6f 6f 64 20  May you do good 
0090: 61 6e 64 20 6e 6f 74 20 65 76 69 6c 2e 0a 23 20  and not evil..# 
00a0: 20 20 20 4d 61 79 20 79 6f 75 20 66 69 6e 64 20     May you find 
00b0: 66 6f 72 67 69 76 65 6e 65 73 73 20 66 6f 72 20  forgiveness for 
00c0: 79 6f 75 72 73 65 6c 66 20 61 6e 64 20 66 6f 72  yourself and for
00d0: 67 69 76 65 20 6f 74 68 65 72 73 2e 0a 23 20 20  give others..#  
00e0: 20 20 4d 61 79 20 79 6f 75 20 73 68 61 72 65 20    May you share 
00f0: 66 72 65 65 6c 79 2c 20 6e 65 76 65 72 20 74 61  freely, never ta
0100: 6b 69 6e 67 20 6d 6f 72 65 20 74 68 61 6e 20 79  king more than y
0110: 6f 75 20 67 69 76 65 2e 0a 23 0a 23 2a 2a 2a 2a  ou give..#.#****
0120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 0a 23 0a 23 20 54 68 65 20 74 65  *****.#.# The te
0170: 73 74 73 20 69 6e 20 74 68 69 73 20 66 69 6c 65  sts in this file
0180: 20 66 6f 63 75 73 20 6f 6e 20 74 65 73 74 69 6e   focus on testin
0190: 67 20 74 68 65 20 22 75 6e 69 63 6f 64 65 22 20  g the "unicode" 
01a0: 46 54 53 20 74 6f 6b 65 6e 69 7a 65 72 2e 0a 23  FTS tokenizer..#
01b0: 0a 0a 73 65 74 20 74 65 73 74 64 69 72 20 5b 66  ..set testdir [f
01c0: 69 6c 65 20 64 69 72 6e 61 6d 65 20 24 61 72 67  ile dirname $arg
01d0: 76 30 5d 0a 73 6f 75 72 63 65 20 24 74 65 73 74  v0].source $test
01e0: 64 69 72 2f 74 65 73 74 65 72 2e 74 63 6c 0a 69  dir/tester.tcl.i
01f0: 66 63 61 70 61 62 6c 65 20 21 66 74 73 33 5f 75  fcapable !fts3_u
0200: 6e 69 63 6f 64 65 20 7b 20 66 69 6e 69 73 68 5f  nicode { finish_
0210: 74 65 73 74 20 3b 20 72 65 74 75 72 6e 20 7d 0a  test ; return }.
0220: 73 65 74 20 3a 3a 74 65 73 74 70 72 65 66 69 78  set ::testprefix
0230: 20 66 74 73 34 75 6e 69 63 6f 64 65 0a 0a 70 72   fts4unicode..pr
0240: 6f 63 20 64 6f 5f 75 6e 69 63 6f 64 65 5f 74 6f  oc do_unicode_to
0250: 6b 65 6e 5f 74 65 73 74 20 7b 74 6e 20 69 6e 70  ken_test {tn inp
0260: 75 74 20 72 65 73 7d 20 7b 0a 20 20 73 65 74 20  ut res} {.  set 
0270: 69 6e 70 75 74 20 5b 73 74 72 69 6e 67 20 6d 61  input [string ma
0280: 70 20 7b 27 20 27 27 7d 20 24 69 6e 70 75 74 5d  p {' ''} $input]
0290: 0a 20 20 75 70 6c 65 76 65 6c 20 5b 6c 69 73 74  .  uplevel [list
02a0: 20 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65 73 74   do_execsql_test
02b0: 20 24 74 6e 20 22 0a 20 20 20 20 53 45 4c 45 43   $tn ".    SELEC
02c0: 54 20 66 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72  T fts3_tokenizer
02d0: 5f 74 65 73 74 28 27 75 6e 69 63 6f 64 65 36 31  _test('unicode61
02e0: 27 2c 20 27 72 65 6d 6f 76 65 5f 64 69 61 63 72  ', 'remove_diacr
02f0: 69 74 69 63 73 3d 30 27 2c 20 27 24 69 6e 70 75  itics=0', '$inpu
0300: 74 27 29 3b 0a 20 20 22 20 5b 6c 69 73 74 20 5b  t');.  " [list [
0310: 6c 69 73 74 20 7b 2a 7d 24 72 65 73 5d 5d 5d 0a  list {*}$res]]].
0320: 7d 0a 0a 70 72 6f 63 20 64 6f 5f 75 6e 69 63 6f  }..proc do_unico
0330: 64 65 5f 74 6f 6b 65 6e 5f 74 65 73 74 32 20 7b  de_token_test2 {
0340: 74 6e 20 69 6e 70 75 74 20 72 65 73 7d 20 7b 0a  tn input res} {.
0350: 20 20 73 65 74 20 69 6e 70 75 74 20 5b 73 74 72    set input [str
0360: 69 6e 67 20 6d 61 70 20 7b 27 20 27 27 7d 20 24  ing map {' ''} $
0370: 69 6e 70 75 74 5d 0a 20 20 75 70 6c 65 76 65 6c  input].  uplevel
0380: 20 5b 6c 69 73 74 20 64 6f 5f 65 78 65 63 73 71   [list do_execsq
0390: 6c 5f 74 65 73 74 20 24 74 6e 20 22 0a 20 20 20  l_test $tn ".   
03a0: 20 53 45 4c 45 43 54 20 66 74 73 33 5f 74 6f 6b   SELECT fts3_tok
03b0: 65 6e 69 7a 65 72 5f 74 65 73 74 28 27 75 6e 69  enizer_test('uni
03c0: 63 6f 64 65 36 31 27 2c 20 27 24 69 6e 70 75 74  code61', '$input
03d0: 27 29 3b 0a 20 20 22 20 5b 6c 69 73 74 20 5b 6c  ');.  " [list [l
03e0: 69 73 74 20 7b 2a 7d 24 72 65 73 5d 5d 5d 0a 7d  ist {*}$res]]].}
03f0: 0a 0a 70 72 6f 63 20 64 6f 5f 75 6e 69 63 6f 64  ..proc do_unicod
0400: 65 5f 74 6f 6b 65 6e 5f 74 65 73 74 33 20 7b 74  e_token_test3 {t
0410: 6e 20 61 72 67 73 7d 20 7b 0a 20 20 73 65 74 20  n args} {.  set 
0420: 72 65 73 20 20 20 5b 6c 69 6e 64 65 78 20 24 61  res   [lindex $a
0430: 72 67 73 20 65 6e 64 5d 0a 20 20 73 65 74 20 73  rgs end].  set s
0440: 71 6c 20 22 53 45 4c 45 43 54 20 66 74 73 33 5f  ql "SELECT fts3_
0450: 74 6f 6b 65 6e 69 7a 65 72 5f 74 65 73 74 28 27  tokenizer_test('
0460: 75 6e 69 63 6f 64 65 36 31 27 22 0a 20 20 66 6f  unicode61'".  fo
0470: 72 65 61 63 68 20 61 20 5b 6c 72 61 6e 67 65 20  reach a [lrange 
0480: 24 61 72 67 73 20 30 20 65 6e 64 2d 31 5d 20 7b  $args 0 end-1] {
0490: 0a 20 20 20 20 61 70 70 65 6e 64 20 73 71 6c 20  .    append sql 
04a0: 22 2c 20 27 22 0a 20 20 20 20 61 70 70 65 6e 64  ", '".    append
04b0: 20 73 71 6c 20 5b 73 74 72 69 6e 67 20 6d 61 70   sql [string map
04c0: 20 7b 27 20 27 27 7d 20 24 61 5d 0a 20 20 20 20   {' ''} $a].    
04d0: 61 70 70 65 6e 64 20 73 71 6c 20 22 27 22 0a 20  append sql "'". 
04e0: 20 7d 0a 20 20 61 70 70 65 6e 64 20 73 71 6c 20   }.  append sql 
04f0: 22 29 22 0a 20 20 75 70 6c 65 76 65 6c 20 5b 6c  ")".  uplevel [l
0500: 69 73 74 20 64 6f 5f 65 78 65 63 73 71 6c 5f 74  ist do_execsql_t
0510: 65 73 74 20 24 74 6e 20 24 73 71 6c 20 5b 6c 69  est $tn $sql [li
0520: 73 74 20 5b 6c 69 73 74 20 7b 2a 7d 24 72 65 73  st [list {*}$res
0530: 5d 5d 5d 0a 7d 0a 0a 64 6f 5f 75 6e 69 63 6f 64  ]]].}..do_unicod
0540: 65 5f 74 6f 6b 65 6e 5f 74 65 73 74 20 31 2e 30  e_token_test 1.0
0550: 20 7b 61 20 42 20 63 20 44 7d 20 7b 30 20 61 20   {a B c D} {0 a 
0560: 61 20 31 20 62 20 42 20 32 20 63 20 63 20 33 20  a 1 b B 2 c c 3 
0570: 64 20 44 7d 0a 0a 64 6f 5f 75 6e 69 63 6f 64 65  d D}..do_unicode
0580: 5f 74 6f 6b 65 6e 5f 74 65 73 74 20 31 2e 31 20  _token_test 1.1 
0590: 22 5c 75 43 34 20 5c 75 44 36 20 5c 75 44 43 22  "\uC4 \uD6 \uDC"
05a0: 20 5c 0a 20 20 20 20 22 30 20 5c 75 45 34 20 5c   \.    "0 \uE4 \
05b0: 75 43 34 20 31 20 5c 75 46 36 20 5c 75 44 36 20  uC4 1 \uF6 \uD6 
05c0: 32 20 5c 75 46 43 20 5c 75 44 43 22 0a 0a 64 6f  2 \uFC \uDC"..do
05d0: 5f 75 6e 69 63 6f 64 65 5f 74 6f 6b 65 6e 5f 74  _unicode_token_t
05e0: 65 73 74 20 31 2e 32 20 22 78 5c 75 43 34 78 20  est 1.2 "x\uC4x 
05f0: 78 5c 75 44 36 78 20 78 5c 75 44 43 78 22 20 5c  x\uD6x x\uDCx" \
0600: 0a 20 20 20 20 22 30 20 78 5c 75 45 34 78 20 78  .    "0 x\uE4x x
0610: 5c 75 43 34 78 20 31 20 78 5c 75 46 36 78 20 78  \uC4x 1 x\uF6x x
0620: 5c 75 44 36 78 20 32 20 78 5c 75 46 43 78 20 78  \uD6x 2 x\uFCx x
0630: 5c 75 44 43 78 22 0a 0a 23 20 30 78 30 30 44 46  \uDCx"..# 0x00DF
0640: 20 69 73 20 61 20 73 6d 61 6c 6c 20 22 73 68 61   is a small "sha
0650: 72 70 20 73 22 2e 20 30 78 31 45 39 45 20 69 73  rp s". 0x1E9E is
0660: 20 61 20 63 61 70 69 74 61 6c 20 73 68 61 72 70   a capital sharp
0670: 20 73 2e 0a 64 6f 5f 75 6e 69 63 6f 64 65 5f 74   s..do_unicode_t
0680: 6f 6b 65 6e 5f 74 65 73 74 20 31 2e 33 20 22 5c  oken_test 1.3 "\
0690: 75 44 46 22 20 22 30 20 5c 75 44 46 20 5c 75 44  uDF" "0 \uDF \uD
06a0: 46 22 0a 64 6f 5f 75 6e 69 63 6f 64 65 5f 74 6f  F".do_unicode_to
06b0: 6b 65 6e 5f 74 65 73 74 20 31 2e 34 20 22 5c 75  ken_test 1.4 "\u
06c0: 31 45 39 45 22 20 22 30 20 5c 75 44 46 20 5c 75  1E9E" "0 \uDF \u
06d0: 31 45 39 45 22 0a 0a 64 6f 5f 75 6e 69 63 6f 64  1E9E"..do_unicod
06e0: 65 5f 74 6f 6b 65 6e 5f 74 65 73 74 20 31 2e 35  e_token_test 1.5
06f0: 20 22 54 68 65 20 71 75 69 63 6b 20 62 72 6f 77   "The quick brow
0700: 6e 20 66 6f 78 22 20 7b 0a 20 20 30 20 74 68 65  n fox" {.  0 the
0710: 20 54 68 65 20 31 20 71 75 69 63 6b 20 71 75 69   The 1 quick qui
0720: 63 6b 20 32 20 62 72 6f 77 6e 20 62 72 6f 77 6e  ck 2 brown brown
0730: 20 33 20 66 6f 78 20 66 6f 78 0a 7d 0a 64 6f 5f   3 fox fox.}.do_
0740: 75 6e 69 63 6f 64 65 5f 74 6f 6b 65 6e 5f 74 65  unicode_token_te
0750: 73 74 20 31 2e 36 20 22 54 68 65 5c 75 30 30 62  st 1.6 "The\u00b
0760: 66 71 75 69 63 6b 5c 75 32 32 34 65 62 72 6f 77  fquick\u224ebrow
0770: 6e 5c 75 32 32 36 33 66 6f 78 22 20 7b 0a 20 20  n\u2263fox" {.  
0780: 30 20 74 68 65 20 54 68 65 20 31 20 71 75 69 63  0 the The 1 quic
0790: 6b 20 71 75 69 63 6b 20 32 20 62 72 6f 77 6e 20  k quick 2 brown 
07a0: 62 72 6f 77 6e 20 33 20 66 6f 78 20 66 6f 78 0a  brown 3 fox fox.
07b0: 7d 0a 0a 64 6f 5f 75 6e 69 63 6f 64 65 5f 74 6f  }..do_unicode_to
07c0: 6b 65 6e 5f 74 65 73 74 32 20 31 2e 37 20 20 7b  ken_test2 1.7  {
07d0: 61 20 42 20 63 20 44 7d 20 7b 30 20 61 20 61 20  a B c D} {0 a a 
07e0: 31 20 62 20 42 20 32 20 63 20 63 20 33 20 64 20  1 b B 2 c c 3 d 
07f0: 44 7d 0a 64 6f 5f 75 6e 69 63 6f 64 65 5f 74 6f  D}.do_unicode_to
0800: 6b 65 6e 5f 74 65 73 74 32 20 31 2e 38 20 20 22  ken_test2 1.8  "
0810: 5c 75 43 34 20 5c 75 44 36 20 5c 75 44 43 22 20  \uC4 \uD6 \uDC" 
0820: 22 30 20 61 20 5c 75 43 34 20 31 20 6f 20 5c 75  "0 a \uC4 1 o \u
0830: 44 36 20 32 20 75 20 5c 75 44 43 22 0a 0a 64 6f  D6 2 u \uDC"..do
0840: 5f 75 6e 69 63 6f 64 65 5f 74 6f 6b 65 6e 5f 74  _unicode_token_t
0850: 65 73 74 32 20 31 2e 39 20 20 22 78 5c 75 43 34  est2 1.9  "x\uC4
0860: 78 20 78 5c 75 44 36 78 20 78 5c 75 44 43 78 22  x x\uD6x x\uDCx"
0870: 20 5c 0a 20 20 20 20 22 30 20 78 61 78 20 78 5c   \.    "0 xax x\
0880: 75 43 34 78 20 31 20 78 6f 78 20 78 5c 75 44 36  uC4x 1 xox x\uD6
0890: 78 20 32 20 78 75 78 20 78 5c 75 44 43 78 22 0a  x 2 xux x\uDCx".
08a0: 0a 23 20 43 68 65 63 6b 20 74 68 61 74 20 64 69  .# Check that di
08b0: 61 63 72 69 74 69 63 73 20 61 72 65 20 72 65 6d  acritics are rem
08c0: 6f 76 65 64 20 69 66 20 72 65 6d 6f 76 65 5f 64  oved if remove_d
08d0: 69 61 63 72 69 74 69 63 73 3d 31 20 69 73 20 73  iacritics=1 is s
08e0: 70 65 63 69 66 69 65 64 2e 0a 23 20 41 6e 64 20  pecified..# And 
08f0: 74 68 61 74 20 74 68 65 79 20 64 6f 20 6e 6f 74  that they do not
0900: 20 62 72 65 61 6b 20 74 6f 6b 65 6e 73 2e 0a 64   break tokens..d
0910: 6f 5f 75 6e 69 63 6f 64 65 5f 74 6f 6b 65 6e 5f  o_unicode_token_
0920: 74 65 73 74 32 20 31 2e 31 30 20 22 78 78 5c 75  test2 1.10 "xx\u
0930: 30 33 30 31 78 78 22 20 22 30 20 78 78 78 78 20  0301xx" "0 xxxx 
0940: 78 78 5c 75 33 30 31 78 78 22 0a 0a 23 20 54 69  xx\u301xx"..# Ti
0950: 74 6c 65 2d 63 61 73 65 20 6d 61 70 70 69 6e 67  tle-case mapping
0960: 73 20 77 6f 72 6b 0a 64 6f 5f 75 6e 69 63 6f 64  s work.do_unicod
0970: 65 5f 74 6f 6b 65 6e 5f 74 65 73 74 20 31 2e 31  e_token_test 1.1
0980: 31 20 22 5c 75 30 31 63 35 22 20 22 30 20 5c 75  1 "\u01c5" "0 \u
0990: 30 31 63 36 20 5c 75 30 31 63 35 22 0a 0a 23 2d  01c6 \u01c5"..#-
09a0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
09b0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
09c0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
09d0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
09e0: 2d 2d 2d 2d 2d 2d 2d 2d 0a 23 0a 73 65 74 20 64  --------.#.set d
09f0: 6f 63 73 20 5b 6c 69 73 74 20 7b 0a 20 20 45 6e  ocs [list {.  En
0a00: 68 61 6e 63 65 20 74 68 65 20 49 4e 53 45 52 54  hance the INSERT
0a10: 20 73 79 6e 74 61 78 20 74 6f 20 61 6c 6c 6f 77   syntax to allow
0a20: 20 6d 75 6c 74 69 70 6c 65 20 72 6f 77 73 20 74   multiple rows t
0a30: 6f 20 62 65 20 69 6e 73 65 72 74 65 64 20 76 69  o be inserted vi
0a40: 61 20 74 68 65 0a 20 20 56 41 4c 55 45 53 20 63  a the.  VALUES c
0a50: 6c 61 75 73 65 2e 0a 7d 20 7b 0a 20 20 45 6e 68  lause..} {.  Enh
0a60: 61 6e 63 65 20 74 68 65 20 43 52 45 41 54 45 20  ance the CREATE 
0a70: 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 63 6f  VIRTUAL TABLE co
0a80: 6d 6d 61 6e 64 20 74 6f 20 73 75 70 70 6f 72 74  mmand to support
0a90: 20 74 68 65 20 49 46 20 4e 4f 54 20 45 58 49 53   the IF NOT EXIS
0aa0: 54 53 20 63 6c 61 75 73 65 2e 0a 7d 20 7b 0a 20  TS clause..} {. 
0ab0: 20 41 64 64 65 64 20 74 68 65 20 73 71 6c 69 74   Added the sqlit
0ac0: 65 33 5f 73 74 72 69 63 6d 70 28 29 20 69 6e 74  e3_stricmp() int
0ad0: 65 72 66 61 63 65 20 61 73 20 61 20 63 6f 75 6e  erface as a coun
0ae0: 74 65 72 70 61 72 74 20 74 6f 20 73 71 6c 69 74  terpart to sqlit
0af0: 65 33 5f 73 74 72 6e 69 63 6d 70 28 29 2e 0a 7d  e3_strnicmp()..}
0b00: 20 7b 0a 20 20 41 64 64 65 64 20 74 68 65 20 73   {.  Added the s
0b10: 71 6c 69 74 65 33 5f 64 62 5f 72 65 61 64 6f 6e  qlite3_db_readon
0b20: 6c 79 28 29 20 69 6e 74 65 72 66 61 63 65 2e 0a  ly() interface..
0b30: 7d 20 7b 0a 20 20 41 64 64 65 64 20 74 68 65 20  } {.  Added the 
0b40: 53 51 4c 49 54 45 5f 46 43 4e 54 4c 5f 50 52 41  SQLITE_FCNTL_PRA
0b50: 47 4d 41 20 66 69 6c 65 20 63 6f 6e 74 72 6f 6c  GMA file control
0b60: 2c 20 67 69 76 69 6e 67 20 56 46 53 20 69 6d 70  , giving VFS imp
0b70: 6c 65 6d 65 6e 74 61 74 69 6f 6e 73 20 74 68 65  lementations the
0b80: 0a 20 20 61 62 69 6c 69 74 79 20 74 6f 20 61 64  .  ability to ad
0b90: 64 20 6e 65 77 20 50 52 41 47 4d 41 20 73 74 61  d new PRAGMA sta
0ba0: 74 65 6d 65 6e 74 73 20 6f 72 20 74 6f 20 6f 76  tements or to ov
0bb0: 65 72 72 69 64 65 20 62 75 69 6c 74 2d 69 6e 20  erride built-in 
0bc0: 50 52 41 47 4d 41 73 2e 20 20 0a 7d 20 7b 0a 20  PRAGMAs.  .} {. 
0bd0: 20 51 75 65 72 69 65 73 20 6f 66 20 74 68 65 20   Queries of the 
0be0: 66 6f 72 6d 3a 20 22 53 45 4c 45 43 54 20 6d 61  form: "SELECT ma
0bf0: 78 28 78 29 2c 20 79 20 46 52 4f 4d 20 74 61 62  x(x), y FROM tab
0c00: 6c 65 22 20 72 65 74 75 72 6e 73 20 74 68 65 20  le" returns the 
0c10: 76 61 6c 75 65 20 6f 66 20 79 20 6f 6e 0a 20 20  value of y on.  
0c20: 74 68 65 20 73 61 6d 65 20 72 6f 77 20 74 68 61  the same row tha
0c30: 74 20 63 6f 6e 74 61 69 6e 73 20 74 68 65 20 6d  t contains the m
0c40: 61 78 69 6d 75 6d 20 78 20 76 61 6c 75 65 2e 0a  aximum x value..
0c50: 7d 20 7b 0a 20 20 41 64 64 65 64 20 73 75 70 70  } {.  Added supp
0c60: 6f 72 74 20 66 6f 72 20 74 68 65 20 46 54 53 34  ort for the FTS4
0c70: 20 6c 61 6e 67 75 61 67 65 69 64 20 6f 70 74 69   languageid opti
0c80: 6f 6e 2e 0a 7d 20 7b 0a 20 20 44 6f 63 75 6d 65  on..} {.  Docume
0c90: 6e 74 65 64 20 73 75 70 70 6f 72 74 20 66 6f 72  nted support for
0ca0: 20 74 68 65 20 46 54 53 34 20 63 6f 6e 74 65 6e   the FTS4 conten
0cb0: 74 20 6f 70 74 69 6f 6e 2e 20 54 68 69 73 20 66  t option. This f
0cc0: 65 61 74 75 72 65 20 68 61 73 20 61 63 74 75 61  eature has actua
0cd0: 6c 6c 79 0a 20 20 62 65 65 6e 20 69 6e 20 74 68  lly.  been in th
0ce0: 65 20 63 6f 64 65 20 73 69 6e 63 65 20 76 65 72  e code since ver
0cf0: 73 69 6f 6e 20 33 2e 37 2e 39 20 62 75 74 20 69  sion 3.7.9 but i
0d00: 73 20 6f 6e 6c 79 20 6e 6f 77 20 63 6f 6e 73 69  s only now consi
0d10: 64 65 72 65 64 20 74 6f 20 62 65 0a 20 20 6f 66  dered to be.  of
0d20: 66 69 63 69 61 6c 6c 79 20 73 75 70 70 6f 72 74  ficially support
0d30: 65 64 2e 20 20 0a 7d 20 7b 0a 20 20 50 65 6e 64  ed.  .} {.  Pend
0d40: 69 6e 67 20 73 74 61 74 65 6d 65 6e 74 73 20 6e  ing statements n
0d50: 6f 20 6c 6f 6e 67 65 72 20 62 6c 6f 63 6b 20 52  o longer block R
0d60: 4f 4c 4c 42 41 43 4b 2e 20 49 6e 73 74 65 61 64  OLLBACK. Instead
0d70: 2c 20 74 68 65 20 70 65 6e 64 69 6e 67 20 73 74  , the pending st
0d80: 61 74 65 6d 65 6e 74 0a 20 20 77 69 6c 6c 20 72  atement.  will r
0d90: 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 41 42 4f  eturn SQLITE_ABO
0da0: 52 54 20 75 70 6f 6e 20 6e 65 78 74 20 61 63 63  RT upon next acc
0db0: 65 73 73 20 61 66 74 65 72 20 74 68 65 20 52 4f  ess after the RO
0dc0: 4c 4c 42 41 43 4b 2e 20 20 0a 7d 20 7b 0a 20 20  LLBACK.  .} {.  
0dd0: 49 6d 70 72 6f 76 65 6d 65 6e 74 73 20 74 6f 20  Improvements to 
0de0: 74 68 65 20 68 61 6e 64 6c 69 6e 67 20 6f 66 20  the handling of 
0df0: 43 53 56 20 69 6e 70 75 74 73 20 69 6e 20 74 68  CSV inputs in th
0e00: 65 20 63 6f 6d 6d 61 6e 64 2d 6c 69 6e 65 20 73  e command-line s
0e10: 68 65 6c 6c 0a 7d 20 7b 0a 20 20 46 69 78 20 61  hell.} {.  Fix a
0e20: 20 62 75 67 20 69 6e 74 72 6f 64 75 63 65 64 20   bug introduced 
0e30: 69 6e 20 76 65 72 73 69 6f 6e 20 33 2e 37 2e 31  in version 3.7.1
0e40: 30 20 74 68 61 74 20 6d 69 67 68 74 20 63 61 75  0 that might cau
0e50: 73 65 20 61 20 4c 45 46 54 20 4a 4f 49 4e 20 74  se a LEFT JOIN t
0e60: 6f 20 62 65 0a 20 20 69 6e 63 6f 72 72 65 63 74  o be.  incorrect
0e70: 6c 79 20 63 6f 6e 76 65 72 74 65 64 20 69 6e 74  ly converted int
0e80: 6f 20 61 6e 20 49 4e 4e 45 52 20 4a 4f 49 4e 20  o an INNER JOIN 
0e90: 69 66 20 74 68 65 20 57 48 45 52 45 20 63 6c 61  if the WHERE cla
0ea0: 75 73 65 20 69 6e 64 65 78 61 62 6c 65 20 74 65  use indexable te
0eb0: 72 6d 73 0a 20 20 63 6f 6e 6e 65 63 74 65 64 20  rms.  connected 
0ec0: 62 79 20 4f 52 2e 20 20 0a 7d 5d 0a 0a 73 65 74  by OR.  .}]..set
0ed0: 20 6d 61 70 28 61 29 20 5b 6c 69 73 74 20 22 5c   map(a) [list "\
0ee0: 75 30 30 43 34 22 20 22 5c 75 30 30 45 34 22 5d  u00C4" "\u00E4"]
0ef0: 20 20 3b 20 23 20 4c 41 54 49 4e 20 4c 45 54 54    ; # LATIN LETT
0f00: 45 52 20 41 20 57 49 54 48 20 44 49 41 45 52 45  ER A WITH DIAERE
0f10: 53 49 53 0a 73 65 74 20 6d 61 70 28 65 29 20 5b  SIS.set map(e) [
0f20: 6c 69 73 74 20 22 5c 75 30 30 43 42 22 20 22 5c  list "\u00CB" "\
0f30: 75 30 30 45 42 22 5d 20 20 3b 20 23 20 4c 41 54  u00EB"]  ; # LAT
0f40: 49 4e 20 4c 45 54 54 45 52 20 45 20 57 49 54 48  IN LETTER E WITH
0f50: 20 44 49 41 45 52 45 53 49 53 0a 73 65 74 20 6d   DIAERESIS.set m
0f60: 61 70 28 69 29 20 5b 6c 69 73 74 20 22 5c 75 30  ap(i) [list "\u0
0f70: 30 43 46 22 20 22 5c 75 30 30 45 46 22 5d 20 20  0CF" "\u00EF"]  
0f80: 3b 20 23 20 4c 41 54 49 4e 20 4c 45 54 54 45 52  ; # LATIN LETTER
0f90: 20 49 20 57 49 54 48 20 44 49 41 45 52 45 53 49   I WITH DIAERESI
0fa0: 53 0a 73 65 74 20 6d 61 70 28 6f 29 20 5b 6c 69  S.set map(o) [li
0fb0: 73 74 20 22 5c 75 30 30 44 36 22 20 22 5c 75 30  st "\u00D6" "\u0
0fc0: 30 46 36 22 5d 20 20 3b 20 23 20 4c 41 54 49 4e  0F6"]  ; # LATIN
0fd0: 20 4c 45 54 54 45 52 20 4f 20 57 49 54 48 20 44   LETTER O WITH D
0fe0: 49 41 45 52 45 53 49 53 0a 73 65 74 20 6d 61 70  IAERESIS.set map
0ff0: 28 75 29 20 5b 6c 69 73 74 20 22 5c 75 30 30 44  (u) [list "\u00D
1000: 43 22 20 22 5c 75 30 30 46 43 22 5d 20 20 3b 20  C" "\u00FC"]  ; 
1010: 23 20 4c 41 54 49 4e 20 4c 45 54 54 45 52 20 55  # LATIN LETTER U
1020: 20 57 49 54 48 20 44 49 41 45 52 45 53 49 53 0a   WITH DIAERESIS.
1030: 73 65 74 20 6d 61 70 28 79 29 20 5b 6c 69 73 74  set map(y) [list
1040: 20 22 5c 75 30 31 37 38 22 20 22 5c 75 30 30 46   "\u0178" "\u00F
1050: 46 22 5d 20 20 3b 20 23 20 4c 41 54 49 4e 20 4c  F"]  ; # LATIN L
1060: 45 54 54 45 52 20 59 20 57 49 54 48 20 44 49 41  ETTER Y WITH DIA
1070: 45 52 45 53 49 53 0a 73 65 74 20 6d 61 70 28 68  ERESIS.set map(h
1080: 29 20 5b 6c 69 73 74 20 22 5c 75 31 45 32 36 22  ) [list "\u1E26"
1090: 20 22 5c 75 31 45 32 37 22 5d 20 20 3b 20 23 20   "\u1E27"]  ; # 
10a0: 4c 41 54 49 4e 20 4c 45 54 54 45 52 20 48 20 57  LATIN LETTER H W
10b0: 49 54 48 20 44 49 41 45 52 45 53 49 53 0a 73 65  ITH DIAERESIS.se
10c0: 74 20 6d 61 70 28 77 29 20 5b 6c 69 73 74 20 22  t map(w) [list "
10d0: 5c 75 31 45 38 34 22 20 22 5c 75 31 45 38 35 22  \u1E84" "\u1E85"
10e0: 5d 20 20 3b 20 23 20 4c 41 54 49 4e 20 4c 45 54  ]  ; # LATIN LET
10f0: 54 45 52 20 57 20 57 49 54 48 20 44 49 41 45 52  TER W WITH DIAER
1100: 45 53 49 53 0a 73 65 74 20 6d 61 70 28 78 29 20  ESIS.set map(x) 
1110: 5b 6c 69 73 74 20 22 5c 75 31 45 38 43 22 20 22  [list "\u1E8C" "
1120: 5c 75 31 45 38 44 22 5d 20 20 3b 20 23 20 4c 41  \u1E8D"]  ; # LA
1130: 54 49 4e 20 4c 45 54 54 45 52 20 58 20 57 49 54  TIN LETTER X WIT
1140: 48 20 44 49 41 45 52 45 53 49 53 0a 66 6f 72 65  H DIAERESIS.fore
1150: 61 63 68 20 6b 20 5b 61 72 72 61 79 20 6e 61 6d  ach k [array nam
1160: 65 73 20 6d 61 70 5d 20 7b 0a 20 20 6c 61 70 70  es map] {.  lapp
1170: 65 6e 64 20 6d 61 70 70 69 6e 67 73 20 5b 73 74  end mappings [st
1180: 72 69 6e 67 20 74 6f 75 70 70 65 72 20 24 6b 5d  ring toupper $k]
1190: 20 5b 6c 69 6e 64 65 78 20 24 6d 61 70 28 24 6b   [lindex $map($k
11a0: 29 20 30 5d 20 0a 20 20 6c 61 70 70 65 6e 64 20  ) 0] .  lappend 
11b0: 6d 61 70 70 69 6e 67 73 20 24 6b 20 5b 6c 69 6e  mappings $k [lin
11c0: 64 65 78 20 24 6d 61 70 28 24 6b 29 20 31 5d 0a  dex $map($k) 1].
11d0: 7d 0a 70 72 6f 63 20 6d 61 70 64 6f 63 20 7b 64  }.proc mapdoc {d
11e0: 6f 63 7d 20 7b 20 0a 20 20 73 65 74 20 64 6f 63  oc} { .  set doc
11f0: 20 5b 72 65 67 73 75 62 20 2d 61 6c 6c 20 7b 5b   [regsub -all {[
1200: 5b 3a 73 70 61 63 65 3a 5d 5d 2b 7d 20 24 64 6f  [:space:]]+} $do
1210: 63 20 22 20 22 5d 0a 20 20 73 74 72 69 6e 67 20  c " "].  string 
1220: 6d 61 70 20 24 3a 3a 6d 61 70 70 69 6e 67 73 20  map $::mappings 
1230: 5b 73 74 72 69 6e 67 20 74 72 69 6d 20 24 64 6f  [string trim $do
1240: 63 5d 20 0a 7d 0a 0a 64 6f 5f 74 65 73 74 20 32  c] .}..do_test 2
1250: 2e 30 20 7b 0a 20 20 65 78 65 63 73 71 6c 20 7b  .0 {.  execsql {
1260: 20 43 52 45 41 54 45 20 56 49 52 54 55 41 4c 20   CREATE VIRTUAL 
1270: 54 41 42 4c 45 20 74 32 20 55 53 49 4e 47 20 66  TABLE t2 USING f
1280: 74 73 34 28 74 6f 6b 65 6e 69 7a 65 3d 75 6e 69  ts4(tokenize=uni
1290: 63 6f 64 65 36 31 2c 20 78 29 3b 20 7d 0a 20 20  code61, x); }.  
12a0: 66 6f 72 65 61 63 68 20 64 6f 63 20 24 64 6f 63  foreach doc $doc
12b0: 73 20 7b 0a 20 20 20 20 73 65 74 20 64 20 5b 6d  s {.    set d [m
12c0: 61 70 64 6f 63 20 24 64 6f 63 5d 0a 20 20 20 20  apdoc $doc].    
12d0: 65 78 65 63 73 71 6c 20 7b 20 49 4e 53 45 52 54  execsql { INSERT
12e0: 20 49 4e 54 4f 20 74 32 20 56 41 4c 55 45 53 28   INTO t2 VALUES(
12f0: 24 64 29 20 7d 0a 20 20 7d 0a 7d 20 7b 7d 0a 0a  $d) }.  }.} {}..
1300: 64 6f 5f 74 65 73 74 20 32 2e 31 20 7b 0a 20 20  do_test 2.1 {.  
1310: 73 65 74 20 71 20 5b 6d 61 70 64 6f 63 20 22 72  set q [mapdoc "r
1320: 6f 77 22 5d 0a 20 20 65 78 65 63 73 71 6c 20 7b  ow"].  execsql {
1330: 20 53 45 4c 45 43 54 20 2a 20 46 52 4f 4d 20 74   SELECT * FROM t
1340: 32 20 57 48 45 52 45 20 74 32 20 4d 41 54 43 48  2 WHERE t2 MATCH
1350: 20 24 71 20 7d 0a 7d 20 5b 6c 69 73 74 20 5b 6d   $q }.} [list [m
1360: 61 70 64 6f 63 20 7b 0a 20 20 51 75 65 72 69 65  apdoc {.  Querie
1370: 73 20 6f 66 20 74 68 65 20 66 6f 72 6d 3a 20 22  s of the form: "
1380: 53 45 4c 45 43 54 20 6d 61 78 28 78 29 2c 20 79  SELECT max(x), y
1390: 20 46 52 4f 4d 20 74 61 62 6c 65 22 20 72 65 74   FROM table" ret
13a0: 75 72 6e 73 20 74 68 65 20 76 61 6c 75 65 20 6f  urns the value o
13b0: 66 20 79 20 6f 6e 0a 20 20 74 68 65 20 73 61 6d  f y on.  the sam
13c0: 65 20 72 6f 77 20 74 68 61 74 20 63 6f 6e 74 61  e row that conta
13d0: 69 6e 73 20 74 68 65 20 6d 61 78 69 6d 75 6d 20  ins the maximum 
13e0: 78 20 76 61 6c 75 65 2e 0a 7d 5d 5d 0a 0a 66 6f  x value..}]]..fo
13f0: 72 65 61 63 68 20 7b 74 6e 20 71 75 65 72 79 20  reach {tn query 
1400: 73 6e 69 70 70 65 74 7d 20 7b 0a 20 20 32 20 22  snippet} {.  2 "
1410: 72 6f 77 22 20 7b 0a 20 20 20 20 20 2e 2e 2e 72  row" {.     ...r
1420: 65 74 75 72 6e 73 20 74 68 65 20 76 61 6c 75 65  eturns the value
1430: 20 6f 66 20 79 20 6f 6e 20 74 68 65 20 73 61 6d   of y on the sam
1440: 65 20 5b 72 6f 77 5d 20 74 68 61 74 20 63 6f 6e  e [row] that con
1450: 74 61 69 6e 73 20 0a 20 20 20 20 20 74 68 65 20  tains .     the 
1460: 6d 61 78 69 6d 75 6d 20 78 20 76 61 6c 75 65 2e  maximum x value.
1470: 0a 20 20 7d 0a 20 20 33 20 22 52 4f 57 22 20 7b  .  }.  3 "ROW" {
1480: 0a 20 20 20 20 20 2e 2e 2e 72 65 74 75 72 6e 73  .     ...returns
1490: 20 74 68 65 20 76 61 6c 75 65 20 6f 66 20 79 20   the value of y 
14a0: 6f 6e 20 74 68 65 20 73 61 6d 65 20 5b 72 6f 77  on the same [row
14b0: 5d 20 74 68 61 74 20 63 6f 6e 74 61 69 6e 73 20  ] that contains 
14c0: 0a 20 20 20 20 20 74 68 65 20 6d 61 78 69 6d 75  .     the maximu
14d0: 6d 20 78 20 76 61 6c 75 65 2e 0a 20 20 7d 0a 20  m x value..  }. 
14e0: 20 34 20 22 72 6f 6c 6c 62 61 63 6b 22 20 7b 0a   4 "rollback" {.
14f0: 20 20 20 20 20 2e 2e 2e 5b 52 4f 4c 4c 42 41 43       ...[ROLLBAC
1500: 4b 5d 2e 20 49 6e 73 74 65 61 64 2c 20 74 68 65  K]. Instead, the
1510: 20 70 65 6e 64 69 6e 67 20 73 74 61 74 65 6d 65   pending stateme
1520: 6e 74 0a 20 20 20 20 20 77 69 6c 6c 20 72 65 74  nt.     will ret
1530: 75 72 6e 20 53 51 4c 49 54 45 5f 41 42 4f 52 54  urn SQLITE_ABORT
1540: 20 75 70 6f 6e 20 6e 65 78 74 20 61 63 63 65 73   upon next acces
1550: 73 20 61 66 74 65 72 20 74 68 65 20 5b 52 4f 4c  s after the [ROL
1560: 4c 42 41 43 4b 5d 2e 0a 20 20 7d 0a 20 20 35 20  LBACK]..  }.  5 
1570: 22 72 4f 6c 6c 62 61 63 6b 22 20 7b 0a 20 20 20  "rOllback" {.   
1580: 20 20 2e 2e 2e 5b 52 4f 4c 4c 42 41 43 4b 5d 2e    ...[ROLLBACK].
1590: 20 49 6e 73 74 65 61 64 2c 20 74 68 65 20 70 65   Instead, the pe
15a0: 6e 64 69 6e 67 20 73 74 61 74 65 6d 65 6e 74 0a  nding statement.
15b0: 20 20 20 20 20 77 69 6c 6c 20 72 65 74 75 72 6e       will return
15c0: 20 53 51 4c 49 54 45 5f 41 42 4f 52 54 20 75 70   SQLITE_ABORT up
15d0: 6f 6e 20 6e 65 78 74 20 61 63 63 65 73 73 20 61  on next access a
15e0: 66 74 65 72 20 74 68 65 20 5b 52 4f 4c 4c 42 41  fter the [ROLLBA
15f0: 43 4b 5d 2e 0a 20 20 7d 0a 20 20 36 20 22 6c 61  CK]..  }.  6 "la
1600: 6e 67 2a 22 20 7b 0a 20 20 20 20 20 41 64 64 65  ng*" {.     Adde
1610: 64 20 73 75 70 70 6f 72 74 20 66 6f 72 20 74 68  d support for th
1620: 65 20 46 54 53 34 20 5b 6c 61 6e 67 75 61 67 65  e FTS4 [language
1630: 69 64 5d 20 6f 70 74 69 6f 6e 2e 0a 20 20 7d 0a  id] option..  }.
1640: 7d 20 7b 0a 20 20 64 6f 5f 74 65 73 74 20 32 2e  } {.  do_test 2.
1650: 24 74 6e 20 7b 0a 20 20 20 20 73 65 74 20 71 20  $tn {.    set q 
1660: 5b 6d 61 70 64 6f 63 20 24 71 75 65 72 79 5d 0a  [mapdoc $query].
1670: 20 20 20 20 65 78 65 63 73 71 6c 20 7b 20 53 45      execsql { SE
1680: 4c 45 43 54 20 73 6e 69 70 70 65 74 28 74 32 2c  LECT snippet(t2,
1690: 20 27 5b 27 2c 20 27 5d 27 2c 20 27 2e 2e 2e 27   '[', ']', '...'
16a0: 29 20 46 52 4f 4d 20 74 32 20 57 48 45 52 45 20  ) FROM t2 WHERE 
16b0: 74 32 20 4d 41 54 43 48 20 24 71 20 7d 0a 20 20  t2 MATCH $q }.  
16c0: 7d 20 5b 6c 69 73 74 20 5b 6d 61 70 64 6f 63 20  } [list [mapdoc 
16d0: 24 73 6e 69 70 70 65 74 5d 5d 0a 7d 0a 0a 23 2d  $snippet]].}..#-
16e0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
16f0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1700: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1710: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1720: 2d 2d 2d 2d 2d 2d 2d 2d 0a 23 20 4d 61 6b 65 20  --------.# Make 
1730: 73 75 72 65 20 74 68 65 20 75 6e 69 63 6f 64 65  sure the unicode
1740: 36 31 20 74 6f 6b 65 6e 69 7a 65 72 20 64 6f 65  61 tokenizer doe
1750: 73 20 6e 6f 74 20 63 72 61 73 68 20 69 66 20 69  s not crash if i
1760: 74 20 69 73 20 70 61 73 73 65 64 20 61 20 0a 23  t is passed a .#
1770: 20 4e 55 4c 4c 20 70 6f 69 6e 74 65 72 2e 0a 72   NULL pointer..r
1780: 65 73 65 74 5f 64 62 0a 64 6f 5f 65 78 65 63 73  eset_db.do_execs
1790: 71 6c 5f 74 65 73 74 20 33 2e 31 20 7b 0a 20 20  ql_test 3.1 {.  
17a0: 43 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54  CREATE VIRTUAL T
17b0: 41 42 4c 45 20 74 31 20 55 53 49 4e 47 20 66 74  ABLE t1 USING ft
17c0: 73 34 28 74 6f 6b 65 6e 69 7a 65 3d 75 6e 69 63  s4(tokenize=unic
17d0: 6f 64 65 36 31 2c 20 78 2c 20 79 29 3b 0a 20 20  ode61, x, y);.  
17e0: 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 31 20 56  INSERT INTO t1 V
17f0: 41 4c 55 45 53 28 4e 55 4c 4c 2c 20 27 61 20 62  ALUES(NULL, 'a b
1800: 20 63 27 29 3b 0a 7d 0a 0a 64 6f 5f 65 78 65 63   c');.}..do_exec
1810: 73 71 6c 5f 74 65 73 74 20 33 2e 32 20 7b 0a 20  sql_test 3.2 {. 
1820: 20 53 45 4c 45 43 54 20 73 6e 69 70 70 65 74 28   SELECT snippet(
1830: 74 31 2c 20 27 5b 27 2c 20 27 5d 27 29 20 46 52  t1, '[', ']') FR
1840: 4f 4d 20 74 31 20 57 48 45 52 45 20 74 31 20 4d  OM t1 WHERE t1 M
1850: 41 54 43 48 20 27 62 27 0a 7d 20 7b 7b 61 20 5b  ATCH 'b'.} {{a [
1860: 62 5d 20 63 7d 7d 0a 0a 64 6f 5f 65 78 65 63 73  b] c}}..do_execs
1870: 71 6c 5f 74 65 73 74 20 33 2e 33 20 7b 0a 20 20  ql_test 3.3 {.  
1880: 42 45 47 49 4e 3b 0a 20 20 44 45 4c 45 54 45 20  BEGIN;.  DELETE 
1890: 46 52 4f 4d 20 74 31 3b 0a 20 20 49 4e 53 45 52  FROM t1;.  INSER
18a0: 54 20 49 4e 54 4f 20 74 31 20 56 41 4c 55 45 53  T INTO t1 VALUES
18b0: 28 27 62 20 62 20 62 20 62 20 62 20 62 20 62 20  ('b b b b b b b 
18c0: 62 20 62 20 62 20 62 27 2c 20 27 62 20 62 20 62  b b b b', 'b b b
18d0: 20 62 20 62 20 62 20 62 20 62 20 62 20 62 20 62   b b b b b b b b
18e0: 20 62 20 62 27 29 3b 0a 20 20 49 4e 53 45 52 54   b b');.  INSERT
18f0: 20 49 4e 54 4f 20 74 31 20 53 45 4c 45 43 54 20   INTO t1 SELECT 
1900: 2a 20 46 52 4f 4d 20 74 31 3b 0a 20 20 49 4e 53  * FROM t1;.  INS
1910: 45 52 54 20 49 4e 54 4f 20 74 31 20 53 45 4c 45  ERT INTO t1 SELE
1920: 43 54 20 2a 20 46 52 4f 4d 20 74 31 3b 0a 20 20  CT * FROM t1;.  
1930: 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 31 20 53  INSERT INTO t1 S
1940: 45 4c 45 43 54 20 2a 20 46 52 4f 4d 20 74 31 3b  ELECT * FROM t1;
1950: 0a 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74  .  INSERT INTO t
1960: 31 20 53 45 4c 45 43 54 20 2a 20 46 52 4f 4d 20  1 SELECT * FROM 
1970: 74 31 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e 54  t1;.  INSERT INT
1980: 4f 20 74 31 20 53 45 4c 45 43 54 20 2a 20 46 52  O t1 SELECT * FR
1990: 4f 4d 20 74 31 3b 0a 20 20 49 4e 53 45 52 54 20  OM t1;.  INSERT 
19a0: 49 4e 54 4f 20 74 31 20 53 45 4c 45 43 54 20 2a  INTO t1 SELECT *
19b0: 20 46 52 4f 4d 20 74 31 3b 0a 20 20 49 4e 53 45   FROM t1;.  INSE
19c0: 52 54 20 49 4e 54 4f 20 74 31 20 53 45 4c 45 43  RT INTO t1 SELEC
19d0: 54 20 2a 20 46 52 4f 4d 20 74 31 3b 0a 20 20 49  T * FROM t1;.  I
19e0: 4e 53 45 52 54 20 49 4e 54 4f 20 74 31 20 53 45  NSERT INTO t1 SE
19f0: 4c 45 43 54 20 2a 20 46 52 4f 4d 20 74 31 3b 0a  LECT * FROM t1;.
1a00: 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 31    INSERT INTO t1
1a10: 20 53 45 4c 45 43 54 20 2a 20 46 52 4f 4d 20 74   SELECT * FROM t
1a20: 31 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e 54 4f  1;.  INSERT INTO
1a30: 20 74 31 20 53 45 4c 45 43 54 20 2a 20 46 52 4f   t1 SELECT * FRO
1a40: 4d 20 74 31 3b 0a 20 20 49 4e 53 45 52 54 20 49  M t1;.  INSERT I
1a50: 4e 54 4f 20 74 31 20 53 45 4c 45 43 54 20 2a 20  NTO t1 SELECT * 
1a60: 46 52 4f 4d 20 74 31 3b 0a 20 20 49 4e 53 45 52  FROM t1;.  INSER
1a70: 54 20 49 4e 54 4f 20 74 31 20 53 45 4c 45 43 54  T INTO t1 SELECT
1a80: 20 2a 20 46 52 4f 4d 20 74 31 3b 0a 20 20 49 4e   * FROM t1;.  IN
1a90: 53 45 52 54 20 49 4e 54 4f 20 74 31 20 53 45 4c  SERT INTO t1 SEL
1aa0: 45 43 54 20 2a 20 46 52 4f 4d 20 74 31 3b 0a 20  ECT * FROM t1;. 
1ab0: 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 31 20   INSERT INTO t1 
1ac0: 53 45 4c 45 43 54 20 2a 20 46 52 4f 4d 20 74 31  SELECT * FROM t1
1ad0: 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20  ;.  INSERT INTO 
1ae0: 74 31 20 53 45 4c 45 43 54 20 2a 20 46 52 4f 4d  t1 SELECT * FROM
1af0: 20 74 31 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e   t1;.  INSERT IN
1b00: 54 4f 20 74 31 20 53 45 4c 45 43 54 20 2a 20 46  TO t1 SELECT * F
1b10: 52 4f 4d 20 74 31 3b 0a 20 20 49 4e 53 45 52 54  ROM t1;.  INSERT
1b20: 20 49 4e 54 4f 20 74 31 20 56 41 4c 55 45 53 28   INTO t1 VALUES(
1b30: 27 61 20 62 20 63 27 2c 20 4e 55 4c 4c 29 3b 0a  'a b c', NULL);.
1b40: 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 31    INSERT INTO t1
1b50: 20 56 41 4c 55 45 53 28 27 61 20 78 20 63 27 2c   VALUES('a x c',
1b60: 20 4e 55 4c 4c 29 3b 0a 20 20 43 4f 4d 4d 49 54   NULL);.  COMMIT
1b70: 3b 0a 7d 0a 0a 64 6f 5f 65 78 65 63 73 71 6c 5f  ;.}..do_execsql_
1b80: 74 65 73 74 20 33 2e 34 20 7b 0a 20 20 53 45 4c  test 3.4 {.  SEL
1b90: 45 43 54 20 2a 20 46 52 4f 4d 20 74 31 20 57 48  ECT * FROM t1 WH
1ba0: 45 52 45 20 74 31 20 4d 41 54 43 48 20 27 61 20  ERE t1 MATCH 'a 
1bb0: 62 27 3b 0a 7d 20 7b 7b 61 20 62 20 63 7d 20 7b  b';.} {{a b c} {
1bc0: 7d 7d 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  }}..#-----------
1bd0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1be0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1bf0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
1c00: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 23  --------------.#
1c10: 0a 72 65 73 65 74 5f 64 62 0a 0a 64 6f 5f 74 65  .reset_db..do_te
1c20: 73 74 20 34 2e 31 20 7b 0a 20 20 73 65 74 20 61  st 4.1 {.  set a
1c30: 20 22 61 62 63 5c 75 46 46 46 45 64 65 66 22 0a   "abc\uFFFEdef".
1c40: 20 20 73 65 74 20 62 20 22 61 62 63 5c 75 44 38    set b "abc\uD8
1c50: 30 30 64 65 66 22 0a 20 20 73 65 74 20 63 20 22  00def".  set c "
1c60: 5c 75 46 46 46 45 64 65 66 22 0a 20 20 73 65 74  \uFFFEdef".  set
1c70: 20 64 20 22 5c 75 44 38 30 30 64 65 66 22 0a 20   d "\uD800def". 
1c80: 20 65 78 65 63 73 71 6c 20 7b 0a 20 20 20 20 43   execsql {.    C
1c90: 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54 41  REATE VIRTUAL TA
1ca0: 42 4c 45 20 74 31 20 55 53 49 4e 47 20 66 74 73  BLE t1 USING fts
1cb0: 34 28 74 6f 6b 65 6e 69 7a 65 3d 75 6e 69 63 6f  4(tokenize=unico
1cc0: 64 65 36 31 2c 20 78 29 3b 0a 20 20 20 20 49 4e  de61, x);.    IN
1cd0: 53 45 52 54 20 49 4e 54 4f 20 74 31 20 56 41 4c  SERT INTO t1 VAL
1ce0: 55 45 53 28 24 61 29 3b 0a 20 20 20 20 49 4e 53  UES($a);.    INS
1cf0: 45 52 54 20 49 4e 54 4f 20 74 31 20 56 41 4c 55  ERT INTO t1 VALU
1d00: 45 53 28 24 62 29 3b 0a 20 20 20 20 49 4e 53 45  ES($b);.    INSE
1d10: 52 54 20 49 4e 54 4f 20 74 31 20 56 41 4c 55 45  RT INTO t1 VALUE
1d20: 53 28 24 63 29 3b 0a 20 20 20 20 49 4e 53 45 52  S($c);.    INSER
1d30: 54 20 49 4e 54 4f 20 74 31 20 56 41 4c 55 45 53  T INTO t1 VALUES
1d40: 28 24 64 29 3b 0a 20 20 7d 0a 7d 20 7b 7d 0a 0a  ($d);.  }.} {}..
1d50: 64 6f 5f 74 65 73 74 20 34 2e 32 20 7b 0a 20 20  do_test 4.2 {.  
1d60: 73 65 74 20 61 20 5b 62 69 6e 61 72 79 20 66 6f  set a [binary fo
1d70: 72 6d 61 74 20 63 2a 20 7b 30 78 36 31 20 30 78  rmat c* {0x61 0x
1d80: 46 37 20 30 78 42 46 20 30 78 42 46 20 30 78 42  F7 0xBF 0xBF 0xB
1d90: 46 20 30 78 36 32 7d 5d 0a 20 20 73 65 74 20 62  F 0x62}].  set b
1da0: 20 5b 62 69 6e 61 72 79 20 66 6f 72 6d 61 74 20   [binary format 
1db0: 63 2a 20 7b 30 78 36 31 20 30 78 46 37 20 30 78  c* {0x61 0xF7 0x
1dc0: 42 46 20 30 78 42 46 20 30 78 42 46 20 30 78 42  BF 0xBF 0xBF 0xB
1dd0: 46 20 30 78 36 32 7d 5d 0a 20 20 73 65 74 20 63  F 0x62}].  set c
1de0: 20 5b 62 69 6e 61 72 79 20 66 6f 72 6d 61 74 20   [binary format 
1df0: 63 2a 20 7b 30 78 36 31 20 30 78 46 37 20 30 78  c* {0x61 0xF7 0x
1e00: 42 46 20 30 78 42 46 20 30 78 42 46 20 30 78 42  BF 0xBF 0xBF 0xB
1e10: 46 20 30 78 42 46 20 30 78 36 32 7d 5d 0a 20 20  F 0xBF 0x62}].  
1e20: 73 65 74 20 64 20 5b 62 69 6e 61 72 79 20 66 6f  set d [binary fo
1e30: 72 6d 61 74 20 63 2a 20 7b 30 78 36 31 20 30 78  rmat c* {0x61 0x
1e40: 46 37 20 30 78 42 46 20 30 78 42 46 20 30 78 42  F7 0xBF 0xBF 0xB
1e50: 46 20 30 78 42 46 20 30 78 42 46 20 30 78 42 46  F 0xBF 0xBF 0xBF
1e60: 20 30 78 36 32 7d 5d 0a 20 20 65 78 65 63 73 71   0x62}].  execsq
1e70: 6c 20 7b 0a 20 20 20 20 49 4e 53 45 52 54 20 49  l {.    INSERT I
1e80: 4e 54 4f 20 74 31 20 56 41 4c 55 45 53 28 24 61  NTO t1 VALUES($a
1e90: 29 3b 0a 20 20 20 20 49 4e 53 45 52 54 20 49 4e  );.    INSERT IN
1ea0: 54 4f 20 74 31 20 56 41 4c 55 45 53 28 24 62 29  TO t1 VALUES($b)
1eb0: 3b 0a 20 20 20 20 49 4e 53 45 52 54 20 49 4e 54  ;.    INSERT INT
1ec0: 4f 20 74 31 20 56 41 4c 55 45 53 28 24 63 29 3b  O t1 VALUES($c);
1ed0: 0a 20 20 20 20 49 4e 53 45 52 54 20 49 4e 54 4f  .    INSERT INTO
1ee0: 20 74 31 20 56 41 4c 55 45 53 28 24 64 29 3b 0a   t1 VALUES($d);.
1ef0: 20 20 7d 0a 7d 20 7b 7d 0a 0a 64 6f 5f 74 65 73    }.} {}..do_tes
1f00: 74 20 34 2e 33 20 7b 0a 20 20 73 65 74 20 61 20  t 4.3 {.  set a 
1f10: 5b 62 69 6e 61 72 79 20 66 6f 72 6d 61 74 20 63  [binary format c
1f20: 2a 20 7b 30 78 46 37 20 30 78 42 46 20 30 78 42  * {0xF7 0xBF 0xB
1f30: 46 20 30 78 42 46 7d 5d 0a 20 20 73 65 74 20 62  F 0xBF}].  set b
1f40: 20 5b 62 69 6e 61 72 79 20 66 6f 72 6d 61 74 20   [binary format 
1f50: 63 2a 20 7b 30 78 46 37 20 30 78 42 46 20 30 78  c* {0xF7 0xBF 0x
1f60: 42 46 20 30 78 42 46 20 30 78 42 46 7d 5d 0a 20  BF 0xBF 0xBF}]. 
1f70: 20 73 65 74 20 63 20 5b 62 69 6e 61 72 79 20 66   set c [binary f
1f80: 6f 72 6d 61 74 20 63 2a 20 7b 30 78 46 37 20 30  ormat c* {0xF7 0
1f90: 78 42 46 20 30 78 42 46 20 30 78 42 46 20 30 78  xBF 0xBF 0xBF 0x
1fa0: 42 46 20 30 78 42 46 7d 5d 0a 20 20 73 65 74 20  BF 0xBF}].  set 
1fb0: 64 20 5b 62 69 6e 61 72 79 20 66 6f 72 6d 61 74  d [binary format
1fc0: 20 63 2a 20 7b 30 78 46 37 20 30 78 42 46 20 30   c* {0xF7 0xBF 0
1fd0: 78 42 46 20 30 78 42 46 20 30 78 42 46 20 30 78  xBF 0xBF 0xBF 0x
1fe0: 42 46 20 30 78 42 46 7d 5d 0a 20 20 65 78 65 63  BF 0xBF}].  exec
1ff0: 73 71 6c 20 7b 0a 20 20 20 20 49 4e 53 45 52 54  sql {.    INSERT
2000: 20 49 4e 54 4f 20 74 31 20 56 41 4c 55 45 53 28   INTO t1 VALUES(
2010: 24 61 29 3b 0a 20 20 20 20 49 4e 53 45 52 54 20  $a);.    INSERT 
2020: 49 4e 54 4f 20 74 31 20 56 41 4c 55 45 53 28 24  INTO t1 VALUES($
2030: 62 29 3b 0a 20 20 20 20 49 4e 53 45 52 54 20 49  b);.    INSERT I
2040: 4e 54 4f 20 74 31 20 56 41 4c 55 45 53 28 24 63  NTO t1 VALUES($c
2050: 29 3b 0a 20 20 20 20 49 4e 53 45 52 54 20 49 4e  );.    INSERT IN
2060: 54 4f 20 74 31 20 56 41 4c 55 45 53 28 24 64 29  TO t1 VALUES($d)
2070: 3b 0a 20 20 7d 0a 7d 20 7b 7d 0a 0a 23 2d 2d 2d  ;.  }.} {}..#---
2080: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
2090: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
20a0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
20b0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
20c0: 2d 2d 2d 2d 2d 2d 0a 0a 64 6f 5f 75 6e 69 63 6f  ------..do_unico
20d0: 64 65 5f 74 6f 6b 65 6e 5f 74 65 73 74 33 20 35  de_token_test3 5
20e0: 2e 31 20 7b 74 6f 6b 65 6e 63 68 61 72 73 3d 7d  .1 {tokenchars=}
20f0: 20 7b 0a 20 20 73 71 6c 69 74 65 33 5f 72 65 73   {.  sqlite3_res
2100: 65 74 20 73 71 6c 69 74 65 33 5f 63 6f 6c 75 6d  et sqlite3_colum
2110: 6e 5f 69 6e 74 0a 7d 20 7b 0a 20 20 30 20 73 71  n_int.} {.  0 sq
2120: 6c 69 74 65 33 20 73 71 6c 69 74 65 33 20 0a 20  lite3 sqlite3 . 
2130: 20 31 20 72 65 73 65 74 20 72 65 73 65 74 20 0a   1 reset reset .
2140: 20 20 32 20 73 71 6c 69 74 65 33 20 73 71 6c 69    2 sqlite3 sqli
2150: 74 65 33 20 0a 20 20 33 20 63 6f 6c 75 6d 6e 20  te3 .  3 column 
2160: 63 6f 6c 75 6d 6e 20 0a 20 20 34 20 69 6e 74 20  column .  4 int 
2170: 69 6e 74 0a 7d 0a 0a 64 6f 5f 75 6e 69 63 6f 64  int.}..do_unicod
2180: 65 5f 74 6f 6b 65 6e 5f 74 65 73 74 33 20 35 2e  e_token_test3 5.
2190: 32 20 7b 74 6f 6b 65 6e 63 68 61 72 73 3d 5f 7d  2 {tokenchars=_}
21a0: 20 7b 0a 20 20 73 71 6c 69 74 65 33 5f 72 65 73   {.  sqlite3_res
21b0: 65 74 20 73 71 6c 69 74 65 33 5f 63 6f 6c 75 6d  et sqlite3_colum
21c0: 6e 5f 69 6e 74 0a 7d 20 7b 0a 20 20 30 20 73 71  n_int.} {.  0 sq
21d0: 6c 69 74 65 33 5f 72 65 73 65 74 20 73 71 6c 69  lite3_reset sqli
21e0: 74 65 33 5f 72 65 73 65 74 20 0a 20 20 31 20 73  te3_reset .  1 s
21f0: 71 6c 69 74 65 33 5f 63 6f 6c 75 6d 6e 5f 69 6e  qlite3_column_in
2200: 74 20 73 71 6c 69 74 65 33 5f 63 6f 6c 75 6d 6e  t sqlite3_column
2210: 5f 69 6e 74 0a 7d 0a 0a 64 6f 5f 75 6e 69 63 6f  _int.}..do_unico
2220: 64 65 5f 74 6f 6b 65 6e 5f 74 65 73 74 33 20 35  de_token_test3 5
2230: 2e 33 20 7b 73 65 70 61 72 61 74 6f 72 73 3d 78  .3 {separators=x
2240: 79 7a 7d 20 7b 0a 20 20 4c 61 6f 74 69 61 6e 78  yz} {.  Laotianx
2250: 68 6f 72 73 65 79 72 75 6e 73 7a 66 61 73 74 0a  horseyrunszfast.
2260: 7d 20 7b 0a 20 20 30 20 6c 61 6f 74 69 61 6e 20  } {.  0 laotian 
2270: 4c 61 6f 74 69 61 6e 0a 20 20 31 20 68 6f 72 73  Laotian.  1 hors
2280: 65 20 68 6f 72 73 65 0a 20 20 32 20 72 75 6e 73  e horse.  2 runs
2290: 20 72 75 6e 73 0a 20 20 33 20 66 61 73 74 20 66   runs.  3 fast f
22a0: 61 73 74 0a 7d 0a 0a 64 6f 5f 75 6e 69 63 6f 64  ast.}..do_unicod
22b0: 65 5f 74 6f 6b 65 6e 5f 74 65 73 74 33 20 35 2e  e_token_test3 5.
22c0: 34 20 7b 74 6f 6b 65 6e 63 68 61 72 73 3d 78 79  4 {tokenchars=xy
22d0: 7a 7d 20 7b 0a 20 20 4c 61 6f 74 69 61 6e 78 68  z} {.  Laotianxh
22e0: 6f 72 73 65 79 72 75 6e 73 7a 66 61 73 74 0a 7d  orseyrunszfast.}
22f0: 20 7b 0a 20 20 30 20 6c 61 6f 74 69 61 6e 78 68   {.  0 laotianxh
2300: 6f 72 73 65 79 72 75 6e 73 7a 66 61 73 74 20 4c  orseyrunszfast L
2310: 61 6f 74 69 61 6e 78 68 6f 72 73 65 79 72 75 6e  aotianxhorseyrun
2320: 73 7a 66 61 73 74 0a 7d 0a 0a 64 6f 5f 75 6e 69  szfast.}..do_uni
2330: 63 6f 64 65 5f 74 6f 6b 65 6e 5f 74 65 73 74 33  code_token_test3
2340: 20 35 2e 35 20 7b 74 6f 6b 65 6e 63 68 61 72 73   5.5 {tokenchars
2350: 3d 5f 7d 20 7b 73 65 70 61 72 61 74 6f 72 73 3d  =_} {separators=
2360: 7a 79 78 7d 20 7b 0a 20 20 73 71 6c 69 74 65 33  zyx} {.  sqlite3
2370: 5f 72 65 73 65 74 78 73 71 6c 69 74 65 33 5f 63  _resetxsqlite3_c
2380: 6f 6c 75 6d 6e 5f 69 6e 74 79 68 6f 6e 64 61 5f  olumn_intyhonda_
2390: 70 68 61 6e 74 6f 6d 0a 7d 20 7b 0a 20 20 30 20  phantom.} {.  0 
23a0: 73 71 6c 69 74 65 33 5f 72 65 73 65 74 20 73 71  sqlite3_reset sq
23b0: 6c 69 74 65 33 5f 72 65 73 65 74 20 0a 20 20 31  lite3_reset .  1
23c0: 20 73 71 6c 69 74 65 33 5f 63 6f 6c 75 6d 6e 5f   sqlite3_column_
23d0: 69 6e 74 20 73 71 6c 69 74 65 33 5f 63 6f 6c 75  int sqlite3_colu
23e0: 6d 6e 5f 69 6e 74 0a 20 20 32 20 68 6f 6e 64 61  mn_int.  2 honda
23f0: 5f 70 68 61 6e 74 6f 6d 20 68 6f 6e 64 61 5f 70  _phantom honda_p
2400: 68 61 6e 74 6f 6d 0a 7d 0a 0a 64 6f 5f 75 6e 69  hantom.}..do_uni
2410: 63 6f 64 65 5f 74 6f 6b 65 6e 5f 74 65 73 74 33  code_token_test3
2420: 20 35 2e 36 20 22 73 65 70 61 72 61 74 6f 72 73   5.6 "separators
2430: 3d 5c 75 30 35 44 31 22 20 22 61 62 63 5c 75 30  =\u05D1" "abc\u0
2440: 35 44 31 64 65 66 22 20 7b 0a 20 20 30 20 61 62  5D1def" {.  0 ab
2450: 63 20 61 62 63 20 31 20 64 65 66 20 64 65 66 0a  c abc 1 def def.
2460: 7d 0a 0a 64 6f 5f 75 6e 69 63 6f 64 65 5f 74 6f  }..do_unicode_to
2470: 6b 65 6e 5f 74 65 73 74 33 20 35 2e 37 20 20 20  ken_test3 5.7   
2480: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2490: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 22 74            \.  "t
24a0: 6f 6b 65 6e 63 68 61 72 73 3d 5c 75 32 34 34 34  okenchars=\u2444
24b0: 5c 75 32 34 34 35 22 20 20 20 20 20 20 20 20 20  \u2445"         
24c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
24d0: 20 20 20 5c 0a 20 20 22 73 65 70 61 72 61 74 6f     \.  "separato
24e0: 72 73 3d 5c 75 30 35 44 30 5c 75 30 35 44 31 5c  rs=\u05D0\u05D1\
24f0: 75 30 35 44 32 22 20 20 20 20 20 20 20 20 20 20  u05D2"          
2500: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
2510: 22 5c 75 32 34 34 34 66 72 65 5c 75 32 34 34 35  "\u2444fre\u2445
2520: 73 68 5c 75 30 35 44 30 77 61 74 65 72 5c 75 30  sh\u05D0water\u0
2530: 35 44 32 66 69 73 68 2e 5c 75 32 34 34 35 74 69  5D2fish.\u2445ti
2540: 6d 65 72 22 20 5c 0a 20 20 5b 6c 69 73 74 20 20  mer" \.  [list  
2550: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2560: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2570: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
2580: 20 20 20 20 30 20 5c 75 32 34 34 34 66 72 65 5c      0 \u2444fre\
2590: 75 32 34 34 35 73 68 20 5c 75 32 34 34 34 66 72  u2445sh \u2444fr
25a0: 65 5c 75 32 34 34 35 73 68 20 20 20 20 20 20 20  e\u2445sh       
25b0: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 31 20 77         \.    1 w
25c0: 61 74 65 72 20 77 61 74 65 72 20 20 20 20 20 20  ater water      
25d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
25e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
25f0: 5c 0a 20 20 20 20 32 20 66 69 73 68 20 66 69 73  \.    2 fish fis
2600: 68 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  h               
2610: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2620: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 33           \.    3
2630: 20 5c 75 32 34 34 35 74 69 6d 65 72 20 5c 75 32   \u2445timer \u2
2640: 34 34 35 74 69 6d 65 72 20 20 20 20 20 20 20 20  445timer        
2650: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2660: 20 20 5c 0a 20 20 5d 0a 0a 23 20 43 68 65 63 6b    \.  ]..# Check
2670: 20 74 68 61 74 20 69 74 20 69 73 20 6e 6f 74 20   that it is not 
2680: 70 6f 73 73 69 62 6c 65 20 74 6f 20 61 64 64 20  possible to add 
2690: 61 20 73 74 61 6e 64 61 6c 6f 6e 65 20 64 69 61  a standalone dia
26a0: 63 72 69 74 69 63 20 63 6f 64 65 70 6f 69 6e 74  critic codepoint
26b0: 20 0a 23 20 74 6f 20 65 69 74 68 65 72 20 73 65   .# to either se
26c0: 70 61 72 61 74 6f 72 73 20 6f 72 20 74 6f 6b 65  parators or toke
26d0: 6e 63 68 61 72 73 2e 0a 64 6f 5f 75 6e 69 63 6f  nchars..do_unico
26e0: 64 65 5f 74 6f 6b 65 6e 5f 74 65 73 74 33 20 35  de_token_test3 5
26f0: 2e 38 20 22 73 65 70 61 72 61 74 6f 72 73 3d 5c  .8 "separators=\
2700: 75 30 33 30 31 22 20 5c 0a 20 20 22 68 65 6c 6c  u0301" \.  "hell
2710: 6f 5c 75 30 33 30 31 77 6f 72 6c 64 20 5c 75 30  o\u0301world \u0
2720: 33 30 31 68 65 6c 6c 6f 77 6f 72 6c 64 22 20 20  301helloworld"  
2730: 20 20 20 20 20 20 20 20 5c 0a 20 20 22 30 20 68          \.  "0 h
2740: 65 6c 6c 6f 77 6f 72 6c 64 20 68 65 6c 6c 6f 5c  elloworld hello\
2750: 75 30 33 30 31 77 6f 72 6c 64 20 31 20 68 65 6c  u0301world 1 hel
2760: 6c 6f 77 6f 72 6c 64 20 68 65 6c 6c 6f 77 6f 72  loworld hellowor
2770: 6c 64 22 0a 0a 64 6f 5f 75 6e 69 63 6f 64 65 5f  ld"..do_unicode_
2780: 74 6f 6b 65 6e 5f 74 65 73 74 33 20 35 2e 39 20  token_test3 5.9 
2790: 22 74 6f 6b 65 6e 63 68 61 72 73 3d 5c 75 30 33  "tokenchars=\u03
27a0: 30 31 22 20 5c 0a 20 20 22 68 65 6c 6c 6f 5c 75  01" \.  "hello\u
27b0: 30 33 30 31 77 6f 72 6c 64 20 5c 75 30 33 30 31  0301world \u0301
27c0: 68 65 6c 6c 6f 77 6f 72 6c 64 22 20 20 20 20 20  helloworld"     
27d0: 20 20 20 20 20 5c 0a 20 20 22 30 20 68 65 6c 6c       \.  "0 hell
27e0: 6f 77 6f 72 6c 64 20 68 65 6c 6c 6f 5c 75 30 33  oworld hello\u03
27f0: 30 31 77 6f 72 6c 64 20 31 20 68 65 6c 6c 6f 77  01world 1 hellow
2800: 6f 72 6c 64 20 68 65 6c 6c 6f 77 6f 72 6c 64 22  orld helloworld"
2810: 0a 0a 64 6f 5f 75 6e 69 63 6f 64 65 5f 74 6f 6b  ..do_unicode_tok
2820: 65 6e 5f 74 65 73 74 33 20 35 2e 31 30 20 22 73  en_test3 5.10 "s
2830: 65 70 61 72 61 74 6f 72 73 3d 5c 75 30 33 30 31  eparators=\u0301
2840: 22 20 5c 0a 20 20 22 72 65 6d 6f 76 65 5f 64 69  " \.  "remove_di
2850: 61 63 72 69 74 69 63 73 3d 30 22 20 20 20 20 20  acritics=0"     
2860: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2870: 20 20 20 5c 0a 20 20 22 68 65 6c 6c 6f 5c 75 30     \.  "hello\u0
2880: 33 30 31 77 6f 72 6c 64 20 5c 75 30 33 30 31 68  301world \u0301h
2890: 65 6c 6c 6f 77 6f 72 6c 64 22 20 20 20 20 20 20  elloworld"      
28a0: 20 20 20 20 5c 0a 20 20 22 30 20 68 65 6c 6c 6f      \.  "0 hello
28b0: 5c 75 30 33 30 31 77 6f 72 6c 64 20 68 65 6c 6c  \u0301world hell
28c0: 6f 5c 75 30 33 30 31 77 6f 72 6c 64 20 31 20 68  o\u0301world 1 h
28d0: 65 6c 6c 6f 77 6f 72 6c 64 20 68 65 6c 6c 6f 77  elloworld hellow
28e0: 6f 72 6c 64 22 0a 0a 64 6f 5f 75 6e 69 63 6f 64  orld"..do_unicod
28f0: 65 5f 74 6f 6b 65 6e 5f 74 65 73 74 33 20 35 2e  e_token_test3 5.
2900: 31 31 20 22 74 6f 6b 65 6e 63 68 61 72 73 3d 5c  11 "tokenchars=\
2910: 75 30 33 30 31 22 20 5c 0a 20 20 22 72 65 6d 6f  u0301" \.  "remo
2920: 76 65 5f 64 69 61 63 72 69 74 69 63 73 3d 30 22  ve_diacritics=0"
2930: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2940: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 22 68 65           \.  "he
2950: 6c 6c 6f 5c 75 30 33 30 31 77 6f 72 6c 64 20 5c  llo\u0301world \
2960: 75 30 33 30 31 68 65 6c 6c 6f 77 6f 72 6c 64 22  u0301helloworld"
2970: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 22             \.  "
2980: 30 20 68 65 6c 6c 6f 5c 75 30 33 30 31 77 6f 72  0 hello\u0301wor
2990: 6c 64 20 68 65 6c 6c 6f 5c 75 30 33 30 31 77 6f  ld hello\u0301wo
29a0: 72 6c 64 20 31 20 68 65 6c 6c 6f 77 6f 72 6c 64  rld 1 helloworld
29b0: 20 68 65 6c 6c 6f 77 6f 72 6c 64 22 0a 0a 0a 23   helloworld"...#
29c0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
29d0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
29e0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
29f0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
2a00: 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 0a 70 72 6f 63 20  ---------..proc 
2a10: 64 6f 5f 74 6f 6b 65 6e 69 7a 65 20 7b 74 6f 6b  do_tokenize {tok
2a20: 65 6e 69 7a 65 72 20 74 78 74 7d 20 7b 0a 20 20  enizer txt} {.  
2a30: 73 65 74 20 72 65 73 20 5b 6c 69 73 74 5d 0a 20  set res [list]. 
2a40: 20 66 6f 72 65 61 63 68 20 7b 61 20 62 20 63 7d   foreach {a b c}
2a50: 20 5b 64 62 20 6f 6e 65 20 7b 53 45 4c 45 43 54   [db one {SELECT
2a60: 20 66 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f   fts3_tokenizer_
2a70: 74 65 73 74 28 24 74 6f 6b 65 6e 69 7a 65 72 2c  test($tokenizer,
2a80: 20 24 74 78 74 29 7d 5d 20 7b 0a 20 20 20 20 6c   $txt)}] {.    l
2a90: 61 70 70 65 6e 64 20 72 65 73 20 24 62 0a 20 20  append res $b.  
2aa0: 7d 0a 20 20 73 65 74 20 72 65 73 0a 7d 0a 0a 23  }.  set res.}..#
2ab0: 20 41 72 67 75 6d 65 6e 74 20 24 6c 43 6f 64 65   Argument $lCode
2ac0: 70 6f 69 6e 74 20 6d 75 73 74 20 62 65 20 61 20  point must be a 
2ad0: 6c 69 73 74 20 6f 66 20 63 6f 64 65 70 6f 69 6e  list of codepoin
2ae0: 74 73 20 28 69 6e 74 65 67 65 72 73 29 20 74 68  ts (integers) th
2af0: 61 74 20 0a 23 20 63 6f 72 72 65 73 70 6f 6e 64  at .# correspond
2b00: 20 74 6f 20 77 68 69 74 65 73 70 61 63 65 20 63   to whitespace c
2b10: 68 61 72 61 63 74 65 72 73 2e 20 54 68 69 73 20  haracters. This 
2b20: 63 6f 6d 6d 61 6e 64 20 63 72 65 61 74 65 73 20  command creates 
2b30: 61 20 73 74 72 69 6e 67 0a 23 20 24 57 20 66 72  a string.# $W fr
2b40: 6f 6d 20 74 68 65 20 63 6f 64 65 70 6f 69 6e 74  om the codepoint
2b50: 73 2c 20 74 68 65 6e 20 74 6f 6b 65 6e 69 7a 65  s, then tokenize
2b60: 73 20 22 24 7b 57 7d 68 65 6c 6c 6f 7b 24 57 7d  s "${W}hello{$W}
2b70: 77 6f 72 6c 64 24 7b 57 7d 22 20 0a 23 20 75 73  world${W}" .# us
2b80: 69 6e 67 20 74 6f 6b 65 6e 69 7a 65 72 20 24 74  ing tokenizer $t
2b90: 6f 6b 65 6e 69 7a 65 72 2e 20 54 68 65 20 74 65  okenizer. The te
2ba0: 73 74 20 70 61 73 73 65 73 20 69 66 20 74 68 65  st passes if the
2bb0: 20 74 6f 6b 65 6e 69 7a 65 72 20 73 75 63 63 65   tokenizer succe
2bc0: 73 73 66 75 6c 6c 79 0a 23 20 65 78 74 72 61 63  ssfully.# extrac
2bd0: 74 73 20 74 68 65 20 74 77 6f 20 35 20 63 68 61  ts the two 5 cha
2be0: 72 61 63 74 65 72 20 74 6f 6b 65 6e 73 2e 0a 23  racter tokens..#
2bf0: 0a 70 72 6f 63 20 64 6f 5f 69 73 73 70 61 63 65  .proc do_isspace
2c00: 5f 74 65 73 74 20 7b 74 6e 20 74 6f 6b 65 6e 69  _test {tn tokeni
2c10: 7a 65 72 20 6c 43 70 7d 20 7b 0a 20 20 73 65 74  zer lCp} {.  set
2c20: 20 77 68 69 74 65 73 70 61 63 65 20 5b 66 6f 72   whitespace [for
2c30: 6d 61 74 20 5b 73 74 72 69 6e 67 20 72 65 70 65  mat [string repe
2c40: 61 74 20 25 63 20 5b 6c 6c 65 6e 67 74 68 20 24  at %c [llength $
2c50: 6c 43 70 5d 5d 20 7b 2a 7d 24 6c 43 70 5d 20 0a  lCp]] {*}$lCp] .
2c60: 20 20 73 65 74 20 74 78 74 20 22 24 7b 77 68 69    set txt "${whi
2c70: 74 65 73 70 61 63 65 7d 68 65 6c 6c 6f 24 7b 77  tespace}hello${w
2c80: 68 69 74 65 73 70 61 63 65 7d 77 6f 72 6c 64 24  hitespace}world$
2c90: 7b 77 68 69 74 65 73 70 61 63 65 7d 22 0a 20 20  {whitespace}".  
2ca0: 75 70 6c 65 76 65 6c 20 5b 6c 69 73 74 20 64 6f  uplevel [list do
2cb0: 5f 74 65 73 74 20 24 74 6e 20 5b 6c 69 73 74 20  _test $tn [list 
2cc0: 64 6f 5f 74 6f 6b 65 6e 69 7a 65 20 24 74 6f 6b  do_tokenize $tok
2cd0: 65 6e 69 7a 65 72 20 24 74 78 74 5d 20 7b 68 65  enizer $txt] {he
2ce0: 6c 6c 6f 20 77 6f 72 6c 64 7d 5d 0a 7d 0a 0a 73  llo world}].}..s
2cf0: 65 74 20 74 6f 6b 65 6e 69 7a 65 72 73 20 5b 6c  et tokenizers [l
2d00: 69 73 74 20 75 6e 69 63 6f 64 65 36 31 5d 0a 69  ist unicode61].i
2d10: 66 63 61 70 61 62 6c 65 20 69 63 75 20 7b 20 6c  fcapable icu { l
2d20: 61 70 70 65 6e 64 20 74 6f 6b 65 6e 69 7a 65 72  append tokenizer
2d30: 73 20 69 63 75 20 7d 0a 0a 23 20 53 6f 6d 65 20  s icu }..# Some 
2d40: 74 65 73 74 73 20 74 6f 20 63 68 65 63 6b 20 74  tests to check t
2d50: 68 61 74 20 74 68 65 20 74 6f 6b 65 6e 69 7a 65  hat the tokenize
2d60: 72 73 20 63 61 6e 20 62 6f 74 68 20 69 64 65 6e  rs can both iden
2d70: 74 69 66 79 20 77 68 69 74 65 2d 73 70 61 63 65  tify white-space
2d80: 20 0a 23 20 63 6f 64 65 70 6f 69 6e 74 73 2e 20   .# codepoints. 
2d90: 41 6c 6c 20 63 6f 64 65 70 6f 69 6e 74 73 20 74  All codepoints t
2da0: 65 73 74 65 64 20 62 65 6c 6f 77 20 61 72 65 20  ested below are 
2db0: 6f 66 20 74 79 70 65 20 22 5a 73 22 20 69 6e 20  of type "Zs" in 
2dc0: 74 68 65 0a 23 20 55 6e 69 63 6f 64 65 44 61 74  the.# UnicodeDat
2dd0: 61 2e 74 78 74 20 66 69 6c 65 2e 0a 66 6f 72 65  a.txt file..fore
2de0: 61 63 68 20 54 20 24 74 6f 6b 65 6e 69 7a 65 72  ach T $tokenizer
2df0: 73 20 7b 0a 20 20 64 6f 5f 69 73 73 70 61 63 65  s {.  do_isspace
2e00: 5f 74 65 73 74 20 36 2e 24 54 2e 31 20 24 54 20  _test 6.$T.1 $T 
2e10: 20 20 20 33 32 0a 20 20 64 6f 5f 69 73 73 70 61     32.  do_isspa
2e20: 63 65 5f 74 65 73 74 20 36 2e 24 54 2e 32 20 24  ce_test 6.$T.2 $
2e30: 54 20 20 20 20 31 36 30 0a 20 20 64 6f 5f 69 73  T    160.  do_is
2e40: 73 70 61 63 65 5f 74 65 73 74 20 36 2e 24 54 2e  space_test 6.$T.
2e50: 33 20 24 54 20 20 20 20 35 37 36 30 0a 20 20 64  3 $T    5760.  d
2e60: 6f 5f 69 73 73 70 61 63 65 5f 74 65 73 74 20 36  o_isspace_test 6
2e70: 2e 24 54 2e 34 20 24 54 20 20 20 20 36 31 35 38  .$T.4 $T    6158
2e80: 0a 20 20 64 6f 5f 69 73 73 70 61 63 65 5f 74 65  .  do_isspace_te
2e90: 73 74 20 36 2e 24 54 2e 35 20 24 54 20 20 20 20  st 6.$T.5 $T    
2ea0: 38 31 39 32 0a 20 20 64 6f 5f 69 73 73 70 61 63  8192.  do_isspac
2eb0: 65 5f 74 65 73 74 20 36 2e 24 54 2e 36 20 24 54  e_test 6.$T.6 $T
2ec0: 20 20 20 20 38 31 39 33 0a 20 20 64 6f 5f 69 73      8193.  do_is
2ed0: 73 70 61 63 65 5f 74 65 73 74 20 36 2e 24 54 2e  space_test 6.$T.
2ee0: 37 20 24 54 20 20 20 20 38 31 39 34 0a 20 20 64  7 $T    8194.  d
2ef0: 6f 5f 69 73 73 70 61 63 65 5f 74 65 73 74 20 36  o_isspace_test 6
2f00: 2e 24 54 2e 38 20 24 54 20 20 20 20 38 31 39 35  .$T.8 $T    8195
2f10: 0a 20 20 64 6f 5f 69 73 73 70 61 63 65 5f 74 65  .  do_isspace_te
2f20: 73 74 20 36 2e 24 54 2e 39 20 24 54 20 20 20 20  st 6.$T.9 $T    
2f30: 38 31 39 36 0a 20 20 64 6f 5f 69 73 73 70 61 63  8196.  do_isspac
2f40: 65 5f 74 65 73 74 20 36 2e 24 54 2e 31 30 20 24  e_test 6.$T.10 $
2f50: 54 20 20 20 20 38 31 39 37 0a 20 20 64 6f 5f 69  T    8197.  do_i
2f60: 73 73 70 61 63 65 5f 74 65 73 74 20 36 2e 24 54  sspace_test 6.$T
2f70: 2e 31 31 20 24 54 20 20 20 20 38 31 39 38 0a 20  .11 $T    8198. 
2f80: 20 64 6f 5f 69 73 73 70 61 63 65 5f 74 65 73 74   do_isspace_test
2f90: 20 36 2e 24 54 2e 31 32 20 24 54 20 20 20 20 38   6.$T.12 $T    8
2fa0: 31 39 39 0a 20 20 64 6f 5f 69 73 73 70 61 63 65  199.  do_isspace
2fb0: 5f 74 65 73 74 20 36 2e 24 54 2e 31 33 20 24 54  _test 6.$T.13 $T
2fc0: 20 20 20 20 38 32 30 30 0a 20 20 64 6f 5f 69 73      8200.  do_is
2fd0: 73 70 61 63 65 5f 74 65 73 74 20 36 2e 24 54 2e  space_test 6.$T.
2fe0: 31 34 20 24 54 20 20 20 20 38 32 30 31 0a 20 20  14 $T    8201.  
2ff0: 64 6f 5f 69 73 73 70 61 63 65 5f 74 65 73 74 20  do_isspace_test 
3000: 36 2e 24 54 2e 31 35 20 24 54 20 20 20 20 38 32  6.$T.15 $T    82
3010: 30 32 0a 20 20 64 6f 5f 69 73 73 70 61 63 65 5f  02.  do_isspace_
3020: 74 65 73 74 20 36 2e 24 54 2e 31 36 20 24 54 20  test 6.$T.16 $T 
3030: 20 20 20 38 32 33 39 0a 20 20 64 6f 5f 69 73 73     8239.  do_iss
3040: 70 61 63 65 5f 74 65 73 74 20 36 2e 24 54 2e 31  pace_test 6.$T.1
3050: 37 20 24 54 20 20 20 20 38 32 38 37 0a 20 20 64  7 $T    8287.  d
3060: 6f 5f 69 73 73 70 61 63 65 5f 74 65 73 74 20 36  o_isspace_test 6
3070: 2e 24 54 2e 31 38 20 24 54 20 20 20 31 32 32 38  .$T.18 $T   1228
3080: 38 0a 0a 20 20 64 6f 5f 69 73 73 70 61 63 65 5f  8..  do_isspace_
3090: 74 65 73 74 20 36 2e 24 54 2e 31 39 20 24 54 20  test 6.$T.19 $T 
30a0: 20 20 7b 33 32 20 31 36 30 20 35 37 36 30 20 36    {32 160 5760 6
30b0: 31 35 38 7d 0a 20 20 64 6f 5f 69 73 73 70 61 63  158}.  do_isspac
30c0: 65 5f 74 65 73 74 20 36 2e 24 54 2e 32 30 20 24  e_test 6.$T.20 $
30d0: 54 20 20 20 7b 38 31 39 32 20 38 31 39 33 20 38  T   {8192 8193 8
30e0: 31 39 34 20 38 31 39 35 7d 0a 20 20 64 6f 5f 69  194 8195}.  do_i
30f0: 73 73 70 61 63 65 5f 74 65 73 74 20 36 2e 24 54  sspace_test 6.$T
3100: 2e 32 31 20 24 54 20 20 20 7b 38 31 39 36 20 38  .21 $T   {8196 8
3110: 31 39 37 20 38 31 39 38 20 38 31 39 39 7d 0a 20  197 8198 8199}. 
3120: 20 64 6f 5f 69 73 73 70 61 63 65 5f 74 65 73 74   do_isspace_test
3130: 20 36 2e 24 54 2e 32 32 20 24 54 20 20 20 7b 38   6.$T.22 $T   {8
3140: 32 30 30 20 38 32 30 31 20 38 32 30 32 20 38 32  200 8201 8202 82
3150: 33 39 7d 0a 20 20 64 6f 5f 69 73 73 70 61 63 65  39}.  do_isspace
3160: 5f 74 65 73 74 20 36 2e 24 54 2e 32 33 20 24 54  _test 6.$T.23 $T
3170: 20 20 20 7b 38 32 38 37 20 31 32 32 38 38 7d 0a     {8287 12288}.
3180: 7d 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  }..#------------
3190: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
31a0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
31b0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
31c0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 23 20  -------------.# 
31d0: 54 65 73 74 20 74 68 61 74 20 74 68 65 20 70 72  Test that the pr
31e0: 69 76 61 74 65 20 75 73 65 20 72 61 6e 67 65 73  ivate use ranges
31f0: 20 61 72 65 20 74 72 65 61 74 65 64 20 61 73 20   are treated as 
3200: 61 6c 70 68 61 6e 75 6d 65 72 69 63 2e 0a 23 0a  alphanumeric..#.
3210: 66 6f 72 65 61 63 68 20 7b 74 6e 31 20 63 7d 20  foreach {tn1 c} 
3220: 7b 0a 20 20 31 20 5c 75 65 30 30 30 20 32 20 5c  {.  1 \ue000 2 \
3230: 75 65 30 30 31 20 33 20 5c 75 66 30 30 30 20 34  ue001 3 \uf000 4
3240: 20 5c 75 66 38 66 65 20 35 20 5c 75 66 38 66 66   \uf8fe 5 \uf8ff
3250: 0a 7d 20 7b 0a 20 20 66 6f 72 65 61 63 68 20 7b  .} {.  foreach {
3260: 74 6e 32 20 63 6f 6e 66 69 67 20 72 65 73 7d 20  tn2 config res} 
3270: 7b 0a 20 20 20 20 31 20 22 22 20 20 20 20 20 20  {.    1 ""      
3280: 20 20 20 20 20 20 20 22 30 20 68 65 6c 6c 6f 2a         "0 hello*
3290: 77 6f 72 6c 64 20 68 65 6c 6c 6f 2a 77 6f 72 6c  world hello*worl
32a0: 64 22 0a 20 20 20 20 32 20 22 73 65 70 61 72 61  d".    2 "separa
32b0: 74 6f 72 73 3d 2a 22 20 22 30 20 68 65 6c 6c 6f  tors=*" "0 hello
32c0: 20 68 65 6c 6c 6f 20 31 20 77 6f 72 6c 64 20 77   hello 1 world w
32d0: 6f 72 6c 64 22 0a 20 20 7d 20 7b 0a 20 20 20 20  orld".  } {.    
32e0: 73 65 74 20 63 6f 6e 66 69 67 20 5b 73 74 72 69  set config [stri
32f0: 6e 67 20 6d 61 70 20 5b 6c 69 73 74 20 2a 20 24  ng map [list * $
3300: 63 5d 20 24 63 6f 6e 66 69 67 5d 0a 20 20 20 20  c] $config].    
3310: 73 65 74 20 69 6e 70 75 74 20 20 5b 73 74 72 69  set input  [stri
3320: 6e 67 20 6d 61 70 20 5b 6c 69 73 74 20 2a 20 24  ng map [list * $
3330: 63 5d 20 22 68 65 6c 6c 6f 2a 77 6f 72 6c 64 22  c] "hello*world"
3340: 5d 0a 20 20 20 20 73 65 74 20 6f 75 74 70 75 74  ].    set output
3350: 20 5b 73 74 72 69 6e 67 20 6d 61 70 20 5b 6c 69   [string map [li
3360: 73 74 20 2a 20 24 63 5d 20 24 72 65 73 5d 0a 20  st * $c] $res]. 
3370: 20 20 20 64 6f 5f 75 6e 69 63 6f 64 65 5f 74 6f     do_unicode_to
3380: 6b 65 6e 5f 74 65 73 74 33 20 37 2e 24 74 6e 31  ken_test3 7.$tn1
3390: 2e 24 74 6e 32 20 7b 2a 7d 24 63 6f 6e 66 69 67  .$tn2 {*}$config
33a0: 20 24 69 6e 70 75 74 20 24 6f 75 74 70 75 74 0a   $input $output.
33b0: 20 20 7d 0a 7d 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d    }.}..#--------
33c0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
33d0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
33e0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
33f0: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
3400: 2d 0a 23 20 43 75 72 73 6f 72 79 20 74 65 73 74  -.# Cursory test
3410: 20 6f 66 20 72 65 6d 6f 76 65 5f 64 69 61 63 72   of remove_diacr
3420: 69 74 69 63 73 3d 30 2e 0a 23 0a 23 20 30 30 43  itics=0..#.# 00C
3430: 34 3b 4c 41 54 49 4e 20 43 41 50 49 54 41 4c 20  4;LATIN CAPITAL 
3440: 4c 45 54 54 45 52 20 41 20 57 49 54 48 20 44 49  LETTER A WITH DI
3450: 41 45 52 45 53 49 53 0a 23 20 30 30 44 36 3b 4c  AERESIS.# 00D6;L
3460: 41 54 49 4e 20 43 41 50 49 54 41 4c 20 4c 45 54  ATIN CAPITAL LET
3470: 54 45 52 20 4f 20 57 49 54 48 20 44 49 41 45 52  TER O WITH DIAER
3480: 45 53 49 53 0a 23 20 30 30 45 34 3b 4c 41 54 49  ESIS.# 00E4;LATI
3490: 4e 20 53 4d 41 4c 4c 20 4c 45 54 54 45 52 20 41  N SMALL LETTER A
34a0: 20 57 49 54 48 20 44 49 41 45 52 45 53 49 53 0a   WITH DIAERESIS.
34b0: 23 20 30 30 46 36 3b 4c 41 54 49 4e 20 53 4d 41  # 00F6;LATIN SMA
34c0: 4c 4c 20 4c 45 54 54 45 52 20 4f 20 57 49 54 48  LL LETTER O WITH
34d0: 20 44 49 41 45 52 45 53 49 53 0a 23 0a 64 6f 5f   DIAERESIS.#.do_
34e0: 65 78 65 63 73 71 6c 5f 74 65 73 74 20 38 2e 31  execsql_test 8.1
34f0: 2e 31 20 22 0a 20 20 43 52 45 41 54 45 20 56 49  .1 ".  CREATE VI
3500: 52 54 55 41 4c 20 54 41 42 4c 45 20 74 33 20 55  RTUAL TABLE t3 U
3510: 53 49 4e 47 20 66 74 73 34 28 74 6f 6b 65 6e 69  SING fts4(tokeni
3520: 7a 65 3d 75 6e 69 63 6f 64 65 36 31 20 27 72 65  ze=unicode61 're
3530: 6d 6f 76 65 5f 64 69 61 63 72 69 74 69 63 73 3d  move_diacritics=
3540: 31 27 29 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e  1');.  INSERT IN
3550: 54 4f 20 74 33 20 56 41 4c 55 45 53 28 27 6f 27  TO t3 VALUES('o'
3560: 29 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e 54 4f  );.  INSERT INTO
3570: 20 74 33 20 56 41 4c 55 45 53 28 27 61 27 29 3b   t3 VALUES('a');
3580: 0a 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74  .  INSERT INTO t
3590: 33 20 56 41 4c 55 45 53 28 27 4f 27 29 3b 0a 20  3 VALUES('O');. 
35a0: 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 33 20   INSERT INTO t3 
35b0: 56 41 4c 55 45 53 28 27 41 27 29 3b 0a 20 20 49  VALUES('A');.  I
35c0: 4e 53 45 52 54 20 49 4e 54 4f 20 74 33 20 56 41  NSERT INTO t3 VA
35d0: 4c 55 45 53 28 27 5c 78 44 36 27 29 3b 0a 20 20  LUES('\xD6');.  
35e0: 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 33 20 56  INSERT INTO t3 V
35f0: 41 4c 55 45 53 28 27 5c 78 43 34 27 29 3b 0a 20  ALUES('\xC4');. 
3600: 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 33 20   INSERT INTO t3 
3610: 56 41 4c 55 45 53 28 27 5c 78 46 36 27 29 3b 0a  VALUES('\xF6');.
3620: 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 33    INSERT INTO t3
3630: 20 56 41 4c 55 45 53 28 27 5c 78 45 34 27 29 3b   VALUES('\xE4');
3640: 0a 22 0a 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65  .".do_execsql_te
3650: 73 74 20 38 2e 31 2e 32 20 7b 0a 20 20 53 45 4c  st 8.1.2 {.  SEL
3660: 45 43 54 20 72 6f 77 69 64 20 46 52 4f 4d 20 74  ECT rowid FROM t
3670: 33 20 57 48 45 52 45 20 74 33 20 4d 41 54 43 48  3 WHERE t3 MATCH
3680: 20 27 6f 27 3b 0a 7d 20 7b 31 20 33 20 35 20 37   'o';.} {1 3 5 7
3690: 7d 0a 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65 73  }.do_execsql_tes
36a0: 74 20 38 2e 31 2e 33 20 7b 0a 20 20 53 45 4c 45  t 8.1.3 {.  SELE
36b0: 43 54 20 72 6f 77 69 64 20 46 52 4f 4d 20 74 33  CT rowid FROM t3
36c0: 20 57 48 45 52 45 20 74 33 20 4d 41 54 43 48 20   WHERE t3 MATCH 
36d0: 27 61 27 3b 0a 7d 20 7b 32 20 34 20 36 20 38 7d  'a';.} {2 4 6 8}
36e0: 0a 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65 73 74  .do_execsql_test
36f0: 20 38 2e 32 2e 31 20 7b 0a 20 20 43 52 45 41 54   8.2.1 {.  CREAT
3700: 45 20 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20  E VIRTUAL TABLE 
3710: 74 34 20 55 53 49 4e 47 20 66 74 73 34 28 74 6f  t4 USING fts4(to
3720: 6b 65 6e 69 7a 65 3d 75 6e 69 63 6f 64 65 36 31  kenize=unicode61
3730: 20 22 72 65 6d 6f 76 65 5f 64 69 61 63 72 69 74   "remove_diacrit
3740: 69 63 73 3d 30 22 29 3b 0a 20 20 49 4e 53 45 52  ics=0");.  INSER
3750: 54 20 49 4e 54 4f 20 74 34 20 53 45 4c 45 43 54  T INTO t4 SELECT
3760: 20 2a 20 46 52 4f 4d 20 74 33 3b 0a 7d 0a 64 6f   * FROM t3;.}.do
3770: 5f 65 78 65 63 73 71 6c 5f 74 65 73 74 20 38 2e  _execsql_test 8.
3780: 32 2e 32 20 7b 0a 20 20 53 45 4c 45 43 54 20 72  2.2 {.  SELECT r
3790: 6f 77 69 64 20 46 52 4f 4d 20 74 34 20 57 48 45  owid FROM t4 WHE
37a0: 52 45 20 74 34 20 4d 41 54 43 48 20 27 6f 27 3b  RE t4 MATCH 'o';
37b0: 0a 7d 20 7b 31 20 33 7d 0a 64 6f 5f 65 78 65 63  .} {1 3}.do_exec
37c0: 73 71 6c 5f 74 65 73 74 20 38 2e 32 2e 33 20 7b  sql_test 8.2.3 {
37d0: 0a 20 20 53 45 4c 45 43 54 20 72 6f 77 69 64 20  .  SELECT rowid 
37e0: 46 52 4f 4d 20 74 34 20 57 48 45 52 45 20 74 34  FROM t4 WHERE t4
37f0: 20 4d 41 54 43 48 20 27 61 27 3b 0a 7d 20 7b 32   MATCH 'a';.} {2
3800: 20 34 7d 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d   4}..#----------
3810: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
3820: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
3830: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
3840: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a  ---------------.
3850: 23 0a 66 6f 72 65 61 63 68 20 7b 74 6e 20 73 71  #.foreach {tn sq
3860: 6c 7d 20 7b 0a 20 20 31 20 7b 0a 20 20 20 20 43  l} {.  1 {.    C
3870: 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54 41  REATE VIRTUAL TA
3880: 42 4c 45 20 74 35 20 55 53 49 4e 47 20 66 74 73  BLE t5 USING fts
3890: 34 28 74 6f 6b 65 6e 69 7a 65 3d 75 6e 69 63 6f  4(tokenize=unico
38a0: 64 65 36 31 20 5b 74 6f 6b 65 6e 63 68 61 72 73  de61 [tokenchars
38b0: 3d 20 2e 5d 29 3b 0a 20 20 20 20 43 52 45 41 54  = .]);.    CREAT
38c0: 45 20 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20  E VIRTUAL TABLE 
38d0: 74 36 20 55 53 49 4e 47 20 66 74 73 34 28 0a 20  t6 USING fts4(. 
38e0: 20 20 20 20 20 20 20 74 6f 6b 65 6e 69 7a 65 3d         tokenize=
38f0: 75 6e 69 63 6f 64 65 36 31 20 5b 74 6f 6b 65 6e  unicode61 [token
3900: 63 68 61 72 73 3d 3d 22 5d 20 22 74 6f 6b 65 6e  chars=="] "token
3910: 63 68 61 72 73 3d 5b 5d 22 29 3b 0a 20 20 20 20  chars=[]");.    
3920: 43 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54  CREATE VIRTUAL T
3930: 41 42 4c 45 20 74 37 20 55 53 49 4e 47 20 66 74  ABLE t7 USING ft
3940: 73 34 28 74 6f 6b 65 6e 69 7a 65 3d 75 6e 69 63  s4(tokenize=unic
3950: 6f 64 65 36 31 20 5b 73 65 70 61 72 61 74 6f 72  ode61 [separator
3960: 73 3d 78 5c 78 43 34 5d 29 3b 0a 20 20 7d 0a 20  s=x\xC4]);.  }. 
3970: 20 32 20 7b 0a 20 20 20 20 43 52 45 41 54 45 20   2 {.    CREATE 
3980: 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 74 35  VIRTUAL TABLE t5
3990: 20 55 53 49 4e 47 20 66 74 73 34 28 74 6f 6b 65   USING fts4(toke
39a0: 6e 69 7a 65 3d 75 6e 69 63 6f 64 65 36 31 20 22  nize=unicode61 "
39b0: 74 6f 6b 65 6e 63 68 61 72 73 3d 20 2e 22 29 3b  tokenchars= .");
39c0: 0a 20 20 20 20 43 52 45 41 54 45 20 56 49 52 54  .    CREATE VIRT
39d0: 55 41 4c 20 54 41 42 4c 45 20 74 36 20 55 53 49  UAL TABLE t6 USI
39e0: 4e 47 20 66 74 73 34 28 74 6f 6b 65 6e 69 7a 65  NG fts4(tokenize
39f0: 3d 75 6e 69 63 6f 64 65 36 31 20 22 74 6f 6b 65  =unicode61 "toke
3a00: 6e 63 68 61 72 73 3d 5b 3d 22 22 5d 22 29 3b 0a  nchars=[=""]");.
3a10: 20 20 20 20 43 52 45 41 54 45 20 56 49 52 54 55      CREATE VIRTU
3a20: 41 4c 20 54 41 42 4c 45 20 74 37 20 55 53 49 4e  AL TABLE t7 USIN
3a30: 47 20 66 74 73 34 28 74 6f 6b 65 6e 69 7a 65 3d  G fts4(tokenize=
3a40: 75 6e 69 63 6f 64 65 36 31 20 22 73 65 70 61 72  unicode61 "separ
3a50: 61 74 6f 72 73 3d 78 5c 78 43 34 22 29 3b 0a 20  ators=x\xC4");. 
3a60: 20 7d 0a 20 20 33 20 7b 0a 20 20 20 20 43 52 45   }.  3 {.    CRE
3a70: 41 54 45 20 56 49 52 54 55 41 4c 20 54 41 42 4c  ATE VIRTUAL TABL
3a80: 45 20 74 35 20 55 53 49 4e 47 20 66 74 73 34 28  E t5 USING fts4(
3a90: 74 6f 6b 65 6e 69 7a 65 3d 75 6e 69 63 6f 64 65  tokenize=unicode
3aa0: 36 31 20 27 74 6f 6b 65 6e 63 68 61 72 73 3d 20  61 'tokenchars= 
3ab0: 2e 27 29 3b 0a 20 20 20 20 43 52 45 41 54 45 20  .');.    CREATE 
3ac0: 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 74 36  VIRTUAL TABLE t6
3ad0: 20 55 53 49 4e 47 20 66 74 73 34 28 74 6f 6b 65   USING fts4(toke
3ae0: 6e 69 7a 65 3d 75 6e 69 63 6f 64 65 36 31 20 27  nize=unicode61 '
3af0: 74 6f 6b 65 6e 63 68 61 72 73 3d 3d 22 5b 5d 27  tokenchars=="[]'
3b00: 29 3b 0a 20 20 20 20 43 52 45 41 54 45 20 56 49  );.    CREATE VI
3b10: 52 54 55 41 4c 20 54 41 42 4c 45 20 74 37 20 55  RTUAL TABLE t7 U
3b20: 53 49 4e 47 20 66 74 73 34 28 74 6f 6b 65 6e 69  SING fts4(tokeni
3b30: 7a 65 3d 75 6e 69 63 6f 64 65 36 31 20 27 73 65  ze=unicode61 'se
3b40: 70 61 72 61 74 6f 72 73 3d 78 5c 78 43 34 27 29  parators=x\xC4')
3b50: 3b 0a 20 20 7d 0a 20 20 34 20 7b 0a 20 20 20 20  ;.  }.  4 {.    
3b60: 43 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54  CREATE VIRTUAL T
3b70: 41 42 4c 45 20 74 35 20 55 53 49 4e 47 20 66 74  ABLE t5 USING ft
3b80: 73 34 28 74 6f 6b 65 6e 69 7a 65 3d 75 6e 69 63  s4(tokenize=unic
3b90: 6f 64 65 36 31 20 60 74 6f 6b 65 6e 63 68 61 72  ode61 `tokenchar
3ba0: 73 3d 20 2e 60 29 3b 0a 20 20 20 20 43 52 45 41  s= .`);.    CREA
3bb0: 54 45 20 56 49 52 54 55 41 4c 20 54 41 42 4c 45  TE VIRTUAL TABLE
3bc0: 20 74 36 20 55 53 49 4e 47 20 66 74 73 34 28 74   t6 USING fts4(t
3bd0: 6f 6b 65 6e 69 7a 65 3d 75 6e 69 63 6f 64 65 36  okenize=unicode6
3be0: 31 20 60 74 6f 6b 65 6e 63 68 61 72 73 3d 5b 3d  1 `tokenchars=[=
3bf0: 22 5d 60 29 3b 0a 20 20 20 20 43 52 45 41 54 45  "]`);.    CREATE
3c00: 20 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 74   VIRTUAL TABLE t
3c10: 37 20 55 53 49 4e 47 20 66 74 73 34 28 74 6f 6b  7 USING fts4(tok
3c20: 65 6e 69 7a 65 3d 75 6e 69 63 6f 64 65 36 31 20  enize=unicode61 
3c30: 60 73 65 70 61 72 61 74 6f 72 73 3d 78 5c 78 43  `separators=x\xC
3c40: 34 60 29 3b 0a 20 20 7d 0a 7d 20 7b 0a 20 20 64  4`);.  }.} {.  d
3c50: 6f 5f 65 78 65 63 73 71 6c 5f 74 65 73 74 20 39  o_execsql_test 9
3c60: 2e 24 74 6e 2e 30 20 7b 20 0a 20 20 20 20 44 52  .$tn.0 { .    DR
3c70: 4f 50 20 54 41 42 4c 45 20 49 46 20 45 58 49 53  OP TABLE IF EXIS
3c80: 54 53 20 74 35 3b 0a 20 20 20 20 44 52 4f 50 20  TS t5;.    DROP 
3c90: 54 41 42 4c 45 20 49 46 20 45 58 49 53 54 53 20  TABLE IF EXISTS 
3ca0: 74 35 61 75 78 3b 0a 20 20 20 20 44 52 4f 50 20  t5aux;.    DROP 
3cb0: 54 41 42 4c 45 20 49 46 20 45 58 49 53 54 53 20  TABLE IF EXISTS 
3cc0: 74 36 3b 0a 20 20 20 20 44 52 4f 50 20 54 41 42  t6;.    DROP TAB
3cd0: 4c 45 20 49 46 20 45 58 49 53 54 53 20 74 36 61  LE IF EXISTS t6a
3ce0: 75 78 3b 0a 20 20 20 20 44 52 4f 50 20 54 41 42  ux;.    DROP TAB
3cf0: 4c 45 20 49 46 20 45 58 49 53 54 53 20 74 37 3b  LE IF EXISTS t7;
3d00: 0a 20 20 20 20 44 52 4f 50 20 54 41 42 4c 45 20  .    DROP TABLE 
3d10: 49 46 20 45 58 49 53 54 53 20 74 37 61 75 78 3b  IF EXISTS t7aux;
3d20: 0a 20 20 7d 0a 20 20 64 6f 5f 65 78 65 63 73 71  .  }.  do_execsq
3d30: 6c 5f 74 65 73 74 20 39 2e 24 74 6e 2e 31 20 24  l_test 9.$tn.1 $
3d40: 73 71 6c 0a 0a 20 20 64 6f 5f 65 78 65 63 73 71  sql..  do_execsq
3d50: 6c 5f 74 65 73 74 20 39 2e 24 74 6e 2e 32 20 7b  l_test 9.$tn.2 {
3d60: 0a 20 20 20 20 43 52 45 41 54 45 20 56 49 52 54  .    CREATE VIRT
3d70: 55 41 4c 20 54 41 42 4c 45 20 74 35 61 75 78 20  UAL TABLE t5aux 
3d80: 55 53 49 4e 47 20 66 74 73 34 61 75 78 28 74 35  USING fts4aux(t5
3d90: 29 3b 0a 20 20 20 20 49 4e 53 45 52 54 20 49 4e  );.    INSERT IN
3da0: 54 4f 20 74 35 20 56 41 4c 55 45 53 28 27 6f 6e  TO t5 VALUES('on
3db0: 65 20 74 77 6f 20 74 68 72 65 65 2f 66 6f 75 72  e two three/four
3dc0: 2e 66 69 76 65 2e 73 69 78 27 29 3b 0a 20 20 20  .five.six');.   
3dd0: 20 53 45 4c 45 43 54 20 2a 20 46 52 4f 4d 20 74   SELECT * FROM t
3de0: 35 61 75 78 3b 0a 20 20 7d 20 7b 0a 20 20 20 20  5aux;.  } {.    
3df0: 66 6f 75 72 2e 66 69 76 65 2e 73 69 78 20 20 20  four.five.six   
3e00: 2a 20 31 20 31 20 66 6f 75 72 2e 66 69 76 65 2e  * 1 1 four.five.
3e10: 73 69 78 20 20 20 30 20 31 20 31 20 0a 20 20 20  six   0 1 1 .   
3e20: 20 7b 6f 6e 65 20 74 77 6f 20 74 68 72 65 65 7d   {one two three}
3e30: 20 2a 20 31 20 31 20 7b 6f 6e 65 20 74 77 6f 20   * 1 1 {one two 
3e40: 74 68 72 65 65 7d 20 30 20 31 20 31 0a 20 20 7d  three} 0 1 1.  }
3e50: 0a 0a 20 20 64 6f 5f 65 78 65 63 73 71 6c 5f 74  ..  do_execsql_t
3e60: 65 73 74 20 39 2e 24 74 6e 2e 33 20 7b 0a 20 20  est 9.$tn.3 {.  
3e70: 20 20 43 52 45 41 54 45 20 56 49 52 54 55 41 4c    CREATE VIRTUAL
3e80: 20 54 41 42 4c 45 20 74 36 61 75 78 20 55 53 49   TABLE t6aux USI
3e90: 4e 47 20 66 74 73 34 61 75 78 28 74 36 29 3b 0a  NG fts4aux(t6);.
3ea0: 20 20 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20      INSERT INTO 
3eb0: 74 36 20 56 41 4c 55 45 53 28 27 61 6c 70 68 61  t6 VALUES('alpha
3ec0: 3d 62 65 74 61 22 67 61 6d 6d 61 2f 64 65 6c 74  =beta"gamma/delt
3ed0: 61 5b 65 70 73 69 6c 6f 6e 5d 7a 65 74 61 27 29  a[epsilon]zeta')
3ee0: 3b 0a 20 20 20 20 53 45 4c 45 43 54 20 2a 20 46  ;.    SELECT * F
3ef0: 52 4f 4d 20 74 36 61 75 78 3b 0a 20 20 7d 20 7b  ROM t6aux;.  } {
3f00: 0a 20 20 20 20 7b 61 6c 70 68 61 3d 62 65 74 61  .    {alpha=beta
3f10: 22 67 61 6d 6d 61 7d 20 20 20 2a 20 31 20 31 20  "gamma}   * 1 1 
3f20: 7b 61 6c 70 68 61 3d 62 65 74 61 22 67 61 6d 6d  {alpha=beta"gamm
3f30: 61 7d 20 30 20 31 20 31 20 0a 20 20 20 20 7b 64  a} 0 1 1 .    {d
3f40: 65 6c 74 61 5b 65 70 73 69 6c 6f 6e 5d 7a 65 74  elta[epsilon]zet
3f50: 61 7d 20 2a 20 31 20 31 20 7b 64 65 6c 74 61 5b  a} * 1 1 {delta[
3f60: 65 70 73 69 6c 6f 6e 5d 7a 65 74 61 7d 20 30 20  epsilon]zeta} 0 
3f70: 31 20 31 0a 20 20 7d 0a 0a 20 20 64 6f 5f 65 78  1 1.  }..  do_ex
3f80: 65 63 73 71 6c 5f 74 65 73 74 20 39 2e 24 74 6e  ecsql_test 9.$tn
3f90: 2e 34 20 7b 0a 20 20 20 20 43 52 45 41 54 45 20  .4 {.    CREATE 
3fa0: 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 74 37  VIRTUAL TABLE t7
3fb0: 61 75 78 20 55 53 49 4e 47 20 66 74 73 34 61 75  aux USING fts4au
3fc0: 78 28 74 37 29 3b 0a 20 20 20 20 49 4e 53 45 52  x(t7);.    INSER
3fd0: 54 20 49 4e 54 4f 20 74 37 20 56 41 4c 55 45 53  T INTO t7 VALUES
3fe0: 28 27 61 6c 65 70 68 78 62 65 74 68 5c 78 43 34  ('alephxbeth\xC4
3ff0: 67 69 6d 65 6c 27 29 3b 0a 20 20 20 20 53 45 4c  gimel');.    SEL
4000: 45 43 54 20 2a 20 46 52 4f 4d 20 74 37 61 75 78  ECT * FROM t7aux
4010: 3b 0a 20 20 7d 20 7b 0a 20 20 20 20 61 6c 65 70  ;.  } {.    alep
4020: 68 20 2a 20 31 20 31 20 61 6c 65 70 68 20 30 20  h * 1 1 aleph 0 
4030: 31 20 31 20 0a 20 20 20 20 62 65 74 68 20 20 2a  1 1 .    beth  *
4040: 20 31 20 31 20 62 65 74 68 20 20 30 20 31 20 31   1 1 beth  0 1 1
4050: 20 0a 20 20 20 20 67 69 6d 65 6c 20 2a 20 31 20   .    gimel * 1 
4060: 31 20 67 69 6d 65 6c 20 30 20 31 20 31 0a 20 20  1 gimel 0 1 1.  
4070: 7d 0a 7d 0a 0a 23 20 43 68 65 63 6b 20 74 68 61  }.}..# Check tha
4080: 74 20 6d 75 6c 74 69 70 6c 65 20 6f 70 74 69 6f  t multiple optio
4090: 6e 73 20 61 72 65 20 68 61 6e 64 6c 65 64 20 63  ns are handled c
40a0: 6f 72 72 65 63 74 6c 79 2e 0a 23 0a 64 6f 5f 65  orrectly..#.do_e
40b0: 78 65 63 73 71 6c 5f 74 65 73 74 20 31 30 2e 31  xecsql_test 10.1
40c0: 20 7b 0a 20 20 44 52 4f 50 20 54 41 42 4c 45 20   {.  DROP TABLE 
40d0: 49 46 20 45 58 49 53 54 53 20 74 31 3b 0a 20 20  IF EXISTS t1;.  
40e0: 43 52 45 41 54 45 20 56 49 52 54 55 41 4c 20 54  CREATE VIRTUAL T
40f0: 41 42 4c 45 20 74 31 20 55 53 49 4e 47 20 66 74  ABLE t1 USING ft
4100: 73 34 28 74 6f 6b 65 6e 69 7a 65 3d 75 6e 69 63  s4(tokenize=unic
4110: 6f 64 65 36 31 0a 20 20 20 20 22 74 6f 6b 65 6e  ode61.    "token
4120: 63 68 61 72 73 3d 78 79 7a 22 20 22 74 6f 6b 65  chars=xyz" "toke
4130: 6e 63 68 61 72 73 3d 2e 3d 22 20 22 73 65 70 61  nchars=.=" "sepa
4140: 72 61 74 6f 72 73 3d 2e 3d 22 20 22 73 65 70 61  rators=.=" "sepa
4150: 72 61 74 6f 72 73 3d 78 79 22 0a 20 20 20 20 22  rators=xy".    "
4160: 73 65 70 61 72 61 74 6f 72 73 3d 61 22 20 22 73  separators=a" "s
4170: 65 70 61 72 61 74 6f 72 73 3d 61 22 20 22 74 6f  eparators=a" "to
4180: 6b 65 6e 63 68 61 72 73 3d 61 22 20 22 74 6f 6b  kenchars=a" "tok
4190: 65 6e 63 68 61 72 73 3d 61 22 0a 20 20 29 3b 0a  enchars=a".  );.
41a0: 0a 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74  .  INSERT INTO t
41b0: 31 20 56 41 4c 55 45 53 28 27 6f 6e 65 61 74 77  1 VALUES('oneatw
41c0: 6f 78 74 68 72 65 65 79 66 6f 75 72 27 29 3b 0a  oxthreeyfour');.
41d0: 20 20 49 4e 53 45 52 54 20 49 4e 54 4f 20 74 31    INSERT INTO t1
41e0: 20 56 41 4c 55 45 53 28 27 61 2e 73 69 6e 67 6c   VALUES('a.singl
41f0: 65 3d 77 6f 72 64 27 29 3b 0a 20 20 43 52 45 41  e=word');.  CREA
4200: 54 45 20 56 49 52 54 55 41 4c 20 54 41 42 4c 45  TE VIRTUAL TABLE
4210: 20 74 31 61 75 78 20 55 53 49 4e 47 20 66 74 73   t1aux USING fts
4220: 34 61 75 78 28 74 31 29 3b 0a 20 20 53 45 4c 45  4aux(t1);.  SELE
4230: 43 54 20 2a 20 46 52 4f 4d 20 74 31 61 75 78 3b  CT * FROM t1aux;
4240: 0a 7d 20 7b 0a 20 20 2e 73 69 6e 67 6c 65 3d 77  .} {.  .single=w
4250: 6f 72 64 20 2a 20 31 20 31 20 2e 73 69 6e 67 6c  ord * 1 1 .singl
4260: 65 3d 77 6f 72 64 20 30 20 31 20 31 20 0a 20 20  e=word 0 1 1 .  
4270: 66 6f 75 72 20 20 20 20 20 20 20 20 20 2a 20 31  four         * 1
4280: 20 31 20 66 6f 75 72 20 20 20 20 20 20 20 20 20   1 four         
4290: 30 20 31 20 31 20 0a 20 20 6f 6e 65 20 20 20 20  0 1 1 .  one    
42a0: 20 20 20 20 20 20 2a 20 31 20 31 20 6f 6e 65 20        * 1 1 one 
42b0: 20 20 20 20 20 20 20 20 20 30 20 31 20 31 20 0a           0 1 1 .
42c0: 20 20 74 68 72 65 65 20 20 20 20 20 20 20 20 2a    three        *
42d0: 20 31 20 31 20 74 68 72 65 65 20 20 20 20 20 20   1 1 three      
42e0: 20 20 30 20 31 20 31 20 0a 20 20 74 77 6f 20 20    0 1 1 .  two  
42f0: 20 20 20 20 20 20 20 20 2a 20 31 20 31 20 74 77          * 1 1 tw
4300: 6f 20 20 20 20 20 20 20 20 20 20 30 20 31 20 31  o          0 1 1
4310: 0a 7d 0a 0a 23 20 54 65 73 74 20 74 68 61 74 20  .}..# Test that 
4320: 63 61 73 65 20 66 6f 6c 64 69 6e 67 20 68 61 70  case folding hap
4330: 70 65 6e 73 20 61 66 74 65 72 20 74 6f 6b 65 6e  pens after token
4340: 69 7a 61 74 69 6f 6e 2c 20 6e 6f 74 20 62 65 66  ization, not bef
4350: 6f 72 65 2e 0a 23 0a 64 6f 5f 65 78 65 63 73 71  ore..#.do_execsq
4360: 6c 5f 74 65 73 74 20 31 30 2e 32 20 7b 0a 20 20  l_test 10.2 {.  
4370: 44 52 4f 50 20 54 41 42 4c 45 20 49 46 20 45 58  DROP TABLE IF EX
4380: 49 53 54 53 20 74 32 3b 0a 20 20 43 52 45 41 54  ISTS t2;.  CREAT
4390: 45 20 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20  E VIRTUAL TABLE 
43a0: 74 32 20 55 53 49 4e 47 20 66 74 73 34 28 74 6f  t2 USING fts4(to
43b0: 6b 65 6e 69 7a 65 3d 75 6e 69 63 6f 64 65 36 31  kenize=unicode61
43c0: 20 22 73 65 70 61 72 61 74 6f 72 73 3d 61 42 22   "separators=aB"
43d0: 29 3b 0a 20 20 49 4e 53 45 52 54 20 49 4e 54 4f  );.  INSERT INTO
43e0: 20 74 32 20 56 41 4c 55 45 53 28 27 6f 6e 65 61   t2 VALUES('onea
43f0: 74 77 6f 42 74 68 72 65 65 27 29 3b 0a 20 20 49  twoBthree');.  I
4400: 4e 53 45 52 54 20 49 4e 54 4f 20 74 32 20 56 41  NSERT INTO t2 VA
4410: 4c 55 45 53 28 27 6f 6e 65 62 74 77 6f 41 74 68  LUES('onebtwoAth
4420: 72 65 65 27 29 3b 0a 20 20 43 52 45 41 54 45 20  ree');.  CREATE 
4430: 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 74 32  VIRTUAL TABLE t2
4440: 61 75 78 20 55 53 49 4e 47 20 66 74 73 34 61 75  aux USING fts4au
4450: 78 28 74 32 29 3b 0a 20 20 53 45 4c 45 43 54 20  x(t2);.  SELECT 
4460: 2a 20 46 52 4f 4d 20 74 32 61 75 78 3b 0a 7d 20  * FROM t2aux;.} 
4470: 7b 0a 20 20 6f 6e 65 20 20 20 20 20 20 20 20 20  {.  one         
4480: 20 20 2a 20 31 20 31 20 6f 6e 65 20 20 20 20 20    * 1 1 one     
4490: 20 20 20 20 20 20 30 20 31 20 31 20 0a 20 20 6f        0 1 1 .  o
44a0: 6e 65 62 74 77 6f 61 74 68 72 65 65 20 2a 20 31  nebtwoathree * 1
44b0: 20 31 20 6f 6e 65 62 74 77 6f 61 74 68 72 65 65   1 onebtwoathree
44c0: 20 30 20 31 20 31 20 0a 20 20 74 68 72 65 65 20   0 1 1 .  three 
44d0: 20 20 20 20 20 20 20 20 2a 20 31 20 31 20 74 68          * 1 1 th
44e0: 72 65 65 20 20 20 20 20 20 20 20 20 30 20 31 20  ree         0 1 
44f0: 31 20 0a 20 20 74 77 6f 20 20 20 20 20 20 20 20  1 .  two        
4500: 20 20 20 2a 20 31 20 31 20 74 77 6f 20 20 20 20     * 1 1 two    
4510: 20 20 20 20 20 20 20 30 20 31 20 31 0a 7d 0a 0a         0 1 1.}..
4520: 23 20 54 65 73 74 20 74 68 61 74 20 74 68 65 20  # Test that the 
4530: 74 6f 6b 65 6e 63 68 61 72 73 20 61 6e 64 20 73  tokenchars and s
4540: 65 70 61 72 61 74 6f 72 73 20 6f 70 74 69 6f 6e  eparators option
4550: 73 20 77 6f 72 6b 20 77 69 74 68 20 74 68 65 20  s work with the 
4560: 0a 23 20 66 74 73 33 74 6f 6b 65 6e 69 7a 65 20  .# fts3tokenize 
4570: 74 61 62 6c 65 2e 0a 23 0a 64 6f 5f 65 78 65 63  table..#.do_exec
4580: 73 71 6c 5f 74 65 73 74 20 31 31 2e 31 20 7b 0a  sql_test 11.1 {.
4590: 20 20 43 52 45 41 54 45 20 56 49 52 54 55 41 4c    CREATE VIRTUAL
45a0: 20 54 41 42 4c 45 20 66 74 31 20 55 53 49 4e 47   TABLE ft1 USING
45b0: 20 66 74 73 33 74 6f 6b 65 6e 69 7a 65 28 0a 20   fts3tokenize(. 
45c0: 20 20 20 22 75 6e 69 63 6f 64 65 36 31 22 2c 20     "unicode61", 
45d0: 22 74 6f 6b 65 6e 63 68 61 72 73 3d 40 2e 22 2c  "tokenchars=@.",
45e0: 20 22 73 65 70 61 72 61 74 6f 72 73 3d 31 32 33   "separators=123
45f0: 34 35 36 37 38 39 30 22 0a 20 20 29 3b 0a 20 20  4567890".  );.  
4600: 53 45 4c 45 43 54 20 74 6f 6b 65 6e 20 46 52 4f  SELECT token FRO
4610: 4d 20 66 74 31 20 57 48 45 52 45 20 69 6e 70 75  M ft1 WHERE inpu
4620: 74 20 3d 20 27 62 65 72 6c 69 6e 40 73 74 72 65  t = 'berlin@stre
4630: 65 74 31 32 33 73 79 64 6e 65 79 2e 72 6f 61 64  et123sydney.road
4640: 27 3b 0a 7d 20 7b 0a 20 20 62 65 72 6c 69 6e 40  ';.} {.  berlin@
4650: 73 74 72 65 65 74 20 73 79 64 6e 65 79 2e 72 6f  street sydney.ro
4660: 61 64 0a 7d 0a 0a 66 69 6e 69 73 68 5f 74 65 73  ad.}..finish_tes
4670: 74 0a                                            t.