/ Hex Artifact Content
Login

Artifact dcacb32d4a2a3f0dd3215d4a3987f78ae4be21a2:


0000: 23 20 32 30 31 36 20 4a 61 6e 20 31 35 0a 23 0a  # 2016 Jan 15.#.
0010: 23 20 54 68 65 20 61 75 74 68 6f 72 20 64 69 73  # The author dis
0020: 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67 68 74  claims copyright
0030: 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63 65 20   to this source 
0040: 63 6f 64 65 2e 20 20 49 6e 20 70 6c 61 63 65 20  code.  In place 
0050: 6f 66 0a 23 20 61 20 6c 65 67 61 6c 20 6e 6f 74  of.# a legal not
0060: 69 63 65 2c 20 68 65 72 65 20 69 73 20 61 20 62  ice, here is a b
0070: 6c 65 73 73 69 6e 67 3a 0a 23 0a 23 20 20 20 20  lessing:.#.#    
0080: 4d 61 79 20 79 6f 75 20 64 6f 20 67 6f 6f 64 20  May you do good 
0090: 61 6e 64 20 6e 6f 74 20 65 76 69 6c 2e 0a 23 20  and not evil..# 
00a0: 20 20 20 4d 61 79 20 79 6f 75 20 66 69 6e 64 20     May you find 
00b0: 66 6f 72 67 69 76 65 6e 65 73 73 20 66 6f 72 20  forgiveness for 
00c0: 79 6f 75 72 73 65 6c 66 20 61 6e 64 20 66 6f 72  yourself and for
00d0: 67 69 76 65 20 6f 74 68 65 72 73 2e 0a 23 20 20  give others..#  
00e0: 20 20 4d 61 79 20 79 6f 75 20 73 68 61 72 65 20    May you share 
00f0: 66 72 65 65 6c 79 2c 20 6e 65 76 65 72 20 74 61  freely, never ta
0100: 6b 69 6e 67 20 6d 6f 72 65 20 74 68 61 6e 20 79  king more than y
0110: 6f 75 20 67 69 76 65 2e 0a 23 0a 23 2a 2a 2a 2a  ou give..#.#****
0120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 0a 23 0a 0a 73 6f 75 72 63 65 20  *****.#..source 
0170: 5b 66 69 6c 65 20 6a 6f 69 6e 20 5b 66 69 6c 65  [file join [file
0180: 20 64 69 72 6e 61 6d 65 20 5b 69 6e 66 6f 20 73   dirname [info s
0190: 63 72 69 70 74 5d 5d 20 66 74 73 35 5f 63 6f 6d  cript]] fts5_com
01a0: 6d 6f 6e 2e 74 63 6c 5d 0a 69 66 63 61 70 61 62  mon.tcl].ifcapab
01b0: 6c 65 20 21 66 74 73 35 7c 7c 21 66 74 73 33 20  le !fts5||!fts3 
01c0: 7b 20 66 69 6e 69 73 68 5f 74 65 73 74 20 3b 20  { finish_test ; 
01d0: 72 65 74 75 72 6e 20 7d 0a 73 65 74 20 3a 3a 74  return }.set ::t
01e0: 65 73 74 70 72 65 66 69 78 20 66 74 73 35 74 6f  estprefix fts5to
01f0: 6b 32 0a 0a 73 71 6c 69 74 65 33 5f 66 74 73 35  k2..sqlite3_fts5
0200: 5f 72 65 67 69 73 74 65 72 5f 66 74 73 35 74 6f  _register_fts5to
0210: 6b 65 6e 69 7a 65 20 64 62 0a 0a 23 2d 2d 2d 2d  kenize db..#----
0220: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0230: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0240: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0250: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0260: 2d 2d 2d 2d 2d 0a 23 20 53 69 6d 70 6c 65 20 74  -----.# Simple t
0270: 65 73 74 20 63 61 73 65 73 2e 20 55 73 69 6e 67  est cases. Using
0280: 20 74 68 65 20 64 65 66 61 75 6c 74 20 28 61 73   the default (as
0290: 63 69 69 29 20 74 6f 6b 65 6e 69 7a 65 72 2e 0a  cii) tokenizer..
02a0: 23 0a 64 6f 5f 65 78 65 63 73 71 6c 5f 74 65 73  #.do_execsql_tes
02b0: 74 20 31 2e 30 20 7b 0a 20 20 43 52 45 41 54 45  t 1.0 {.  CREATE
02c0: 20 56 49 52 54 55 41 4c 20 54 41 42 4c 45 20 74   VIRTUAL TABLE t
02d0: 35 20 55 53 49 4e 47 20 66 74 73 35 74 6f 6b 65  5 USING fts5toke
02e0: 6e 69 7a 65 28 75 6e 69 63 6f 64 65 36 31 29 3b  nize(unicode61);
02f0: 0a 20 20 43 52 45 41 54 45 20 56 49 52 54 55 41  .  CREATE VIRTUA
0300: 4c 20 54 41 42 4c 45 20 74 33 20 55 53 49 4e 47  L TABLE t3 USING
0310: 20 66 74 73 33 74 6f 6b 65 6e 69 7a 65 28 75 6e   fts3tokenize(un
0320: 69 63 6f 64 65 36 31 29 3b 0a 7d 0a 0a 64 6f 5f  icode61);.}..do_
0330: 74 65 73 74 20 31 2e 31 20 7b 0a 20 20 61 72 72  test 1.1 {.  arr
0340: 61 79 20 75 6e 73 65 74 20 2d 6e 6f 63 6f 6d 70  ay unset -nocomp
0350: 6c 61 69 6e 20 41 0a 0a 20 20 66 6f 72 20 7b 73  lain A..  for {s
0360: 65 74 20 69 20 31 7d 20 7b 24 69 20 3c 20 36 35  et i 1} {$i < 65
0370: 35 33 36 7d 20 7b 69 6e 63 72 20 69 7d 20 7b 0a  536} {incr i} {.
0380: 20 20 20 20 73 65 74 20 69 6e 70 75 74 20 5b 66      set input [f
0390: 6f 72 6d 61 74 20 22 61 62 63 25 63 78 79 7a 22  ormat "abc%cxyz"
03a0: 20 24 69 5d 0a 20 20 20 20 20 20 73 65 74 20 65   $i].      set e
03b0: 78 70 65 63 74 20 5b 65 78 65 63 73 71 6c 20 7b  xpect [execsql {
03c0: 0a 20 20 20 20 20 20 20 20 53 45 4c 45 43 54 20  .        SELECT 
03d0: 69 6e 70 75 74 2c 20 74 6f 6b 65 6e 2c 20 73 74  input, token, st
03e0: 61 72 74 2c 20 65 6e 64 20 46 52 4f 4d 20 74 33  art, end FROM t3
03f0: 20 57 48 45 52 45 20 69 6e 70 75 74 3d 24 69 6e   WHERE input=$in
0400: 70 75 74 0a 20 20 20 20 7d 5d 0a 0a 20 20 20 20  put.    }]..    
0410: 69 6e 63 72 20 41 28 5b 6c 6c 65 6e 67 74 68 20  incr A([llength 
0420: 24 65 78 70 65 63 74 5d 29 0a 0a 20 20 20 20 73  $expect])..    s
0430: 65 74 20 72 65 73 20 5b 65 78 65 63 73 71 6c 20  et res [execsql 
0440: 7b 0a 20 20 20 20 20 20 53 45 4c 45 43 54 20 69  {.      SELECT i
0450: 6e 70 75 74 2c 20 74 6f 6b 65 6e 2c 20 73 74 61  nput, token, sta
0460: 72 74 2c 20 65 6e 64 20 46 52 4f 4d 20 74 35 28  rt, end FROM t5(
0470: 24 69 6e 70 75 74 29 0a 20 20 20 20 7d 5d 0a 20  $input).    }]. 
0480: 20 20 20 69 66 20 7b 24 72 65 73 20 21 3d 20 24     if {$res != $
0490: 65 78 70 65 63 74 7d 20 7b 65 72 72 6f 72 20 22  expect} {error "
04a0: 66 61 69 6c 65 64 20 61 74 20 69 3d 24 69 22 7d  failed at i=$i"}
04b0: 0a 20 20 7d 0a 7d 20 7b 7d 0a 0a 64 6f 5f 74 65  .  }.} {}..do_te
04c0: 73 74 20 31 2e 31 2e 6e 54 6f 6b 65 6e 43 68 61  st 1.1.nTokenCha
04d0: 72 73 3d 24 41 28 34 29 2e 6e 53 65 70 61 72 61  rs=$A(4).nSepara
04e0: 74 6f 72 73 3d 24 41 28 38 29 20 7b 7d 20 7b 7d  tors=$A(8) {} {}
04f0: 0a 0a 66 69 6e 69 73 68 5f 74 65 73 74 0a        ..finish_test.