/ Hex Artifact Content
Login
SQLite training in Houston TX on 2019-11-05 (details)
Part of the 2019 Tcl Conference

Artifact 5c98225a53705e5ee34824087478cf477bdb7004:


0000: 2f 2a 0a 2a 2a 20 32 30 30 36 20 4f 63 74 20 31  /*.** 2006 Oct 1
0010: 30 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74 68  0.**.** The auth
0020: 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f 70  or disclaims cop
0030: 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20 73  yright to this s
0040: 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e 20  ource code.  In 
0050: 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c 65  place of.** a le
0060: 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72 65  gal notice, here
0070: 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a 0a   is a blessing:.
0080: 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f 75  **.**    May you
0090: 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f 74   do good and not
00a0: 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61 79   evil..**    May
00b0: 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69 76   you find forgiv
00c0: 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73 65  eness for yourse
00d0: 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20 6f  lf and forgive o
00e0: 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61 79  thers..**    May
00f0: 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65 6c   you share freel
0100: 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67 20  y, never taking 
0110: 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67 69  more than you gi
0120: 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ve..**.*********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2a 20 49 6d 70 6c  *****.**.** Impl
0180: 65 6d 65 6e 74 61 74 69 6f 6e 20 6f 66 20 74 68  ementation of th
0190: 65 20 22 73 69 6d 70 6c 65 22 20 66 75 6c 6c 2d  e "simple" full-
01a0: 74 65 78 74 2d 73 65 61 72 63 68 20 74 6f 6b 65  text-search toke
01b0: 6e 69 7a 65 72 2e 0a 2a 2f 0a 0a 2f 2a 0a 2a 2a  nizer..*/../*.**
01c0: 20 54 68 65 20 63 6f 64 65 20 69 6e 20 74 68 69   The code in thi
01d0: 73 20 66 69 6c 65 20 69 73 20 6f 6e 6c 79 20 63  s file is only c
01e0: 6f 6d 70 69 6c 65 64 20 69 66 3a 0a 2a 2a 0a 2a  ompiled if:.**.*
01f0: 2a 20 20 20 20 20 2a 20 54 68 65 20 46 54 53 33  *     * The FTS3
0200: 20 6d 6f 64 75 6c 65 20 69 73 20 62 65 69 6e 67   module is being
0210: 20 62 75 69 6c 74 20 61 73 20 61 6e 20 65 78 74   built as an ext
0220: 65 6e 73 69 6f 6e 0a 2a 2a 20 20 20 20 20 20 20  ension.**       
0230: 28 69 6e 20 77 68 69 63 68 20 63 61 73 65 20 53  (in which case S
0240: 51 4c 49 54 45 5f 43 4f 52 45 20 69 73 20 6e 6f  QLITE_CORE is no
0250: 74 20 64 65 66 69 6e 65 64 29 2c 20 6f 72 0a 2a  t defined), or.*
0260: 2a 0a 2a 2a 20 20 20 20 20 2a 20 54 68 65 20 46  *.**     * The F
0270: 54 53 33 20 6d 6f 64 75 6c 65 20 69 73 20 62 65  TS3 module is be
0280: 69 6e 67 20 62 75 69 6c 74 20 69 6e 74 6f 20 74  ing built into t
0290: 68 65 20 63 6f 72 65 20 6f 66 0a 2a 2a 20 20 20  he core of.**   
02a0: 20 20 20 20 53 51 4c 69 74 65 20 28 69 6e 20 77      SQLite (in w
02b0: 68 69 63 68 20 63 61 73 65 20 53 51 4c 49 54 45  hich case SQLITE
02c0: 5f 45 4e 41 42 4c 45 5f 46 54 53 33 20 69 73 20  _ENABLE_FTS3 is 
02d0: 64 65 66 69 6e 65 64 29 2e 0a 2a 2f 0a 23 69 6e  defined)..*/.#in
02e0: 63 6c 75 64 65 20 22 66 74 73 33 49 6e 74 2e 68  clude "fts3Int.h
02f0: 22 0a 23 69 66 20 21 64 65 66 69 6e 65 64 28 53  ".#if !defined(S
0300: 51 4c 49 54 45 5f 43 4f 52 45 29 20 7c 7c 20 64  QLITE_CORE) || d
0310: 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f 45 4e  efined(SQLITE_EN
0320: 41 42 4c 45 5f 46 54 53 33 29 0a 0a 23 69 6e 63  ABLE_FTS3)..#inc
0330: 6c 75 64 65 20 3c 61 73 73 65 72 74 2e 68 3e 0a  lude <assert.h>.
0340: 23 69 6e 63 6c 75 64 65 20 3c 73 74 64 6c 69 62  #include <stdlib
0350: 2e 68 3e 0a 23 69 6e 63 6c 75 64 65 20 3c 73 74  .h>.#include <st
0360: 64 69 6f 2e 68 3e 0a 23 69 6e 63 6c 75 64 65 20  dio.h>.#include 
0370: 3c 73 74 72 69 6e 67 2e 68 3e 0a 0a 23 69 6e 63  <string.h>..#inc
0380: 6c 75 64 65 20 22 66 74 73 33 5f 74 6f 6b 65 6e  lude "fts3_token
0390: 69 7a 65 72 2e 68 22 0a 0a 74 79 70 65 64 65 66  izer.h"..typedef
03a0: 20 73 74 72 75 63 74 20 73 69 6d 70 6c 65 5f 74   struct simple_t
03b0: 6f 6b 65 6e 69 7a 65 72 20 7b 0a 20 20 73 71 6c  okenizer {.  sql
03c0: 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 20 62  ite3_tokenizer b
03d0: 61 73 65 3b 0a 20 20 63 68 61 72 20 64 65 6c 69  ase;.  char deli
03e0: 6d 5b 31 32 38 5d 3b 20 20 20 20 20 20 20 20 20  m[128];         
03f0: 20 20 20 20 2f 2a 20 66 6c 61 67 20 41 53 43 49      /* flag ASCI
0400: 49 20 64 65 6c 69 6d 69 74 65 72 73 20 2a 2f 0a  I delimiters */.
0410: 7d 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a  } simple_tokeniz
0420: 65 72 3b 0a 0a 74 79 70 65 64 65 66 20 73 74 72  er;..typedef str
0430: 75 63 74 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e  uct simple_token
0440: 69 7a 65 72 5f 63 75 72 73 6f 72 20 7b 0a 20 20  izer_cursor {.  
0450: 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65  sqlite3_tokenize
0460: 72 5f 63 75 72 73 6f 72 20 62 61 73 65 3b 0a 20  r_cursor base;. 
0470: 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 70 49 6e   const char *pIn
0480: 70 75 74 3b 20 20 20 20 20 20 20 20 20 20 2f 2a  put;          /*
0490: 20 69 6e 70 75 74 20 77 65 20 61 72 65 20 74 6f   input we are to
04a0: 6b 65 6e 69 7a 69 6e 67 20 2a 2f 0a 20 20 69 6e  kenizing */.  in
04b0: 74 20 6e 42 79 74 65 73 3b 20 20 20 20 20 20 20  t nBytes;       
04c0: 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 73 69             /* si
04d0: 7a 65 20 6f 66 20 74 68 65 20 69 6e 70 75 74 20  ze of the input 
04e0: 2a 2f 0a 20 20 69 6e 74 20 69 4f 66 66 73 65 74  */.  int iOffset
04f0: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
0500: 20 20 2f 2a 20 63 75 72 72 65 6e 74 20 70 6f 73    /* current pos
0510: 69 74 69 6f 6e 20 69 6e 20 70 49 6e 70 75 74 20  ition in pInput 
0520: 2a 2f 0a 20 20 69 6e 74 20 69 54 6f 6b 65 6e 3b  */.  int iToken;
0530: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0540: 20 20 2f 2a 20 69 6e 64 65 78 20 6f 66 20 6e 65    /* index of ne
0550: 78 74 20 74 6f 6b 65 6e 20 74 6f 20 62 65 20 72  xt token to be r
0560: 65 74 75 72 6e 65 64 20 2a 2f 0a 20 20 63 68 61  eturned */.  cha
0570: 72 20 2a 70 54 6f 6b 65 6e 3b 20 20 20 20 20 20  r *pToken;      
0580: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 73 74 6f            /* sto
0590: 72 61 67 65 20 66 6f 72 20 63 75 72 72 65 6e 74  rage for current
05a0: 20 74 6f 6b 65 6e 20 2a 2f 0a 20 20 69 6e 74 20   token */.  int 
05b0: 6e 54 6f 6b 65 6e 41 6c 6c 6f 63 61 74 65 64 3b  nTokenAllocated;
05c0: 20 20 20 20 20 20 20 20 20 2f 2a 20 73 70 61 63           /* spac
05d0: 65 20 61 6c 6c 6f 63 61 74 65 64 20 74 6f 20 7a  e allocated to z
05e0: 54 6f 6b 65 6e 20 62 75 66 66 65 72 20 2a 2f 0a  Token buffer */.
05f0: 7d 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a  } simple_tokeniz
0600: 65 72 5f 63 75 72 73 6f 72 3b 0a 0a 0a 73 74 61  er_cursor;...sta
0610: 74 69 63 20 69 6e 74 20 73 69 6d 70 6c 65 44 65  tic int simpleDe
0620: 6c 69 6d 28 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e  lim(simple_token
0630: 69 7a 65 72 20 2a 74 2c 20 75 6e 73 69 67 6e 65  izer *t, unsigne
0640: 64 20 63 68 61 72 20 63 29 7b 0a 20 20 72 65 74  d char c){.  ret
0650: 75 72 6e 20 63 3c 30 78 38 30 20 26 26 20 74 2d  urn c<0x80 && t-
0660: 3e 64 65 6c 69 6d 5b 63 5d 3b 0a 7d 0a 73 74 61  >delim[c];.}.sta
0670: 74 69 63 20 69 6e 74 20 66 74 73 33 5f 69 73 61  tic int fts3_isa
0680: 6c 6e 75 6d 28 69 6e 74 20 78 29 7b 0a 20 20 72  lnum(int x){.  r
0690: 65 74 75 72 6e 20 28 78 3e 3d 27 30 27 20 26 26  eturn (x>='0' &&
06a0: 20 78 3c 3d 27 39 27 29 20 7c 7c 20 28 78 3e 3d   x<='9') || (x>=
06b0: 27 41 27 20 26 26 20 78 3c 3d 27 5a 27 29 20 7c  'A' && x<='Z') |
06c0: 7c 20 28 78 3e 3d 27 61 27 20 26 26 20 78 3c 3d  | (x>='a' && x<=
06d0: 27 7a 27 29 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 43  'z');.}../*.** C
06e0: 72 65 61 74 65 20 61 20 6e 65 77 20 74 6f 6b 65  reate a new toke
06f0: 6e 69 7a 65 72 20 69 6e 73 74 61 6e 63 65 2e 0a  nizer instance..
0700: 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74 20 73 69  */.static int si
0710: 6d 70 6c 65 43 72 65 61 74 65 28 0a 20 20 69 6e  mpleCreate(.  in
0720: 74 20 61 72 67 63 2c 20 63 6f 6e 73 74 20 63 68  t argc, const ch
0730: 61 72 20 2a 20 63 6f 6e 73 74 20 2a 61 72 67 76  ar * const *argv
0740: 2c 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65  ,.  sqlite3_toke
0750: 6e 69 7a 65 72 20 2a 2a 70 70 54 6f 6b 65 6e 69  nizer **ppTokeni
0760: 7a 65 72 0a 29 7b 0a 20 20 73 69 6d 70 6c 65 5f  zer.){.  simple_
0770: 74 6f 6b 65 6e 69 7a 65 72 20 2a 74 3b 0a 0a 20  tokenizer *t;.. 
0780: 20 74 20 3d 20 28 73 69 6d 70 6c 65 5f 74 6f 6b   t = (simple_tok
0790: 65 6e 69 7a 65 72 20 2a 29 20 73 71 6c 69 74 65  enizer *) sqlite
07a0: 33 5f 6d 61 6c 6c 6f 63 28 73 69 7a 65 6f 66 28  3_malloc(sizeof(
07b0: 2a 74 29 29 3b 0a 20 20 69 66 28 20 74 3d 3d 4e  *t));.  if( t==N
07c0: 55 4c 4c 20 29 20 72 65 74 75 72 6e 20 53 51 4c  ULL ) return SQL
07d0: 49 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20 6d 65 6d  ITE_NOMEM;.  mem
07e0: 73 65 74 28 74 2c 20 30 2c 20 73 69 7a 65 6f 66  set(t, 0, sizeof
07f0: 28 2a 74 29 29 3b 0a 0a 20 20 2f 2a 20 54 4f 44  (*t));..  /* TOD
0800: 4f 28 73 68 65 73 73 29 20 44 65 6c 69 6d 69 74  O(shess) Delimit
0810: 65 72 73 20 6e 65 65 64 20 74 6f 20 72 65 6d 61  ers need to rema
0820: 69 6e 20 74 68 65 20 73 61 6d 65 20 66 72 6f 6d  in the same from
0830: 20 72 75 6e 20 74 6f 20 72 75 6e 2c 0a 20 20 2a   run to run,.  *
0840: 2a 20 65 6c 73 65 20 77 65 20 6e 65 65 64 20 74  * else we need t
0850: 6f 20 72 65 69 6e 64 65 78 2e 20 20 4f 6e 65 20  o reindex.  One 
0860: 73 6f 6c 75 74 69 6f 6e 20 77 6f 75 6c 64 20 62  solution would b
0870: 65 20 61 20 6d 65 74 61 2d 74 61 62 6c 65 20 74  e a meta-table t
0880: 6f 0a 20 20 2a 2a 20 74 72 61 63 6b 20 73 75 63  o.  ** track suc
0890: 68 20 69 6e 66 6f 72 6d 61 74 69 6f 6e 20 69 6e  h information in
08a0: 20 74 68 65 20 64 61 74 61 62 61 73 65 2c 20 74   the database, t
08b0: 68 65 6e 20 77 65 27 64 20 6f 6e 6c 79 20 77 61  hen we'd only wa
08c0: 6e 74 20 74 68 69 73 0a 20 20 2a 2a 20 69 6e 66  nt this.  ** inf
08d0: 6f 72 6d 61 74 69 6f 6e 20 6f 6e 20 74 68 65 20  ormation on the 
08e0: 69 6e 69 74 69 61 6c 20 63 72 65 61 74 65 2e 0a  initial create..
08f0: 20 20 2a 2f 0a 20 20 69 66 28 20 61 72 67 63 3e    */.  if( argc>
0900: 31 20 29 7b 0a 20 20 20 20 69 6e 74 20 69 2c 20  1 ){.    int i, 
0910: 6e 20 3d 20 28 69 6e 74 29 73 74 72 6c 65 6e 28  n = (int)strlen(
0920: 61 72 67 76 5b 31 5d 29 3b 0a 20 20 20 20 66 6f  argv[1]);.    fo
0930: 72 28 69 3d 30 3b 20 69 3c 6e 3b 20 69 2b 2b 29  r(i=0; i<n; i++)
0940: 7b 0a 20 20 20 20 20 20 75 6e 73 69 67 6e 65 64  {.      unsigned
0950: 20 63 68 61 72 20 63 68 20 3d 20 61 72 67 76 5b   char ch = argv[
0960: 31 5d 5b 69 5d 3b 0a 20 20 20 20 20 20 2f 2a 20  1][i];.      /* 
0970: 57 65 20 65 78 70 6c 69 63 69 74 6c 79 20 64 6f  We explicitly do
0980: 6e 27 74 20 73 75 70 70 6f 72 74 20 55 54 46 2d  n't support UTF-
0990: 38 20 64 65 6c 69 6d 69 74 65 72 73 20 66 6f 72  8 delimiters for
09a0: 20 6e 6f 77 2e 20 2a 2f 0a 20 20 20 20 20 20 69   now. */.      i
09b0: 66 28 20 63 68 3e 3d 30 78 38 30 20 29 7b 0a 20  f( ch>=0x80 ){. 
09c0: 20 20 20 20 20 20 20 73 71 6c 69 74 65 33 5f 66         sqlite3_f
09d0: 72 65 65 28 74 29 3b 0a 20 20 20 20 20 20 20 20  ree(t);.        
09e0: 72 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 45 52  return SQLITE_ER
09f0: 52 4f 52 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20  ROR;.      }.   
0a00: 20 20 20 74 2d 3e 64 65 6c 69 6d 5b 63 68 5d 20     t->delim[ch] 
0a10: 3d 20 31 3b 0a 20 20 20 20 7d 0a 20 20 7d 20 65  = 1;.    }.  } e
0a20: 6c 73 65 20 7b 0a 20 20 20 20 2f 2a 20 4d 61 72  lse {.    /* Mar
0a30: 6b 20 6e 6f 6e 2d 61 6c 70 68 61 6e 75 6d 65 72  k non-alphanumer
0a40: 69 63 20 41 53 43 49 49 20 63 68 61 72 61 63 74  ic ASCII charact
0a50: 65 72 73 20 61 73 20 64 65 6c 69 6d 69 74 65 72  ers as delimiter
0a60: 73 20 2a 2f 0a 20 20 20 20 69 6e 74 20 69 3b 0a  s */.    int i;.
0a70: 20 20 20 20 66 6f 72 28 69 3d 31 3b 20 69 3c 30      for(i=1; i<0
0a80: 78 38 30 3b 20 69 2b 2b 29 7b 0a 20 20 20 20 20  x80; i++){.     
0a90: 20 74 2d 3e 64 65 6c 69 6d 5b 69 5d 20 3d 20 21   t->delim[i] = !
0aa0: 66 74 73 33 5f 69 73 61 6c 6e 75 6d 28 69 29 20  fts3_isalnum(i) 
0ab0: 3f 20 2d 31 20 3a 20 30 3b 0a 20 20 20 20 7d 0a  ? -1 : 0;.    }.
0ac0: 20 20 7d 0a 0a 20 20 2a 70 70 54 6f 6b 65 6e 69    }..  *ppTokeni
0ad0: 7a 65 72 20 3d 20 26 74 2d 3e 62 61 73 65 3b 0a  zer = &t->base;.
0ae0: 20 20 72 65 74 75 72 6e 20 53 51 4c 49 54 45 5f    return SQLITE_
0af0: 4f 4b 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 44 65 73  OK;.}../*.** Des
0b00: 74 72 6f 79 20 61 20 74 6f 6b 65 6e 69 7a 65 72  troy a tokenizer
0b10: 0a 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74 20 73  .*/.static int s
0b20: 69 6d 70 6c 65 44 65 73 74 72 6f 79 28 73 71 6c  impleDestroy(sql
0b30: 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 20 2a  ite3_tokenizer *
0b40: 70 54 6f 6b 65 6e 69 7a 65 72 29 7b 0a 20 20 73  pTokenizer){.  s
0b50: 71 6c 69 74 65 33 5f 66 72 65 65 28 70 54 6f 6b  qlite3_free(pTok
0b60: 65 6e 69 7a 65 72 29 3b 0a 20 20 72 65 74 75 72  enizer);.  retur
0b70: 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d 0a 0a  n SQLITE_OK;.}..
0b80: 2f 2a 0a 2a 2a 20 50 72 65 70 61 72 65 20 74 6f  /*.** Prepare to
0b90: 20 62 65 67 69 6e 20 74 6f 6b 65 6e 69 7a 69 6e   begin tokenizin
0ba0: 67 20 61 20 70 61 72 74 69 63 75 6c 61 72 20 73  g a particular s
0bb0: 74 72 69 6e 67 2e 20 20 54 68 65 20 69 6e 70 75  tring.  The inpu
0bc0: 74 0a 2a 2a 20 73 74 72 69 6e 67 20 74 6f 20 62  t.** string to b
0bd0: 65 20 74 6f 6b 65 6e 69 7a 65 64 20 69 73 20 70  e tokenized is p
0be0: 49 6e 70 75 74 5b 30 2e 2e 6e 42 79 74 65 73 2d  Input[0..nBytes-
0bf0: 31 5d 2e 20 20 41 20 63 75 72 73 6f 72 0a 2a 2a  1].  A cursor.**
0c00: 20 75 73 65 64 20 74 6f 20 69 6e 63 72 65 6d 65   used to increme
0c10: 6e 74 61 6c 6c 79 20 74 6f 6b 65 6e 69 7a 65 20  ntally tokenize 
0c20: 74 68 69 73 20 73 74 72 69 6e 67 20 69 73 20 72  this string is r
0c30: 65 74 75 72 6e 65 64 20 69 6e 20 0a 2a 2a 20 2a  eturned in .** *
0c40: 70 70 43 75 72 73 6f 72 2e 0a 2a 2f 0a 73 74 61  ppCursor..*/.sta
0c50: 74 69 63 20 69 6e 74 20 73 69 6d 70 6c 65 4f 70  tic int simpleOp
0c60: 65 6e 28 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f  en(.  sqlite3_to
0c70: 6b 65 6e 69 7a 65 72 20 2a 70 54 6f 6b 65 6e 69  kenizer *pTokeni
0c80: 7a 65 72 2c 20 20 20 20 20 20 20 20 20 2f 2a 20  zer,         /* 
0c90: 54 68 65 20 74 6f 6b 65 6e 69 7a 65 72 20 2a 2f  The tokenizer */
0ca0: 0a 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 70  .  const char *p
0cb0: 49 6e 70 75 74 2c 20 69 6e 74 20 6e 42 79 74 65  Input, int nByte
0cc0: 73 2c 20 20 20 20 20 20 20 20 2f 2a 20 53 74 72  s,        /* Str
0cd0: 69 6e 67 20 74 6f 20 62 65 20 74 6f 6b 65 6e 69  ing to be tokeni
0ce0: 7a 65 64 20 2a 2f 0a 20 20 73 71 6c 69 74 65 33  zed */.  sqlite3
0cf0: 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63 75 72 73 6f  _tokenizer_curso
0d00: 72 20 2a 2a 70 70 43 75 72 73 6f 72 20 20 20 20  r **ppCursor    
0d10: 2f 2a 20 4f 55 54 3a 20 54 6f 6b 65 6e 69 7a 61  /* OUT: Tokeniza
0d20: 74 69 6f 6e 20 63 75 72 73 6f 72 20 2a 2f 0a 29  tion cursor */.)
0d30: 7b 0a 20 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e  {.  simple_token
0d40: 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a 63 3b 0a  izer_cursor *c;.
0d50: 0a 20 20 55 4e 55 53 45 44 5f 50 41 52 41 4d 45  .  UNUSED_PARAME
0d60: 54 45 52 28 70 54 6f 6b 65 6e 69 7a 65 72 29 3b  TER(pTokenizer);
0d70: 0a 0a 20 20 63 20 3d 20 28 73 69 6d 70 6c 65 5f  ..  c = (simple_
0d80: 74 6f 6b 65 6e 69 7a 65 72 5f 63 75 72 73 6f 72  tokenizer_cursor
0d90: 20 2a 29 20 73 71 6c 69 74 65 33 5f 6d 61 6c 6c   *) sqlite3_mall
0da0: 6f 63 28 73 69 7a 65 6f 66 28 2a 63 29 29 3b 0a  oc(sizeof(*c));.
0db0: 20 20 69 66 28 20 63 3d 3d 4e 55 4c 4c 20 29 20    if( c==NULL ) 
0dc0: 72 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 4e 4f  return SQLITE_NO
0dd0: 4d 45 4d 3b 0a 0a 20 20 63 2d 3e 70 49 6e 70 75  MEM;..  c->pInpu
0de0: 74 20 3d 20 70 49 6e 70 75 74 3b 0a 20 20 69 66  t = pInput;.  if
0df0: 28 20 70 49 6e 70 75 74 3d 3d 30 20 29 7b 0a 20  ( pInput==0 ){. 
0e00: 20 20 20 63 2d 3e 6e 42 79 74 65 73 20 3d 20 30     c->nBytes = 0
0e10: 3b 0a 20 20 7d 65 6c 73 65 20 69 66 28 20 6e 42  ;.  }else if( nB
0e20: 79 74 65 73 3c 30 20 29 7b 0a 20 20 20 20 63 2d  ytes<0 ){.    c-
0e30: 3e 6e 42 79 74 65 73 20 3d 20 28 69 6e 74 29 73  >nBytes = (int)s
0e40: 74 72 6c 65 6e 28 70 49 6e 70 75 74 29 3b 0a 20  trlen(pInput);. 
0e50: 20 7d 65 6c 73 65 7b 0a 20 20 20 20 63 2d 3e 6e   }else{.    c->n
0e60: 42 79 74 65 73 20 3d 20 6e 42 79 74 65 73 3b 0a  Bytes = nBytes;.
0e70: 20 20 7d 0a 20 20 63 2d 3e 69 4f 66 66 73 65 74    }.  c->iOffset
0e80: 20 3d 20 30 3b 20 20 20 20 20 20 20 20 20 20 20   = 0;           
0e90: 20 20 20 20 20 20 2f 2a 20 73 74 61 72 74 20 74        /* start t
0ea0: 6f 6b 65 6e 69 7a 69 6e 67 20 61 74 20 74 68 65  okenizing at the
0eb0: 20 62 65 67 69 6e 6e 69 6e 67 20 2a 2f 0a 20 20   beginning */.  
0ec0: 63 2d 3e 69 54 6f 6b 65 6e 20 3d 20 30 3b 0a 20  c->iToken = 0;. 
0ed0: 20 63 2d 3e 70 54 6f 6b 65 6e 20 3d 20 4e 55 4c   c->pToken = NUL
0ee0: 4c 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  L;              
0ef0: 20 2f 2a 20 6e 6f 20 73 70 61 63 65 20 61 6c 6c   /* no space all
0f00: 6f 63 61 74 65 64 2c 20 79 65 74 2e 20 2a 2f 0a  ocated, yet. */.
0f10: 20 20 63 2d 3e 6e 54 6f 6b 65 6e 41 6c 6c 6f 63    c->nTokenAlloc
0f20: 61 74 65 64 20 3d 20 30 3b 0a 0a 20 20 2a 70 70  ated = 0;..  *pp
0f30: 43 75 72 73 6f 72 20 3d 20 26 63 2d 3e 62 61 73  Cursor = &c->bas
0f40: 65 3b 0a 20 20 72 65 74 75 72 6e 20 53 51 4c 49  e;.  return SQLI
0f50: 54 45 5f 4f 4b 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20  TE_OK;.}../*.** 
0f60: 43 6c 6f 73 65 20 61 20 74 6f 6b 65 6e 69 7a 61  Close a tokeniza
0f70: 74 69 6f 6e 20 63 75 72 73 6f 72 20 70 72 65 76  tion cursor prev
0f80: 69 6f 75 73 6c 79 20 6f 70 65 6e 65 64 20 62 79  iously opened by
0f90: 20 61 20 63 61 6c 6c 20 74 6f 0a 2a 2a 20 73 69   a call to.** si
0fa0: 6d 70 6c 65 4f 70 65 6e 28 29 20 61 62 6f 76 65  mpleOpen() above
0fb0: 2e 0a 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74 20  ..*/.static int 
0fc0: 73 69 6d 70 6c 65 43 6c 6f 73 65 28 73 71 6c 69  simpleClose(sqli
0fd0: 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63 75  te3_tokenizer_cu
0fe0: 72 73 6f 72 20 2a 70 43 75 72 73 6f 72 29 7b 0a  rsor *pCursor){.
0ff0: 20 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a    simple_tokeniz
1000: 65 72 5f 63 75 72 73 6f 72 20 2a 63 20 3d 20 28  er_cursor *c = (
1010: 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65 72  simple_tokenizer
1020: 5f 63 75 72 73 6f 72 20 2a 29 20 70 43 75 72 73  _cursor *) pCurs
1030: 6f 72 3b 0a 20 20 73 71 6c 69 74 65 33 5f 66 72  or;.  sqlite3_fr
1040: 65 65 28 63 2d 3e 70 54 6f 6b 65 6e 29 3b 0a 20  ee(c->pToken);. 
1050: 20 73 71 6c 69 74 65 33 5f 66 72 65 65 28 63 29   sqlite3_free(c)
1060: 3b 0a 20 20 72 65 74 75 72 6e 20 53 51 4c 49 54  ;.  return SQLIT
1070: 45 5f 4f 4b 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 45  E_OK;.}../*.** E
1080: 78 74 72 61 63 74 20 74 68 65 20 6e 65 78 74 20  xtract the next 
1090: 74 6f 6b 65 6e 20 66 72 6f 6d 20 61 20 74 6f 6b  token from a tok
10a0: 65 6e 69 7a 61 74 69 6f 6e 20 63 75 72 73 6f 72  enization cursor
10b0: 2e 20 20 54 68 65 20 63 75 72 73 6f 72 20 6d 75  .  The cursor mu
10c0: 73 74 0a 2a 2a 20 68 61 76 65 20 62 65 65 6e 20  st.** have been 
10d0: 6f 70 65 6e 65 64 20 62 79 20 61 20 70 72 69 6f  opened by a prio
10e0: 72 20 63 61 6c 6c 20 74 6f 20 73 69 6d 70 6c 65  r call to simple
10f0: 4f 70 65 6e 28 29 2e 0a 2a 2f 0a 73 74 61 74 69  Open()..*/.stati
1100: 63 20 69 6e 74 20 73 69 6d 70 6c 65 4e 65 78 74  c int simpleNext
1110: 28 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65  (.  sqlite3_toke
1120: 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a 70 43  nizer_cursor *pC
1130: 75 72 73 6f 72 2c 20 20 2f 2a 20 43 75 72 73 6f  ursor,  /* Curso
1140: 72 20 72 65 74 75 72 6e 65 64 20 62 79 20 73 69  r returned by si
1150: 6d 70 6c 65 4f 70 65 6e 20 2a 2f 0a 20 20 63 6f  mpleOpen */.  co
1160: 6e 73 74 20 63 68 61 72 20 2a 2a 70 70 54 6f 6b  nst char **ppTok
1170: 65 6e 2c 20 20 20 20 20 20 20 20 20 20 20 20 20  en,             
1180: 20 20 2f 2a 20 4f 55 54 3a 20 2a 70 70 54 6f 6b    /* OUT: *ppTok
1190: 65 6e 20 69 73 20 74 68 65 20 74 6f 6b 65 6e 20  en is the token 
11a0: 74 65 78 74 20 2a 2f 0a 20 20 69 6e 74 20 2a 70  text */.  int *p
11b0: 6e 42 79 74 65 73 2c 20 20 20 20 20 20 20 20 20  nBytes,         
11c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a                /*
11d0: 20 4f 55 54 3a 20 4e 75 6d 62 65 72 20 6f 66 20   OUT: Number of 
11e0: 62 79 74 65 73 20 69 6e 20 74 6f 6b 65 6e 20 2a  bytes in token *
11f0: 2f 0a 20 20 69 6e 74 20 2a 70 69 53 74 61 72 74  /.  int *piStart
1200: 4f 66 66 73 65 74 2c 20 20 20 20 20 20 20 20 20  Offset,         
1210: 20 20 20 20 20 20 20 20 2f 2a 20 4f 55 54 3a 20          /* OUT: 
1220: 53 74 61 72 74 69 6e 67 20 6f 66 66 73 65 74 20  Starting offset 
1230: 6f 66 20 74 6f 6b 65 6e 20 2a 2f 0a 20 20 69 6e  of token */.  in
1240: 74 20 2a 70 69 45 6e 64 4f 66 66 73 65 74 2c 20  t *piEndOffset, 
1250: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1260: 20 20 2f 2a 20 4f 55 54 3a 20 45 6e 64 69 6e 67    /* OUT: Ending
1270: 20 6f 66 66 73 65 74 20 6f 66 20 74 6f 6b 65 6e   offset of token
1280: 20 2a 2f 0a 20 20 69 6e 74 20 2a 70 69 50 6f 73   */.  int *piPos
1290: 69 74 69 6f 6e 20 20 20 20 20 20 20 20 20 20 20  ition           
12a0: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 4f 55 54            /* OUT
12b0: 3a 20 50 6f 73 69 74 69 6f 6e 20 69 6e 74 65 67  : Position integ
12c0: 65 72 20 6f 66 20 74 6f 6b 65 6e 20 2a 2f 0a 29  er of token */.)
12d0: 7b 0a 20 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e  {.  simple_token
12e0: 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a 63 20 3d  izer_cursor *c =
12f0: 20 28 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a   (simple_tokeniz
1300: 65 72 5f 63 75 72 73 6f 72 20 2a 29 20 70 43 75  er_cursor *) pCu
1310: 72 73 6f 72 3b 0a 20 20 73 69 6d 70 6c 65 5f 74  rsor;.  simple_t
1320: 6f 6b 65 6e 69 7a 65 72 20 2a 74 20 3d 20 28 73  okenizer *t = (s
1330: 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65 72 20  imple_tokenizer 
1340: 2a 29 20 70 43 75 72 73 6f 72 2d 3e 70 54 6f 6b  *) pCursor->pTok
1350: 65 6e 69 7a 65 72 3b 0a 20 20 75 6e 73 69 67 6e  enizer;.  unsign
1360: 65 64 20 63 68 61 72 20 2a 70 20 3d 20 28 75 6e  ed char *p = (un
1370: 73 69 67 6e 65 64 20 63 68 61 72 20 2a 29 63 2d  signed char *)c-
1380: 3e 70 49 6e 70 75 74 3b 0a 0a 20 20 77 68 69 6c  >pInput;..  whil
1390: 65 28 20 63 2d 3e 69 4f 66 66 73 65 74 3c 63 2d  e( c->iOffset<c-
13a0: 3e 6e 42 79 74 65 73 20 29 7b 0a 20 20 20 20 69  >nBytes ){.    i
13b0: 6e 74 20 69 53 74 61 72 74 4f 66 66 73 65 74 3b  nt iStartOffset;
13c0: 0a 0a 20 20 20 20 2f 2a 20 53 63 61 6e 20 70 61  ..    /* Scan pa
13d0: 73 74 20 64 65 6c 69 6d 69 74 65 72 20 63 68 61  st delimiter cha
13e0: 72 61 63 74 65 72 73 20 2a 2f 0a 20 20 20 20 77  racters */.    w
13f0: 68 69 6c 65 28 20 63 2d 3e 69 4f 66 66 73 65 74  hile( c->iOffset
1400: 3c 63 2d 3e 6e 42 79 74 65 73 20 26 26 20 73 69  <c->nBytes && si
1410: 6d 70 6c 65 44 65 6c 69 6d 28 74 2c 20 70 5b 63  mpleDelim(t, p[c
1420: 2d 3e 69 4f 66 66 73 65 74 5d 29 20 29 7b 0a 20  ->iOffset]) ){. 
1430: 20 20 20 20 20 63 2d 3e 69 4f 66 66 73 65 74 2b       c->iOffset+
1440: 2b 3b 0a 20 20 20 20 7d 0a 0a 20 20 20 20 2f 2a  +;.    }..    /*
1450: 20 43 6f 75 6e 74 20 6e 6f 6e 2d 64 65 6c 69 6d   Count non-delim
1460: 69 74 65 72 20 63 68 61 72 61 63 74 65 72 73 2e  iter characters.
1470: 20 2a 2f 0a 20 20 20 20 69 53 74 61 72 74 4f 66   */.    iStartOf
1480: 66 73 65 74 20 3d 20 63 2d 3e 69 4f 66 66 73 65  fset = c->iOffse
1490: 74 3b 0a 20 20 20 20 77 68 69 6c 65 28 20 63 2d  t;.    while( c-
14a0: 3e 69 4f 66 66 73 65 74 3c 63 2d 3e 6e 42 79 74  >iOffset<c->nByt
14b0: 65 73 20 26 26 20 21 73 69 6d 70 6c 65 44 65 6c  es && !simpleDel
14c0: 69 6d 28 74 2c 20 70 5b 63 2d 3e 69 4f 66 66 73  im(t, p[c->iOffs
14d0: 65 74 5d 29 20 29 7b 0a 20 20 20 20 20 20 63 2d  et]) ){.      c-
14e0: 3e 69 4f 66 66 73 65 74 2b 2b 3b 0a 20 20 20 20  >iOffset++;.    
14f0: 7d 0a 0a 20 20 20 20 69 66 28 20 63 2d 3e 69 4f  }..    if( c->iO
1500: 66 66 73 65 74 3e 69 53 74 61 72 74 4f 66 66 73  ffset>iStartOffs
1510: 65 74 20 29 7b 0a 20 20 20 20 20 20 69 6e 74 20  et ){.      int 
1520: 69 2c 20 6e 20 3d 20 63 2d 3e 69 4f 66 66 73 65  i, n = c->iOffse
1530: 74 2d 69 53 74 61 72 74 4f 66 66 73 65 74 3b 0a  t-iStartOffset;.
1540: 20 20 20 20 20 20 69 66 28 20 6e 3e 63 2d 3e 6e        if( n>c->n
1550: 54 6f 6b 65 6e 41 6c 6c 6f 63 61 74 65 64 20 29  TokenAllocated )
1560: 7b 0a 20 20 20 20 20 20 20 20 63 68 61 72 20 2a  {.        char *
1570: 70 4e 65 77 3b 0a 20 20 20 20 20 20 20 20 63 2d  pNew;.        c-
1580: 3e 6e 54 6f 6b 65 6e 41 6c 6c 6f 63 61 74 65 64  >nTokenAllocated
1590: 20 3d 20 6e 2b 32 30 3b 0a 20 20 20 20 20 20 20   = n+20;.       
15a0: 20 70 4e 65 77 20 3d 20 73 71 6c 69 74 65 33 5f   pNew = sqlite3_
15b0: 72 65 61 6c 6c 6f 63 28 63 2d 3e 70 54 6f 6b 65  realloc(c->pToke
15c0: 6e 2c 20 63 2d 3e 6e 54 6f 6b 65 6e 41 6c 6c 6f  n, c->nTokenAllo
15d0: 63 61 74 65 64 29 3b 0a 20 20 20 20 20 20 20 20  cated);.        
15e0: 69 66 28 20 21 70 4e 65 77 20 29 20 72 65 74 75  if( !pNew ) retu
15f0: 72 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d 3b  rn SQLITE_NOMEM;
1600: 0a 20 20 20 20 20 20 20 20 63 2d 3e 70 54 6f 6b  .        c->pTok
1610: 65 6e 20 3d 20 70 4e 65 77 3b 0a 20 20 20 20 20  en = pNew;.     
1620: 20 7d 0a 20 20 20 20 20 20 66 6f 72 28 69 3d 30   }.      for(i=0
1630: 3b 20 69 3c 6e 3b 20 69 2b 2b 29 7b 0a 20 20 20  ; i<n; i++){.   
1640: 20 20 20 20 20 2f 2a 20 54 4f 44 4f 28 73 68 65       /* TODO(she
1650: 73 73 29 20 54 68 69 73 20 6e 65 65 64 73 20 65  ss) This needs e
1660: 78 70 61 6e 73 69 6f 6e 20 74 6f 20 68 61 6e 64  xpansion to hand
1670: 6c 65 20 55 54 46 2d 38 0a 20 20 20 20 20 20 20  le UTF-8.       
1680: 20 2a 2a 20 63 61 73 65 2d 69 6e 73 65 6e 73 69   ** case-insensi
1690: 74 69 76 69 74 79 2e 0a 20 20 20 20 20 20 20 20  tivity..        
16a0: 2a 2f 0a 20 20 20 20 20 20 20 20 75 6e 73 69 67  */.        unsig
16b0: 6e 65 64 20 63 68 61 72 20 63 68 20 3d 20 70 5b  ned char ch = p[
16c0: 69 53 74 61 72 74 4f 66 66 73 65 74 2b 69 5d 3b  iStartOffset+i];
16d0: 0a 20 20 20 20 20 20 20 20 63 2d 3e 70 54 6f 6b  .        c->pTok
16e0: 65 6e 5b 69 5d 20 3d 20 28 63 68 61 72 29 28 28  en[i] = (char)((
16f0: 63 68 3e 3d 27 41 27 20 26 26 20 63 68 3c 3d 27  ch>='A' && ch<='
1700: 5a 27 29 20 3f 20 63 68 2d 27 41 27 2b 27 61 27  Z') ? ch-'A'+'a'
1710: 20 3a 20 63 68 29 3b 0a 20 20 20 20 20 20 7d 0a   : ch);.      }.
1720: 20 20 20 20 20 20 2a 70 70 54 6f 6b 65 6e 20 3d        *ppToken =
1730: 20 63 2d 3e 70 54 6f 6b 65 6e 3b 0a 20 20 20 20   c->pToken;.    
1740: 20 20 2a 70 6e 42 79 74 65 73 20 3d 20 6e 3b 0a    *pnBytes = n;.
1750: 20 20 20 20 20 20 2a 70 69 53 74 61 72 74 4f 66        *piStartOf
1760: 66 73 65 74 20 3d 20 69 53 74 61 72 74 4f 66 66  fset = iStartOff
1770: 73 65 74 3b 0a 20 20 20 20 20 20 2a 70 69 45 6e  set;.      *piEn
1780: 64 4f 66 66 73 65 74 20 3d 20 63 2d 3e 69 4f 66  dOffset = c->iOf
1790: 66 73 65 74 3b 0a 20 20 20 20 20 20 2a 70 69 50  fset;.      *piP
17a0: 6f 73 69 74 69 6f 6e 20 3d 20 63 2d 3e 69 54 6f  osition = c->iTo
17b0: 6b 65 6e 2b 2b 3b 0a 0a 20 20 20 20 20 20 72 65  ken++;..      re
17c0: 74 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a  turn SQLITE_OK;.
17d0: 20 20 20 20 7d 0a 20 20 7d 0a 20 20 72 65 74 75      }.  }.  retu
17e0: 72 6e 20 53 51 4c 49 54 45 5f 44 4f 4e 45 3b 0a  rn SQLITE_DONE;.
17f0: 7d 0a 0a 2f 2a 0a 2a 2a 20 54 68 65 20 73 65 74  }../*.** The set
1800: 20 6f 66 20 72 6f 75 74 69 6e 65 73 20 74 68 61   of routines tha
1810: 74 20 69 6d 70 6c 65 6d 65 6e 74 20 74 68 65 20  t implement the 
1820: 73 69 6d 70 6c 65 20 74 6f 6b 65 6e 69 7a 65 72  simple tokenizer
1830: 0a 2a 2f 0a 73 74 61 74 69 63 20 63 6f 6e 73 74  .*/.static const
1840: 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a   sqlite3_tokeniz
1850: 65 72 5f 6d 6f 64 75 6c 65 20 73 69 6d 70 6c 65  er_module simple
1860: 54 6f 6b 65 6e 69 7a 65 72 4d 6f 64 75 6c 65 20  TokenizerModule 
1870: 3d 20 7b 0a 20 20 30 2c 0a 20 20 73 69 6d 70 6c  = {.  0,.  simpl
1880: 65 43 72 65 61 74 65 2c 0a 20 20 73 69 6d 70 6c  eCreate,.  simpl
1890: 65 44 65 73 74 72 6f 79 2c 0a 20 20 73 69 6d 70  eDestroy,.  simp
18a0: 6c 65 4f 70 65 6e 2c 0a 20 20 73 69 6d 70 6c 65  leOpen,.  simple
18b0: 43 6c 6f 73 65 2c 0a 20 20 73 69 6d 70 6c 65 4e  Close,.  simpleN
18c0: 65 78 74 2c 0a 20 20 30 2c 0a 7d 3b 0a 0a 2f 2a  ext,.  0,.};../*
18d0: 0a 2a 2a 20 41 6c 6c 6f 63 61 74 65 20 61 20 6e  .** Allocate a n
18e0: 65 77 20 73 69 6d 70 6c 65 20 74 6f 6b 65 6e 69  ew simple tokeni
18f0: 7a 65 72 2e 20 20 52 65 74 75 72 6e 20 61 20 70  zer.  Return a p
1900: 6f 69 6e 74 65 72 20 74 6f 20 74 68 65 20 6e 65  ointer to the ne
1910: 77 0a 2a 2a 20 74 6f 6b 65 6e 69 7a 65 72 20 69  w.** tokenizer i
1920: 6e 20 2a 70 70 4d 6f 64 75 6c 65 0a 2a 2f 0a 76  n *ppModule.*/.v
1930: 6f 69 64 20 73 71 6c 69 74 65 33 46 74 73 33 53  oid sqlite3Fts3S
1940: 69 6d 70 6c 65 54 6f 6b 65 6e 69 7a 65 72 4d 6f  impleTokenizerMo
1950: 64 75 6c 65 28 0a 20 20 73 71 6c 69 74 65 33 5f  dule(.  sqlite3_
1960: 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65  tokenizer_module
1970: 20 63 6f 6e 73 74 2a 2a 70 70 4d 6f 64 75 6c 65   const**ppModule
1980: 0a 29 7b 0a 20 20 2a 70 70 4d 6f 64 75 6c 65 20  .){.  *ppModule 
1990: 3d 20 26 73 69 6d 70 6c 65 54 6f 6b 65 6e 69 7a  = &simpleTokeniz
19a0: 65 72 4d 6f 64 75 6c 65 3b 0a 7d 0a 0a 23 65 6e  erModule;.}..#en
19b0: 64 69 66 20 2f 2a 20 21 64 65 66 69 6e 65 64 28  dif /* !defined(
19c0: 53 51 4c 49 54 45 5f 43 4f 52 45 29 20 7c 7c 20  SQLITE_CORE) || 
19d0: 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f 45  defined(SQLITE_E
19e0: 4e 41 42 4c 45 5f 46 54 53 33 29 20 2a 2f 0a     NABLE_FTS3) */.