/ Hex Artifact Content
Login

Artifact 0a5bcc579f35de5d24a9345d7908dc25ae403ee7:


0000: 2f 2a 0a 2a 2a 20 32 30 30 36 20 4f 63 74 20 31  /*.** 2006 Oct 1
0010: 30 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74 68  0.**.** The auth
0020: 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f 70  or disclaims cop
0030: 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20 73  yright to this s
0040: 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e 20  ource code.  In 
0050: 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c 65  place of.** a le
0060: 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72 65  gal notice, here
0070: 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a 0a   is a blessing:.
0080: 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f 75  **.**    May you
0090: 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f 74   do good and not
00a0: 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61 79   evil..**    May
00b0: 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69 76   you find forgiv
00c0: 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73 65  eness for yourse
00d0: 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20 6f  lf and forgive o
00e0: 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61 79  thers..**    May
00f0: 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65 6c   you share freel
0100: 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67 20  y, never taking 
0110: 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67 69  more than you gi
0120: 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ve..**.*********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2a 20 49 6d 70 6c  *****.**.** Impl
0180: 65 6d 65 6e 74 61 74 69 6f 6e 20 6f 66 20 74 68  ementation of th
0190: 65 20 22 73 69 6d 70 6c 65 22 20 66 75 6c 6c 2d  e "simple" full-
01a0: 74 65 78 74 2d 73 65 61 72 63 68 20 74 6f 6b 65  text-search toke
01b0: 6e 69 7a 65 72 2e 0a 2a 2f 0a 0a 2f 2a 0a 2a 2a  nizer..*/../*.**
01c0: 20 54 68 65 20 63 6f 64 65 20 69 6e 20 74 68 69   The code in thi
01d0: 73 20 66 69 6c 65 20 69 73 20 6f 6e 6c 79 20 63  s file is only c
01e0: 6f 6d 70 69 6c 65 64 20 69 66 3a 0a 2a 2a 0a 2a  ompiled if:.**.*
01f0: 2a 20 20 20 20 20 2a 20 54 68 65 20 46 54 53 33  *     * The FTS3
0200: 20 6d 6f 64 75 6c 65 20 69 73 20 62 65 69 6e 67   module is being
0210: 20 62 75 69 6c 74 20 61 73 20 61 6e 20 65 78 74   built as an ext
0220: 65 6e 73 69 6f 6e 0a 2a 2a 20 20 20 20 20 20 20  ension.**       
0230: 28 69 6e 20 77 68 69 63 68 20 63 61 73 65 20 53  (in which case S
0240: 51 4c 49 54 45 5f 43 4f 52 45 20 69 73 20 6e 6f  QLITE_CORE is no
0250: 74 20 64 65 66 69 6e 65 64 29 2c 20 6f 72 0a 2a  t defined), or.*
0260: 2a 0a 2a 2a 20 20 20 20 20 2a 20 54 68 65 20 46  *.**     * The F
0270: 54 53 33 20 6d 6f 64 75 6c 65 20 69 73 20 62 65  TS3 module is be
0280: 69 6e 67 20 62 75 69 6c 74 20 69 6e 74 6f 20 74  ing built into t
0290: 68 65 20 63 6f 72 65 20 6f 66 0a 2a 2a 20 20 20  he core of.**   
02a0: 20 20 20 20 53 51 4c 69 74 65 20 28 69 6e 20 77      SQLite (in w
02b0: 68 69 63 68 20 63 61 73 65 20 53 51 4c 49 54 45  hich case SQLITE
02c0: 5f 45 4e 41 42 4c 45 5f 46 54 53 33 20 69 73 20  _ENABLE_FTS3 is 
02d0: 64 65 66 69 6e 65 64 29 2e 0a 2a 2f 0a 23 69 66  defined)..*/.#if
02e0: 20 21 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45   !defined(SQLITE
02f0: 5f 43 4f 52 45 29 20 7c 7c 20 64 65 66 69 6e 65  _CORE) || define
0300: 64 28 53 51 4c 49 54 45 5f 45 4e 41 42 4c 45 5f  d(SQLITE_ENABLE_
0310: 46 54 53 33 29 0a 0a 0a 23 69 6e 63 6c 75 64 65  FTS3)...#include
0320: 20 3c 61 73 73 65 72 74 2e 68 3e 0a 23 69 6e 63   <assert.h>.#inc
0330: 6c 75 64 65 20 3c 73 74 64 6c 69 62 2e 68 3e 0a  lude <stdlib.h>.
0340: 23 69 6e 63 6c 75 64 65 20 3c 73 74 64 69 6f 2e  #include <stdio.
0350: 68 3e 0a 23 69 6e 63 6c 75 64 65 20 3c 73 74 72  h>.#include <str
0360: 69 6e 67 2e 68 3e 0a 23 69 6e 63 6c 75 64 65 20  ing.h>.#include 
0370: 3c 63 74 79 70 65 2e 68 3e 0a 0a 23 69 6e 63 6c  <ctype.h>..#incl
0380: 75 64 65 20 22 66 74 73 33 5f 74 6f 6b 65 6e 69  ude "fts3_tokeni
0390: 7a 65 72 2e 68 22 0a 0a 74 79 70 65 64 65 66 20  zer.h"..typedef 
03a0: 73 74 72 75 63 74 20 73 69 6d 70 6c 65 5f 74 6f  struct simple_to
03b0: 6b 65 6e 69 7a 65 72 20 7b 0a 20 20 73 71 6c 69  kenizer {.  sqli
03c0: 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 20 62 61  te3_tokenizer ba
03d0: 73 65 3b 0a 20 20 63 68 61 72 20 64 65 6c 69 6d  se;.  char delim
03e0: 5b 31 32 38 5d 3b 20 20 20 20 20 20 20 20 20 20  [128];          
03f0: 20 20 20 2f 2a 20 66 6c 61 67 20 41 53 43 49 49     /* flag ASCII
0400: 20 64 65 6c 69 6d 69 74 65 72 73 20 2a 2f 0a 7d   delimiters */.}
0410: 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65   simple_tokenize
0420: 72 3b 0a 0a 74 79 70 65 64 65 66 20 73 74 72 75  r;..typedef stru
0430: 63 74 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69  ct simple_tokeni
0440: 7a 65 72 5f 63 75 72 73 6f 72 20 7b 0a 20 20 73  zer_cursor {.  s
0450: 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72  qlite3_tokenizer
0460: 5f 63 75 72 73 6f 72 20 62 61 73 65 3b 0a 20 20  _cursor base;.  
0470: 63 6f 6e 73 74 20 63 68 61 72 20 2a 70 49 6e 70  const char *pInp
0480: 75 74 3b 20 20 20 20 20 20 20 20 20 20 2f 2a 20  ut;          /* 
0490: 69 6e 70 75 74 20 77 65 20 61 72 65 20 74 6f 6b  input we are tok
04a0: 65 6e 69 7a 69 6e 67 20 2a 2f 0a 20 20 69 6e 74  enizing */.  int
04b0: 20 6e 42 79 74 65 73 3b 20 20 20 20 20 20 20 20   nBytes;        
04c0: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 73 69 7a            /* siz
04d0: 65 20 6f 66 20 74 68 65 20 69 6e 70 75 74 20 2a  e of the input *
04e0: 2f 0a 20 20 69 6e 74 20 69 4f 66 66 73 65 74 3b  /.  int iOffset;
04f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0500: 20 2f 2a 20 63 75 72 72 65 6e 74 20 70 6f 73 69   /* current posi
0510: 74 69 6f 6e 20 69 6e 20 70 49 6e 70 75 74 20 2a  tion in pInput *
0520: 2f 0a 20 20 69 6e 74 20 69 54 6f 6b 65 6e 3b 20  /.  int iToken; 
0530: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0540: 20 2f 2a 20 69 6e 64 65 78 20 6f 66 20 6e 65 78   /* index of nex
0550: 74 20 74 6f 6b 65 6e 20 74 6f 20 62 65 20 72 65  t token to be re
0560: 74 75 72 6e 65 64 20 2a 2f 0a 20 20 63 68 61 72  turned */.  char
0570: 20 2a 70 54 6f 6b 65 6e 3b 20 20 20 20 20 20 20   *pToken;       
0580: 20 20 20 20 20 20 20 20 20 2f 2a 20 73 74 6f 72           /* stor
0590: 61 67 65 20 66 6f 72 20 63 75 72 72 65 6e 74 20  age for current 
05a0: 74 6f 6b 65 6e 20 2a 2f 0a 20 20 69 6e 74 20 6e  token */.  int n
05b0: 54 6f 6b 65 6e 41 6c 6c 6f 63 61 74 65 64 3b 20  TokenAllocated; 
05c0: 20 20 20 20 20 20 20 20 2f 2a 20 73 70 61 63 65          /* space
05d0: 20 61 6c 6c 6f 63 61 74 65 64 20 74 6f 20 7a 54   allocated to zT
05e0: 6f 6b 65 6e 20 62 75 66 66 65 72 20 2a 2f 0a 7d  oken buffer */.}
05f0: 20 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65   simple_tokenize
0600: 72 5f 63 75 72 73 6f 72 3b 0a 0a 0a 2f 2a 20 46  r_cursor;.../* F
0610: 6f 72 77 61 72 64 20 64 65 63 6c 61 72 61 74 69  orward declarati
0620: 6f 6e 20 2a 2f 0a 73 74 61 74 69 63 20 63 6f 6e  on */.static con
0630: 73 74 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e  st sqlite3_token
0640: 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 73 69 6d 70  izer_module simp
0650: 6c 65 54 6f 6b 65 6e 69 7a 65 72 4d 6f 64 75 6c  leTokenizerModul
0660: 65 3b 0a 0a 73 74 61 74 69 63 20 69 6e 74 20 73  e;..static int s
0670: 69 6d 70 6c 65 44 65 6c 69 6d 28 73 69 6d 70 6c  impleDelim(simpl
0680: 65 5f 74 6f 6b 65 6e 69 7a 65 72 20 2a 74 2c 20  e_tokenizer *t, 
0690: 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20 63 29  unsigned char c)
06a0: 7b 0a 20 20 72 65 74 75 72 6e 20 63 3c 30 78 38  {.  return c<0x8
06b0: 30 20 26 26 20 74 2d 3e 64 65 6c 69 6d 5b 63 5d  0 && t->delim[c]
06c0: 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 43 72 65 61 74  ;.}../*.** Creat
06d0: 65 20 61 20 6e 65 77 20 74 6f 6b 65 6e 69 7a 65  e a new tokenize
06e0: 72 20 69 6e 73 74 61 6e 63 65 2e 0a 2a 2f 0a 73  r instance..*/.s
06f0: 74 61 74 69 63 20 69 6e 74 20 73 69 6d 70 6c 65  tatic int simple
0700: 43 72 65 61 74 65 28 0a 20 20 69 6e 74 20 61 72  Create(.  int ar
0710: 67 63 2c 20 63 6f 6e 73 74 20 63 68 61 72 20 2a  gc, const char *
0720: 20 63 6f 6e 73 74 20 2a 61 72 67 76 2c 0a 20 20   const *argv,.  
0730: 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65  sqlite3_tokenize
0740: 72 20 2a 2a 70 70 54 6f 6b 65 6e 69 7a 65 72 0a  r **ppTokenizer.
0750: 29 7b 0a 20 20 73 69 6d 70 6c 65 5f 74 6f 6b 65  ){.  simple_toke
0760: 6e 69 7a 65 72 20 2a 74 3b 0a 0a 20 20 74 20 3d  nizer *t;..  t =
0770: 20 28 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a   (simple_tokeniz
0780: 65 72 20 2a 29 20 73 71 6c 69 74 65 33 5f 6d 61  er *) sqlite3_ma
0790: 6c 6c 6f 63 28 73 69 7a 65 6f 66 28 2a 74 29 29  lloc(sizeof(*t))
07a0: 3b 0a 20 20 69 66 28 20 74 3d 3d 4e 55 4c 4c 20  ;.  if( t==NULL 
07b0: 29 20 72 65 74 75 72 6e 20 53 51 4c 49 54 45 5f  ) return SQLITE_
07c0: 4e 4f 4d 45 4d 3b 0a 20 20 6d 65 6d 73 65 74 28  NOMEM;.  memset(
07d0: 74 2c 20 30 2c 20 73 69 7a 65 6f 66 28 2a 74 29  t, 0, sizeof(*t)
07e0: 29 3b 0a 0a 20 20 2f 2a 20 54 4f 44 4f 28 73 68  );..  /* TODO(sh
07f0: 65 73 73 29 20 44 65 6c 69 6d 69 74 65 72 73 20  ess) Delimiters 
0800: 6e 65 65 64 20 74 6f 20 72 65 6d 61 69 6e 20 74  need to remain t
0810: 68 65 20 73 61 6d 65 20 66 72 6f 6d 20 72 75 6e  he same from run
0820: 20 74 6f 20 72 75 6e 2c 0a 20 20 2a 2a 20 65 6c   to run,.  ** el
0830: 73 65 20 77 65 20 6e 65 65 64 20 74 6f 20 72 65  se we need to re
0840: 69 6e 64 65 78 2e 20 20 4f 6e 65 20 73 6f 6c 75  index.  One solu
0850: 74 69 6f 6e 20 77 6f 75 6c 64 20 62 65 20 61 20  tion would be a 
0860: 6d 65 74 61 2d 74 61 62 6c 65 20 74 6f 0a 20 20  meta-table to.  
0870: 2a 2a 20 74 72 61 63 6b 20 73 75 63 68 20 69 6e  ** track such in
0880: 66 6f 72 6d 61 74 69 6f 6e 20 69 6e 20 74 68 65  formation in the
0890: 20 64 61 74 61 62 61 73 65 2c 20 74 68 65 6e 20   database, then 
08a0: 77 65 27 64 20 6f 6e 6c 79 20 77 61 6e 74 20 74  we'd only want t
08b0: 68 69 73 0a 20 20 2a 2a 20 69 6e 66 6f 72 6d 61  his.  ** informa
08c0: 74 69 6f 6e 20 6f 6e 20 74 68 65 20 69 6e 69 74  tion on the init
08d0: 69 61 6c 20 63 72 65 61 74 65 2e 0a 20 20 2a 2f  ial create..  */
08e0: 0a 20 20 69 66 28 20 61 72 67 63 3e 31 20 29 7b  .  if( argc>1 ){
08f0: 0a 20 20 20 20 69 6e 74 20 69 2c 20 6e 20 3d 20  .    int i, n = 
0900: 73 74 72 6c 65 6e 28 61 72 67 76 5b 31 5d 29 3b  strlen(argv[1]);
0910: 0a 20 20 20 20 66 6f 72 28 69 3d 30 3b 20 69 3c  .    for(i=0; i<
0920: 6e 3b 20 69 2b 2b 29 7b 0a 20 20 20 20 20 20 75  n; i++){.      u
0930: 6e 73 69 67 6e 65 64 20 63 68 61 72 20 63 68 20  nsigned char ch 
0940: 3d 20 61 72 67 76 5b 31 5d 5b 69 5d 3b 0a 20 20  = argv[1][i];.  
0950: 20 20 20 20 2f 2a 20 57 65 20 65 78 70 6c 69 63      /* We explic
0960: 69 74 6c 79 20 64 6f 6e 27 74 20 73 75 70 70 6f  itly don't suppo
0970: 72 74 20 55 54 46 2d 38 20 64 65 6c 69 6d 69 74  rt UTF-8 delimit
0980: 65 72 73 20 66 6f 72 20 6e 6f 77 2e 20 2a 2f 0a  ers for now. */.
0990: 20 20 20 20 20 20 69 66 28 20 63 68 3e 3d 30 78        if( ch>=0x
09a0: 38 30 20 29 7b 0a 20 20 20 20 20 20 20 20 73 71  80 ){.        sq
09b0: 6c 69 74 65 33 5f 66 72 65 65 28 74 29 3b 0a 20  lite3_free(t);. 
09c0: 20 20 20 20 20 20 20 72 65 74 75 72 6e 20 53 51         return SQ
09d0: 4c 49 54 45 5f 45 52 52 4f 52 3b 0a 20 20 20 20  LITE_ERROR;.    
09e0: 20 20 7d 0a 20 20 20 20 20 20 74 2d 3e 64 65 6c    }.      t->del
09f0: 69 6d 5b 63 68 5d 20 3d 20 31 3b 0a 20 20 20 20  im[ch] = 1;.    
0a00: 7d 0a 20 20 7d 20 65 6c 73 65 20 7b 0a 20 20 20  }.  } else {.   
0a10: 20 2f 2a 20 4d 61 72 6b 20 6e 6f 6e 2d 61 6c 70   /* Mark non-alp
0a20: 68 61 6e 75 6d 65 72 69 63 20 41 53 43 49 49 20  hanumeric ASCII 
0a30: 63 68 61 72 61 63 74 65 72 73 20 61 73 20 64 65  characters as de
0a40: 6c 69 6d 69 74 65 72 73 20 2a 2f 0a 20 20 20 20  limiters */.    
0a50: 69 6e 74 20 69 3b 0a 20 20 20 20 66 6f 72 28 69  int i;.    for(i
0a60: 3d 31 3b 20 69 3c 30 78 38 30 3b 20 69 2b 2b 29  =1; i<0x80; i++)
0a70: 7b 0a 20 20 20 20 20 20 74 2d 3e 64 65 6c 69 6d  {.      t->delim
0a80: 5b 69 5d 20 3d 20 21 69 73 61 6c 6e 75 6d 28 69  [i] = !isalnum(i
0a90: 29 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20  );.    }.  }..  
0aa0: 2a 70 70 54 6f 6b 65 6e 69 7a 65 72 20 3d 20 26  *ppTokenizer = &
0ab0: 74 2d 3e 62 61 73 65 3b 0a 20 20 72 65 74 75 72  t->base;.  retur
0ac0: 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d 0a 0a  n SQLITE_OK;.}..
0ad0: 2f 2a 0a 2a 2a 20 44 65 73 74 72 6f 79 20 61 20  /*.** Destroy a 
0ae0: 74 6f 6b 65 6e 69 7a 65 72 0a 2a 2f 0a 73 74 61  tokenizer.*/.sta
0af0: 74 69 63 20 69 6e 74 20 73 69 6d 70 6c 65 44 65  tic int simpleDe
0b00: 73 74 72 6f 79 28 73 71 6c 69 74 65 33 5f 74 6f  stroy(sqlite3_to
0b10: 6b 65 6e 69 7a 65 72 20 2a 70 54 6f 6b 65 6e 69  kenizer *pTokeni
0b20: 7a 65 72 29 7b 0a 20 20 73 71 6c 69 74 65 33 5f  zer){.  sqlite3_
0b30: 66 72 65 65 28 70 54 6f 6b 65 6e 69 7a 65 72 29  free(pTokenizer)
0b40: 3b 0a 20 20 72 65 74 75 72 6e 20 53 51 4c 49 54  ;.  return SQLIT
0b50: 45 5f 4f 4b 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 50  E_OK;.}../*.** P
0b60: 72 65 70 61 72 65 20 74 6f 20 62 65 67 69 6e 20  repare to begin 
0b70: 74 6f 6b 65 6e 69 7a 69 6e 67 20 61 20 70 61 72  tokenizing a par
0b80: 74 69 63 75 6c 61 72 20 73 74 72 69 6e 67 2e 20  ticular string. 
0b90: 20 54 68 65 20 69 6e 70 75 74 0a 2a 2a 20 73 74   The input.** st
0ba0: 72 69 6e 67 20 74 6f 20 62 65 20 74 6f 6b 65 6e  ring to be token
0bb0: 69 7a 65 64 20 69 73 20 70 49 6e 70 75 74 5b 30  ized is pInput[0
0bc0: 2e 2e 6e 42 79 74 65 73 2d 31 5d 2e 20 20 41 20  ..nBytes-1].  A 
0bd0: 63 75 72 73 6f 72 0a 2a 2a 20 75 73 65 64 20 74  cursor.** used t
0be0: 6f 20 69 6e 63 72 65 6d 65 6e 74 61 6c 6c 79 20  o incrementally 
0bf0: 74 6f 6b 65 6e 69 7a 65 20 74 68 69 73 20 73 74  tokenize this st
0c00: 72 69 6e 67 20 69 73 20 72 65 74 75 72 6e 65 64  ring is returned
0c10: 20 69 6e 20 0a 2a 2a 20 2a 70 70 43 75 72 73 6f   in .** *ppCurso
0c20: 72 2e 0a 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74  r..*/.static int
0c30: 20 73 69 6d 70 6c 65 4f 70 65 6e 28 0a 20 20 73   simpleOpen(.  s
0c40: 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72  qlite3_tokenizer
0c50: 20 2a 70 54 6f 6b 65 6e 69 7a 65 72 2c 20 20 20   *pTokenizer,   
0c60: 20 20 20 20 20 20 2f 2a 20 54 68 65 20 74 6f 6b        /* The tok
0c70: 65 6e 69 7a 65 72 20 2a 2f 0a 20 20 63 6f 6e 73  enizer */.  cons
0c80: 74 20 63 68 61 72 20 2a 70 49 6e 70 75 74 2c 20  t char *pInput, 
0c90: 69 6e 74 20 6e 42 79 74 65 73 2c 20 20 20 20 20  int nBytes,     
0ca0: 20 20 20 2f 2a 20 53 74 72 69 6e 67 20 74 6f 20     /* String to 
0cb0: 62 65 20 74 6f 6b 65 6e 69 7a 65 64 20 2a 2f 0a  be tokenized */.
0cc0: 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69    sqlite3_tokeni
0cd0: 7a 65 72 5f 63 75 72 73 6f 72 20 2a 2a 70 70 43  zer_cursor **ppC
0ce0: 75 72 73 6f 72 20 20 20 20 2f 2a 20 4f 55 54 3a  ursor    /* OUT:
0cf0: 20 54 6f 6b 65 6e 69 7a 61 74 69 6f 6e 20 63 75   Tokenization cu
0d00: 72 73 6f 72 20 2a 2f 0a 29 7b 0a 20 20 73 69 6d  rsor */.){.  sim
0d10: 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63 75  ple_tokenizer_cu
0d20: 72 73 6f 72 20 2a 63 3b 0a 0a 20 20 63 20 3d 20  rsor *c;..  c = 
0d30: 28 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65  (simple_tokenize
0d40: 72 5f 63 75 72 73 6f 72 20 2a 29 20 73 71 6c 69  r_cursor *) sqli
0d50: 74 65 33 5f 6d 61 6c 6c 6f 63 28 73 69 7a 65 6f  te3_malloc(sizeo
0d60: 66 28 2a 63 29 29 3b 0a 20 20 69 66 28 20 63 3d  f(*c));.  if( c=
0d70: 3d 4e 55 4c 4c 20 29 20 72 65 74 75 72 6e 20 53  =NULL ) return S
0d80: 51 4c 49 54 45 5f 4e 4f 4d 45 4d 3b 0a 0a 20 20  QLITE_NOMEM;..  
0d90: 63 2d 3e 70 49 6e 70 75 74 20 3d 20 70 49 6e 70  c->pInput = pInp
0da0: 75 74 3b 0a 20 20 69 66 28 20 70 49 6e 70 75 74  ut;.  if( pInput
0db0: 3d 3d 30 20 29 7b 0a 20 20 20 20 63 2d 3e 6e 42  ==0 ){.    c->nB
0dc0: 79 74 65 73 20 3d 20 30 3b 0a 20 20 7d 65 6c 73  ytes = 0;.  }els
0dd0: 65 20 69 66 28 20 6e 42 79 74 65 73 3c 30 20 29  e if( nBytes<0 )
0de0: 7b 0a 20 20 20 20 63 2d 3e 6e 42 79 74 65 73 20  {.    c->nBytes 
0df0: 3d 20 28 69 6e 74 29 73 74 72 6c 65 6e 28 70 49  = (int)strlen(pI
0e00: 6e 70 75 74 29 3b 0a 20 20 7d 65 6c 73 65 7b 0a  nput);.  }else{.
0e10: 20 20 20 20 63 2d 3e 6e 42 79 74 65 73 20 3d 20      c->nBytes = 
0e20: 6e 42 79 74 65 73 3b 0a 20 20 7d 0a 20 20 63 2d  nBytes;.  }.  c-
0e30: 3e 69 4f 66 66 73 65 74 20 3d 20 30 3b 20 20 20  >iOffset = 0;   
0e40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a                /*
0e50: 20 73 74 61 72 74 20 74 6f 6b 65 6e 69 7a 69 6e   start tokenizin
0e60: 67 20 61 74 20 74 68 65 20 62 65 67 69 6e 6e 69  g at the beginni
0e70: 6e 67 20 2a 2f 0a 20 20 63 2d 3e 69 54 6f 6b 65  ng */.  c->iToke
0e80: 6e 20 3d 20 30 3b 0a 20 20 63 2d 3e 70 54 6f 6b  n = 0;.  c->pTok
0e90: 65 6e 20 3d 20 4e 55 4c 4c 3b 20 20 20 20 20 20  en = NULL;      
0ea0: 20 20 20 20 20 20 20 20 20 2f 2a 20 6e 6f 20 73           /* no s
0eb0: 70 61 63 65 20 61 6c 6c 6f 63 61 74 65 64 2c 20  pace allocated, 
0ec0: 79 65 74 2e 20 2a 2f 0a 20 20 63 2d 3e 6e 54 6f  yet. */.  c->nTo
0ed0: 6b 65 6e 41 6c 6c 6f 63 61 74 65 64 20 3d 20 30  kenAllocated = 0
0ee0: 3b 0a 0a 20 20 2a 70 70 43 75 72 73 6f 72 20 3d  ;..  *ppCursor =
0ef0: 20 26 63 2d 3e 62 61 73 65 3b 0a 20 20 72 65 74   &c->base;.  ret
0f00: 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d  urn SQLITE_OK;.}
0f10: 0a 0a 2f 2a 0a 2a 2a 20 43 6c 6f 73 65 20 61 20  ../*.** Close a 
0f20: 74 6f 6b 65 6e 69 7a 61 74 69 6f 6e 20 63 75 72  tokenization cur
0f30: 73 6f 72 20 70 72 65 76 69 6f 75 73 6c 79 20 6f  sor previously o
0f40: 70 65 6e 65 64 20 62 79 20 61 20 63 61 6c 6c 20  pened by a call 
0f50: 74 6f 0a 2a 2a 20 73 69 6d 70 6c 65 4f 70 65 6e  to.** simpleOpen
0f60: 28 29 20 61 62 6f 76 65 2e 0a 2a 2f 0a 73 74 61  () above..*/.sta
0f70: 74 69 63 20 69 6e 74 20 73 69 6d 70 6c 65 43 6c  tic int simpleCl
0f80: 6f 73 65 28 73 71 6c 69 74 65 33 5f 74 6f 6b 65  ose(sqlite3_toke
0f90: 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a 70 43  nizer_cursor *pC
0fa0: 75 72 73 6f 72 29 7b 0a 20 20 73 69 6d 70 6c 65  ursor){.  simple
0fb0: 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63 75 72 73 6f  _tokenizer_curso
0fc0: 72 20 2a 63 20 3d 20 28 73 69 6d 70 6c 65 5f 74  r *c = (simple_t
0fd0: 6f 6b 65 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20  okenizer_cursor 
0fe0: 2a 29 20 70 43 75 72 73 6f 72 3b 0a 20 20 73 71  *) pCursor;.  sq
0ff0: 6c 69 74 65 33 5f 66 72 65 65 28 63 2d 3e 70 54  lite3_free(c->pT
1000: 6f 6b 65 6e 29 3b 0a 20 20 73 71 6c 69 74 65 33  oken);.  sqlite3
1010: 5f 66 72 65 65 28 63 29 3b 0a 20 20 72 65 74 75  _free(c);.  retu
1020: 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d 0a  rn SQLITE_OK;.}.
1030: 0a 2f 2a 0a 2a 2a 20 45 78 74 72 61 63 74 20 74  ./*.** Extract t
1040: 68 65 20 6e 65 78 74 20 74 6f 6b 65 6e 20 66 72  he next token fr
1050: 6f 6d 20 61 20 74 6f 6b 65 6e 69 7a 61 74 69 6f  om a tokenizatio
1060: 6e 20 63 75 72 73 6f 72 2e 20 20 54 68 65 20 63  n cursor.  The c
1070: 75 72 73 6f 72 20 6d 75 73 74 0a 2a 2a 20 68 61  ursor must.** ha
1080: 76 65 20 62 65 65 6e 20 6f 70 65 6e 65 64 20 62  ve been opened b
1090: 79 20 61 20 70 72 69 6f 72 20 63 61 6c 6c 20 74  y a prior call t
10a0: 6f 20 73 69 6d 70 6c 65 4f 70 65 6e 28 29 2e 0a  o simpleOpen()..
10b0: 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74 20 73 69  */.static int si
10c0: 6d 70 6c 65 4e 65 78 74 28 0a 20 20 73 71 6c 69  mpleNext(.  sqli
10d0: 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63 75  te3_tokenizer_cu
10e0: 72 73 6f 72 20 2a 70 43 75 72 73 6f 72 2c 20 20  rsor *pCursor,  
10f0: 2f 2a 20 43 75 72 73 6f 72 20 72 65 74 75 72 6e  /* Cursor return
1100: 65 64 20 62 79 20 73 69 6d 70 6c 65 4f 70 65 6e  ed by simpleOpen
1110: 20 2a 2f 0a 20 20 63 6f 6e 73 74 20 63 68 61 72   */.  const char
1120: 20 2a 2a 70 70 54 6f 6b 65 6e 2c 20 20 20 20 20   **ppToken,     
1130: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 4f 55 54            /* OUT
1140: 3a 20 2a 70 70 54 6f 6b 65 6e 20 69 73 20 74 68  : *ppToken is th
1150: 65 20 74 6f 6b 65 6e 20 74 65 78 74 20 2a 2f 0a  e token text */.
1160: 20 20 69 6e 74 20 2a 70 6e 42 79 74 65 73 2c 20    int *pnBytes, 
1170: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1180: 20 20 20 20 20 20 2f 2a 20 4f 55 54 3a 20 4e 75        /* OUT: Nu
1190: 6d 62 65 72 20 6f 66 20 62 79 74 65 73 20 69 6e  mber of bytes in
11a0: 20 74 6f 6b 65 6e 20 2a 2f 0a 20 20 69 6e 74 20   token */.  int 
11b0: 2a 70 69 53 74 61 72 74 4f 66 66 73 65 74 2c 20  *piStartOffset, 
11c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
11d0: 2f 2a 20 4f 55 54 3a 20 53 74 61 72 74 69 6e 67  /* OUT: Starting
11e0: 20 6f 66 66 73 65 74 20 6f 66 20 74 6f 6b 65 6e   offset of token
11f0: 20 2a 2f 0a 20 20 69 6e 74 20 2a 70 69 45 6e 64   */.  int *piEnd
1200: 4f 66 66 73 65 74 2c 20 20 20 20 20 20 20 20 20  Offset,         
1210: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 4f 55 54            /* OUT
1220: 3a 20 45 6e 64 69 6e 67 20 6f 66 66 73 65 74 20  : Ending offset 
1230: 6f 66 20 74 6f 6b 65 6e 20 2a 2f 0a 20 20 69 6e  of token */.  in
1240: 74 20 2a 70 69 50 6f 73 69 74 69 6f 6e 20 20 20  t *piPosition   
1250: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1260: 20 20 2f 2a 20 4f 55 54 3a 20 50 6f 73 69 74 69    /* OUT: Positi
1270: 6f 6e 20 69 6e 74 65 67 65 72 20 6f 66 20 74 6f  on integer of to
1280: 6b 65 6e 20 2a 2f 0a 29 7b 0a 20 20 73 69 6d 70  ken */.){.  simp
1290: 6c 65 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63 75 72  le_tokenizer_cur
12a0: 73 6f 72 20 2a 63 20 3d 20 28 73 69 6d 70 6c 65  sor *c = (simple
12b0: 5f 74 6f 6b 65 6e 69 7a 65 72 5f 63 75 72 73 6f  _tokenizer_curso
12c0: 72 20 2a 29 20 70 43 75 72 73 6f 72 3b 0a 20 20  r *) pCursor;.  
12d0: 73 69 6d 70 6c 65 5f 74 6f 6b 65 6e 69 7a 65 72  simple_tokenizer
12e0: 20 2a 74 20 3d 20 28 73 69 6d 70 6c 65 5f 74 6f   *t = (simple_to
12f0: 6b 65 6e 69 7a 65 72 20 2a 29 20 70 43 75 72 73  kenizer *) pCurs
1300: 6f 72 2d 3e 70 54 6f 6b 65 6e 69 7a 65 72 3b 0a  or->pTokenizer;.
1310: 20 20 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20    unsigned char 
1320: 2a 70 20 3d 20 28 75 6e 73 69 67 6e 65 64 20 63  *p = (unsigned c
1330: 68 61 72 20 2a 29 63 2d 3e 70 49 6e 70 75 74 3b  har *)c->pInput;
1340: 0a 0a 20 20 77 68 69 6c 65 28 20 63 2d 3e 69 4f  ..  while( c->iO
1350: 66 66 73 65 74 3c 63 2d 3e 6e 42 79 74 65 73 20  ffset<c->nBytes 
1360: 29 7b 0a 20 20 20 20 69 6e 74 20 69 53 74 61 72  ){.    int iStar
1370: 74 4f 66 66 73 65 74 3b 0a 0a 20 20 20 20 2f 2a  tOffset;..    /*
1380: 20 53 63 61 6e 20 70 61 73 74 20 64 65 6c 69 6d   Scan past delim
1390: 69 74 65 72 20 63 68 61 72 61 63 74 65 72 73 20  iter characters 
13a0: 2a 2f 0a 20 20 20 20 77 68 69 6c 65 28 20 63 2d  */.    while( c-
13b0: 3e 69 4f 66 66 73 65 74 3c 63 2d 3e 6e 42 79 74  >iOffset<c->nByt
13c0: 65 73 20 26 26 20 73 69 6d 70 6c 65 44 65 6c 69  es && simpleDeli
13d0: 6d 28 74 2c 20 70 5b 63 2d 3e 69 4f 66 66 73 65  m(t, p[c->iOffse
13e0: 74 5d 29 20 29 7b 0a 20 20 20 20 20 20 63 2d 3e  t]) ){.      c->
13f0: 69 4f 66 66 73 65 74 2b 2b 3b 0a 20 20 20 20 7d  iOffset++;.    }
1400: 0a 0a 20 20 20 20 2f 2a 20 43 6f 75 6e 74 20 6e  ..    /* Count n
1410: 6f 6e 2d 64 65 6c 69 6d 69 74 65 72 20 63 68 61  on-delimiter cha
1420: 72 61 63 74 65 72 73 2e 20 2a 2f 0a 20 20 20 20  racters. */.    
1430: 69 53 74 61 72 74 4f 66 66 73 65 74 20 3d 20 63  iStartOffset = c
1440: 2d 3e 69 4f 66 66 73 65 74 3b 0a 20 20 20 20 77  ->iOffset;.    w
1450: 68 69 6c 65 28 20 63 2d 3e 69 4f 66 66 73 65 74  hile( c->iOffset
1460: 3c 63 2d 3e 6e 42 79 74 65 73 20 26 26 20 21 73  <c->nBytes && !s
1470: 69 6d 70 6c 65 44 65 6c 69 6d 28 74 2c 20 70 5b  impleDelim(t, p[
1480: 63 2d 3e 69 4f 66 66 73 65 74 5d 29 20 29 7b 0a  c->iOffset]) ){.
1490: 20 20 20 20 20 20 63 2d 3e 69 4f 66 66 73 65 74        c->iOffset
14a0: 2b 2b 3b 0a 20 20 20 20 7d 0a 0a 20 20 20 20 69  ++;.    }..    i
14b0: 66 28 20 63 2d 3e 69 4f 66 66 73 65 74 3e 69 53  f( c->iOffset>iS
14c0: 74 61 72 74 4f 66 66 73 65 74 20 29 7b 0a 20 20  tartOffset ){.  
14d0: 20 20 20 20 69 6e 74 20 69 2c 20 6e 20 3d 20 63      int i, n = c
14e0: 2d 3e 69 4f 66 66 73 65 74 2d 69 53 74 61 72 74  ->iOffset-iStart
14f0: 4f 66 66 73 65 74 3b 0a 20 20 20 20 20 20 69 66  Offset;.      if
1500: 28 20 6e 3e 63 2d 3e 6e 54 6f 6b 65 6e 41 6c 6c  ( n>c->nTokenAll
1510: 6f 63 61 74 65 64 20 29 7b 0a 20 20 20 20 20 20  ocated ){.      
1520: 20 20 63 2d 3e 6e 54 6f 6b 65 6e 41 6c 6c 6f 63    c->nTokenAlloc
1530: 61 74 65 64 20 3d 20 6e 2b 32 30 3b 0a 20 20 20  ated = n+20;.   
1540: 20 20 20 20 20 63 2d 3e 70 54 6f 6b 65 6e 20 3d       c->pToken =
1550: 20 73 71 6c 69 74 65 33 5f 72 65 61 6c 6c 6f 63   sqlite3_realloc
1560: 28 63 2d 3e 70 54 6f 6b 65 6e 2c 20 63 2d 3e 6e  (c->pToken, c->n
1570: 54 6f 6b 65 6e 41 6c 6c 6f 63 61 74 65 64 29 3b  TokenAllocated);
1580: 0a 20 20 20 20 20 20 20 20 69 66 28 20 63 2d 3e  .        if( c->
1590: 70 54 6f 6b 65 6e 3d 3d 4e 55 4c 4c 20 29 20 72  pToken==NULL ) r
15a0: 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d  eturn SQLITE_NOM
15b0: 45 4d 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20 20  EM;.      }.    
15c0: 20 20 66 6f 72 28 69 3d 30 3b 20 69 3c 6e 3b 20    for(i=0; i<n; 
15d0: 69 2b 2b 29 7b 0a 20 20 20 20 20 20 20 20 2f 2a  i++){.        /*
15e0: 20 54 4f 44 4f 28 73 68 65 73 73 29 20 54 68 69   TODO(shess) Thi
15f0: 73 20 6e 65 65 64 73 20 65 78 70 61 6e 73 69 6f  s needs expansio
1600: 6e 20 74 6f 20 68 61 6e 64 6c 65 20 55 54 46 2d  n to handle UTF-
1610: 38 0a 20 20 20 20 20 20 20 20 2a 2a 20 63 61 73  8.        ** cas
1620: 65 2d 69 6e 73 65 6e 73 69 74 69 76 69 74 79 2e  e-insensitivity.
1630: 0a 20 20 20 20 20 20 20 20 2a 2f 0a 20 20 20 20  .        */.    
1640: 20 20 20 20 75 6e 73 69 67 6e 65 64 20 63 68 61      unsigned cha
1650: 72 20 63 68 20 3d 20 70 5b 69 53 74 61 72 74 4f  r ch = p[iStartO
1660: 66 66 73 65 74 2b 69 5d 3b 0a 20 20 20 20 20 20  ffset+i];.      
1670: 20 20 63 2d 3e 70 54 6f 6b 65 6e 5b 69 5d 20 3d    c->pToken[i] =
1680: 20 63 68 3c 30 78 38 30 20 3f 20 74 6f 6c 6f 77   ch<0x80 ? tolow
1690: 65 72 28 63 68 29 20 3a 20 63 68 3b 0a 20 20 20  er(ch) : ch;.   
16a0: 20 20 20 7d 0a 20 20 20 20 20 20 2a 70 70 54 6f     }.      *ppTo
16b0: 6b 65 6e 20 3d 20 63 2d 3e 70 54 6f 6b 65 6e 3b  ken = c->pToken;
16c0: 0a 20 20 20 20 20 20 2a 70 6e 42 79 74 65 73 20  .      *pnBytes 
16d0: 3d 20 6e 3b 0a 20 20 20 20 20 20 2a 70 69 53 74  = n;.      *piSt
16e0: 61 72 74 4f 66 66 73 65 74 20 3d 20 69 53 74 61  artOffset = iSta
16f0: 72 74 4f 66 66 73 65 74 3b 0a 20 20 20 20 20 20  rtOffset;.      
1700: 2a 70 69 45 6e 64 4f 66 66 73 65 74 20 3d 20 63  *piEndOffset = c
1710: 2d 3e 69 4f 66 66 73 65 74 3b 0a 20 20 20 20 20  ->iOffset;.     
1720: 20 2a 70 69 50 6f 73 69 74 69 6f 6e 20 3d 20 63   *piPosition = c
1730: 2d 3e 69 54 6f 6b 65 6e 2b 2b 3b 0a 0a 20 20 20  ->iToken++;..   
1740: 20 20 20 72 65 74 75 72 6e 20 53 51 4c 49 54 45     return SQLITE
1750: 5f 4f 4b 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20  _OK;.    }.  }. 
1760: 20 72 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 44   return SQLITE_D
1770: 4f 4e 45 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 54 68  ONE;.}../*.** Th
1780: 65 20 73 65 74 20 6f 66 20 72 6f 75 74 69 6e 65  e set of routine
1790: 73 20 74 68 61 74 20 69 6d 70 6c 65 6d 65 6e 74  s that implement
17a0: 20 74 68 65 20 73 69 6d 70 6c 65 20 74 6f 6b 65   the simple toke
17b0: 6e 69 7a 65 72 0a 2a 2f 0a 73 74 61 74 69 63 20  nizer.*/.static 
17c0: 63 6f 6e 73 74 20 73 71 6c 69 74 65 33 5f 74 6f  const sqlite3_to
17d0: 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 73  kenizer_module s
17e0: 69 6d 70 6c 65 54 6f 6b 65 6e 69 7a 65 72 4d 6f  impleTokenizerMo
17f0: 64 75 6c 65 20 3d 20 7b 0a 20 20 30 2c 0a 20 20  dule = {.  0,.  
1800: 73 69 6d 70 6c 65 43 72 65 61 74 65 2c 0a 20 20  simpleCreate,.  
1810: 73 69 6d 70 6c 65 44 65 73 74 72 6f 79 2c 0a 20  simpleDestroy,. 
1820: 20 73 69 6d 70 6c 65 4f 70 65 6e 2c 0a 20 20 73   simpleOpen,.  s
1830: 69 6d 70 6c 65 43 6c 6f 73 65 2c 0a 20 20 73 69  impleClose,.  si
1840: 6d 70 6c 65 4e 65 78 74 2c 0a 7d 3b 0a 0a 2f 2a  mpleNext,.};../*
1850: 0a 2a 2a 20 41 6c 6c 6f 63 61 74 65 20 61 20 6e  .** Allocate a n
1860: 65 77 20 73 69 6d 70 6c 65 20 74 6f 6b 65 6e 69  ew simple tokeni
1870: 7a 65 72 2e 20 20 52 65 74 75 72 6e 20 61 20 70  zer.  Return a p
1880: 6f 69 6e 74 65 72 20 74 6f 20 74 68 65 20 6e 65  ointer to the ne
1890: 77 0a 2a 2a 20 74 6f 6b 65 6e 69 7a 65 72 20 69  w.** tokenizer i
18a0: 6e 20 2a 70 70 4d 6f 64 75 6c 65 0a 2a 2f 0a 76  n *ppModule.*/.v
18b0: 6f 69 64 20 73 71 6c 69 74 65 33 46 74 73 33 53  oid sqlite3Fts3S
18c0: 69 6d 70 6c 65 54 6f 6b 65 6e 69 7a 65 72 4d 6f  impleTokenizerMo
18d0: 64 75 6c 65 28 0a 20 20 73 71 6c 69 74 65 33 5f  dule(.  sqlite3_
18e0: 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65  tokenizer_module
18f0: 20 63 6f 6e 73 74 2a 2a 70 70 4d 6f 64 75 6c 65   const**ppModule
1900: 0a 29 7b 0a 20 20 2a 70 70 4d 6f 64 75 6c 65 20  .){.  *ppModule 
1910: 3d 20 26 73 69 6d 70 6c 65 54 6f 6b 65 6e 69 7a  = &simpleTokeniz
1920: 65 72 4d 6f 64 75 6c 65 3b 0a 7d 0a 0a 23 65 6e  erModule;.}..#en
1930: 64 69 66 20 2f 2a 20 21 64 65 66 69 6e 65 64 28  dif /* !defined(
1940: 53 51 4c 49 54 45 5f 43 4f 52 45 29 20 7c 7c 20  SQLITE_CORE) || 
1950: 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f 45  defined(SQLITE_E
1960: 4e 41 42 4c 45 5f 46 54 53 33 29 20 2a 2f 0a     NABLE_FTS3) */.