/ Hex Artifact Content
Login
SQLite training in Houston TX on 2019-11-05 (details)
Part of the 2019 Tcl Conference

Artifact b770c5e0a8d2ee071ddffc7ab722dbf3474a8abe:


0000: 2f 2a 0a 2a 2a 20 32 30 31 34 20 4d 61 79 20 33  /*.** 2014 May 3
0010: 31 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74 68  1.**.** The auth
0020: 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f 70  or disclaims cop
0030: 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20 73  yright to this s
0040: 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e 20  ource code.  In 
0050: 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c 65  place of.** a le
0060: 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72 65  gal notice, here
0070: 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a 0a   is a blessing:.
0080: 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f 75  **.**    May you
0090: 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f 74   do good and not
00a0: 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61 79   evil..**    May
00b0: 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69 76   you find forgiv
00c0: 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73 65  eness for yourse
00d0: 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20 6f  lf and forgive o
00e0: 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61 79  thers..**    May
00f0: 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65 6c   you share freel
0100: 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67 20  y, never taking 
0110: 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67 69  more than you gi
0120: 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ve..**.*********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2a 20 49 6e 74 65  *****.**.** Inte
0180: 72 66 61 63 65 73 20 74 6f 20 65 78 74 65 6e 64  rfaces to extend
0190: 20 46 54 53 35 2e 20 55 73 69 6e 67 20 74 68 65   FTS5. Using the
01a0: 20 69 6e 74 65 72 66 61 63 65 73 20 64 65 66 69   interfaces defi
01b0: 6e 65 64 20 69 6e 20 74 68 69 73 20 66 69 6c 65  ned in this file
01c0: 2c 20 0a 2a 2a 20 46 54 53 35 20 6d 61 79 20 62  , .** FTS5 may b
01d0: 65 20 65 78 74 65 6e 64 65 64 20 77 69 74 68 3a  e extended with:
01e0: 0a 2a 2a 0a 2a 2a 20 20 20 20 20 2a 20 63 75 73  .**.**     * cus
01f0: 74 6f 6d 20 74 6f 6b 65 6e 69 7a 65 72 73 2c 20  tom tokenizers, 
0200: 61 6e 64 0a 2a 2a 20 20 20 20 20 2a 20 63 75 73  and.**     * cus
0210: 74 6f 6d 20 61 75 78 69 6c 69 61 72 79 20 66 75  tom auxiliary fu
0220: 6e 63 74 69 6f 6e 73 2e 0a 2a 2f 0a 0a 0a 23 69  nctions..*/...#i
0230: 66 6e 64 65 66 20 5f 46 54 53 35 5f 48 0a 23 64  fndef _FTS5_H.#d
0240: 65 66 69 6e 65 20 5f 46 54 53 35 5f 48 0a 0a 23  efine _FTS5_H..#
0250: 69 6e 63 6c 75 64 65 20 22 73 71 6c 69 74 65 33  include "sqlite3
0260: 2e 68 22 0a 0a 23 69 66 64 65 66 20 5f 5f 63 70  .h"..#ifdef __cp
0270: 6c 75 73 70 6c 75 73 0a 65 78 74 65 72 6e 20 22  lusplus.extern "
0280: 43 22 20 7b 0a 23 65 6e 64 69 66 0a 0a 2f 2a 2a  C" {.#endif../**
0290: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
02a0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
02b0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
02c0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
02d0: 2a 2a 2a 2a 2a 2a 2a 0a 2a 2a 20 43 55 53 54 4f  *******.** CUSTO
02e0: 4d 20 41 55 58 49 4c 49 41 52 59 20 46 55 4e 43  M AUXILIARY FUNC
02f0: 54 49 4f 4e 53 0a 2a 2a 0a 2a 2a 20 56 69 72 74  TIONS.**.** Virt
0300: 75 61 6c 20 74 61 62 6c 65 20 69 6d 70 6c 65 6d  ual table implem
0310: 65 6e 74 61 74 69 6f 6e 73 20 6d 61 79 20 6f 76  entations may ov
0320: 65 72 6c 6f 61 64 20 53 51 4c 20 66 75 6e 63 74  erload SQL funct
0330: 69 6f 6e 73 20 62 79 20 69 6d 70 6c 65 6d 65 6e  ions by implemen
0340: 74 69 6e 67 0a 2a 2a 20 74 68 65 20 73 71 6c 69  ting.** the sqli
0350: 74 65 33 5f 6d 6f 64 75 6c 65 2e 78 46 69 6e 64  te3_module.xFind
0360: 46 75 6e 63 74 69 6f 6e 28 29 20 6d 65 74 68 6f  Function() metho
0370: 64 2e 0a 2a 2f 0a 0a 74 79 70 65 64 65 66 20 73  d..*/..typedef s
0380: 74 72 75 63 74 20 46 74 73 35 45 78 74 65 6e 73  truct Fts5Extens
0390: 69 6f 6e 41 70 69 20 46 74 73 35 45 78 74 65 6e  ionApi Fts5Exten
03a0: 73 69 6f 6e 41 70 69 3b 0a 74 79 70 65 64 65 66  sionApi;.typedef
03b0: 20 73 74 72 75 63 74 20 46 74 73 35 43 6f 6e 74   struct Fts5Cont
03c0: 65 78 74 20 46 74 73 35 43 6f 6e 74 65 78 74 3b  ext Fts5Context;
03d0: 0a 74 79 70 65 64 65 66 20 73 74 72 75 63 74 20  .typedef struct 
03e0: 46 74 73 35 50 68 72 61 73 65 49 74 65 72 20 46  Fts5PhraseIter F
03f0: 74 73 35 50 68 72 61 73 65 49 74 65 72 3b 0a 0a  ts5PhraseIter;..
0400: 74 79 70 65 64 65 66 20 76 6f 69 64 20 28 2a 66  typedef void (*f
0410: 74 73 35 5f 65 78 74 65 6e 73 69 6f 6e 5f 66 75  ts5_extension_fu
0420: 6e 63 74 69 6f 6e 29 28 0a 20 20 63 6f 6e 73 74  nction)(.  const
0430: 20 46 74 73 35 45 78 74 65 6e 73 69 6f 6e 41 70   Fts5ExtensionAp
0440: 69 20 2a 70 41 70 69 2c 20 20 20 2f 2a 20 41 50  i *pApi,   /* AP
0450: 49 20 6f 66 66 65 72 65 64 20 62 79 20 63 75 72  I offered by cur
0460: 72 65 6e 74 20 46 54 53 20 76 65 72 73 69 6f 6e  rent FTS version
0470: 20 2a 2f 0a 20 20 46 74 73 35 43 6f 6e 74 65 78   */.  Fts5Contex
0480: 74 20 2a 70 46 74 73 2c 20 20 20 20 20 20 20 20  t *pFts,        
0490: 20 20 20 20 20 20 2f 2a 20 46 69 72 73 74 20 61        /* First a
04a0: 72 67 20 74 6f 20 70 61 73 73 20 74 6f 20 70 41  rg to pass to pA
04b0: 70 69 20 66 75 6e 63 74 69 6f 6e 73 20 2a 2f 0a  pi functions */.
04c0: 20 20 73 71 6c 69 74 65 33 5f 63 6f 6e 74 65 78    sqlite3_contex
04d0: 74 20 2a 70 43 74 78 2c 20 20 20 20 20 20 20 20  t *pCtx,        
04e0: 20 20 2f 2a 20 43 6f 6e 74 65 78 74 20 66 6f 72    /* Context for
04f0: 20 72 65 74 75 72 6e 69 6e 67 20 72 65 73 75 6c   returning resul
0500: 74 2f 65 72 72 6f 72 20 2a 2f 0a 20 20 69 6e 74  t/error */.  int
0510: 20 6e 56 61 6c 2c 20 20 20 20 20 20 20 20 20 20   nVal,          
0520: 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20               /* 
0530: 4e 75 6d 62 65 72 20 6f 66 20 76 61 6c 75 65 73  Number of values
0540: 20 69 6e 20 61 70 56 61 6c 5b 5d 20 61 72 72 61   in apVal[] arra
0550: 79 20 2a 2f 0a 20 20 73 71 6c 69 74 65 33 5f 76  y */.  sqlite3_v
0560: 61 6c 75 65 20 2a 2a 61 70 56 61 6c 20 20 20 20  alue **apVal    
0570: 20 20 20 20 20 20 20 2f 2a 20 41 72 72 61 79 20         /* Array 
0580: 6f 66 20 74 72 61 69 6c 69 6e 67 20 61 72 67 75  of trailing argu
0590: 6d 65 6e 74 73 20 2a 2f 0a 29 3b 0a 0a 73 74 72  ments */.);..str
05a0: 75 63 74 20 46 74 73 35 50 68 72 61 73 65 49 74  uct Fts5PhraseIt
05b0: 65 72 20 7b 0a 20 20 63 6f 6e 73 74 20 75 6e 73  er {.  const uns
05c0: 69 67 6e 65 64 20 63 68 61 72 20 2a 61 3b 0a 20  igned char *a;. 
05d0: 20 63 6f 6e 73 74 20 75 6e 73 69 67 6e 65 64 20   const unsigned 
05e0: 63 68 61 72 20 2a 62 3b 0a 7d 3b 0a 0a 2f 2a 0a  char *b;.};../*.
05f0: 2a 2a 20 45 58 54 45 4e 53 49 4f 4e 20 41 50 49  ** EXTENSION API
0600: 20 46 55 4e 43 54 49 4f 4e 53 0a 2a 2a 0a 2a 2a   FUNCTIONS.**.**
0610: 20 78 55 73 65 72 44 61 74 61 28 70 46 74 73 29   xUserData(pFts)
0620: 3a 0a 2a 2a 20 20 20 52 65 74 75 72 6e 20 61 20  :.**   Return a 
0630: 63 6f 70 79 20 6f 66 20 74 68 65 20 63 6f 6e 74  copy of the cont
0640: 65 78 74 20 70 6f 69 6e 74 65 72 20 74 68 65 20  ext pointer the 
0650: 65 78 74 65 6e 73 69 6f 6e 20 66 75 6e 63 74 69  extension functi
0660: 6f 6e 20 77 61 73 20 0a 2a 2a 20 20 20 72 65 67  on was .**   reg
0670: 69 73 74 65 72 65 64 20 77 69 74 68 2e 0a 2a 2a  istered with..**
0680: 0a 2a 2a 20 78 43 6f 6c 75 6d 6e 54 6f 74 61 6c  .** xColumnTotal
0690: 53 69 7a 65 28 70 46 74 73 2c 20 69 43 6f 6c 2c  Size(pFts, iCol,
06a0: 20 70 6e 54 6f 6b 65 6e 29 3a 0a 2a 2a 20 20 20   pnToken):.**   
06b0: 49 66 20 70 61 72 61 6d 65 74 65 72 20 69 43 6f  If parameter iCo
06c0: 6c 20 69 73 20 6c 65 73 73 20 74 68 61 6e 20 7a  l is less than z
06d0: 65 72 6f 2c 20 73 65 74 20 6f 75 74 70 75 74 20  ero, set output 
06e0: 76 61 72 69 61 62 6c 65 20 2a 70 6e 54 6f 6b 65  variable *pnToke
06f0: 6e 0a 2a 2a 20 20 20 74 6f 20 74 68 65 20 74 6f  n.**   to the to
0700: 74 61 6c 20 6e 75 6d 62 65 72 20 6f 66 20 74 6f  tal number of to
0710: 6b 65 6e 73 20 69 6e 20 74 68 65 20 46 54 53 35  kens in the FTS5
0720: 20 74 61 62 6c 65 2e 20 4f 72 2c 20 69 66 20 69   table. Or, if i
0730: 43 6f 6c 20 69 73 0a 2a 2a 20 20 20 6e 6f 6e 2d  Col is.**   non-
0740: 6e 65 67 61 74 69 76 65 20 62 75 74 20 6c 65 73  negative but les
0750: 73 20 74 68 61 6e 20 74 68 65 20 6e 75 6d 62 65  s than the numbe
0760: 72 20 6f 66 20 63 6f 6c 75 6d 6e 73 20 69 6e 20  r of columns in 
0770: 74 68 65 20 74 61 62 6c 65 2c 20 72 65 74 75 72  the table, retur
0780: 6e 0a 2a 2a 20 20 20 74 68 65 20 74 6f 74 61 6c  n.**   the total
0790: 20 6e 75 6d 62 65 72 20 6f 66 20 74 6f 6b 65 6e   number of token
07a0: 73 20 69 6e 20 63 6f 6c 75 6d 6e 20 69 43 6f 6c  s in column iCol
07b0: 2c 20 63 6f 6e 73 69 64 65 72 69 6e 67 20 61 6c  , considering al
07c0: 6c 20 72 6f 77 73 20 69 6e 20 0a 2a 2a 20 20 20  l rows in .**   
07d0: 74 68 65 20 46 54 53 35 20 74 61 62 6c 65 2e 0a  the FTS5 table..
07e0: 2a 2a 0a 2a 2a 20 20 20 49 66 20 70 61 72 61 6d  **.**   If param
07f0: 65 74 65 72 20 69 43 6f 6c 20 69 73 20 67 72 65  eter iCol is gre
0800: 61 74 65 72 20 74 68 61 6e 20 6f 72 20 65 71 75  ater than or equ
0810: 61 6c 20 74 6f 20 74 68 65 20 6e 75 6d 62 65 72  al to the number
0820: 20 6f 66 20 63 6f 6c 75 6d 6e 73 0a 2a 2a 20 20   of columns.**  
0830: 20 69 6e 20 74 68 65 20 74 61 62 6c 65 2c 20 53   in the table, S
0840: 51 4c 49 54 45 5f 52 41 4e 47 45 20 69 73 20 72  QLITE_RANGE is r
0850: 65 74 75 72 6e 65 64 2e 20 4f 72 2c 20 69 66 20  eturned. Or, if 
0860: 61 6e 20 65 72 72 6f 72 20 6f 63 63 75 72 73 20  an error occurs 
0870: 28 65 2e 67 2e 0a 2a 2a 20 20 20 61 6e 20 4f 4f  (e.g..**   an OO
0880: 4d 20 63 6f 6e 64 69 74 69 6f 6e 20 6f 72 20 49  M condition or I
0890: 4f 20 65 72 72 6f 72 29 2c 20 61 6e 20 61 70 70  O error), an app
08a0: 72 6f 70 72 69 61 74 65 20 53 51 4c 69 74 65 20  ropriate SQLite 
08b0: 65 72 72 6f 72 20 63 6f 64 65 20 69 73 20 0a 2a  error code is .*
08c0: 2a 20 20 20 72 65 74 75 72 6e 65 64 2e 0a 2a 2a  *   returned..**
08d0: 0a 2a 2a 20 78 43 6f 6c 75 6d 6e 43 6f 75 6e 74  .** xColumnCount
08e0: 28 70 46 74 73 29 3a 0a 2a 2a 20 20 20 52 65 74  (pFts):.**   Ret
08f0: 75 72 6e 20 74 68 65 20 6e 75 6d 62 65 72 20 6f  urn the number o
0900: 66 20 63 6f 6c 75 6d 6e 73 20 69 6e 20 74 68 65  f columns in the
0910: 20 74 61 62 6c 65 2e 0a 2a 2a 0a 2a 2a 20 78 43   table..**.** xC
0920: 6f 6c 75 6d 6e 53 69 7a 65 28 70 46 74 73 2c 20  olumnSize(pFts, 
0930: 69 43 6f 6c 2c 20 70 6e 54 6f 6b 65 6e 29 3a 0a  iCol, pnToken):.
0940: 2a 2a 20 20 20 49 66 20 70 61 72 61 6d 65 74 65  **   If paramete
0950: 72 20 69 43 6f 6c 20 69 73 20 6c 65 73 73 20 74  r iCol is less t
0960: 68 61 6e 20 7a 65 72 6f 2c 20 73 65 74 20 6f 75  han zero, set ou
0970: 74 70 75 74 20 76 61 72 69 61 62 6c 65 20 2a 70  tput variable *p
0980: 6e 54 6f 6b 65 6e 0a 2a 2a 20 20 20 74 6f 20 74  nToken.**   to t
0990: 68 65 20 74 6f 74 61 6c 20 6e 75 6d 62 65 72 20  he total number 
09a0: 6f 66 20 74 6f 6b 65 6e 73 20 69 6e 20 74 68 65  of tokens in the
09b0: 20 63 75 72 72 65 6e 74 20 72 6f 77 2e 20 4f 72   current row. Or
09c0: 2c 20 69 66 20 69 43 6f 6c 20 69 73 0a 2a 2a 20  , if iCol is.** 
09d0: 20 20 6e 6f 6e 2d 6e 65 67 61 74 69 76 65 20 62    non-negative b
09e0: 75 74 20 6c 65 73 73 20 74 68 61 6e 20 74 68 65  ut less than the
09f0: 20 6e 75 6d 62 65 72 20 6f 66 20 63 6f 6c 75 6d   number of colum
0a00: 6e 73 20 69 6e 20 74 68 65 20 74 61 62 6c 65 2c  ns in the table,
0a10: 20 73 65 74 0a 2a 2a 20 20 20 2a 70 6e 54 6f 6b   set.**   *pnTok
0a20: 65 6e 20 74 6f 20 74 68 65 20 6e 75 6d 62 65 72  en to the number
0a30: 20 6f 66 20 74 6f 6b 65 6e 73 20 69 6e 20 63 6f   of tokens in co
0a40: 6c 75 6d 6e 20 69 43 6f 6c 20 6f 66 20 74 68 65  lumn iCol of the
0a50: 20 63 75 72 72 65 6e 74 20 72 6f 77 2e 0a 2a 2a   current row..**
0a60: 0a 2a 2a 20 20 20 49 66 20 70 61 72 61 6d 65 74  .**   If paramet
0a70: 65 72 20 69 43 6f 6c 20 69 73 20 67 72 65 61 74  er iCol is great
0a80: 65 72 20 74 68 61 6e 20 6f 72 20 65 71 75 61 6c  er than or equal
0a90: 20 74 6f 20 74 68 65 20 6e 75 6d 62 65 72 20 6f   to the number o
0aa0: 66 20 63 6f 6c 75 6d 6e 73 0a 2a 2a 20 20 20 69  f columns.**   i
0ab0: 6e 20 74 68 65 20 74 61 62 6c 65 2c 20 53 51 4c  n the table, SQL
0ac0: 49 54 45 5f 52 41 4e 47 45 20 69 73 20 72 65 74  ITE_RANGE is ret
0ad0: 75 72 6e 65 64 2e 20 4f 72 2c 20 69 66 20 61 6e  urned. Or, if an
0ae0: 20 65 72 72 6f 72 20 6f 63 63 75 72 73 20 28 65   error occurs (e
0af0: 2e 67 2e 0a 2a 2a 20 20 20 61 6e 20 4f 4f 4d 20  .g..**   an OOM 
0b00: 63 6f 6e 64 69 74 69 6f 6e 20 6f 72 20 49 4f 20  condition or IO 
0b10: 65 72 72 6f 72 29 2c 20 61 6e 20 61 70 70 72 6f  error), an appro
0b20: 70 72 69 61 74 65 20 53 51 4c 69 74 65 20 65 72  priate SQLite er
0b30: 72 6f 72 20 63 6f 64 65 20 69 73 20 0a 2a 2a 20  ror code is .** 
0b40: 20 20 72 65 74 75 72 6e 65 64 2e 0a 2a 2a 0a 2a    returned..**.*
0b50: 2a 20 20 20 54 68 69 73 20 66 75 6e 63 74 69 6f  *   This functio
0b60: 6e 20 6d 61 79 20 62 65 20 71 75 69 74 65 20 69  n may be quite i
0b70: 6e 65 66 66 69 63 69 65 6e 74 20 69 66 20 75 73  nefficient if us
0b80: 65 64 20 77 69 74 68 20 61 6e 20 46 54 53 35 20  ed with an FTS5 
0b90: 74 61 62 6c 65 0a 2a 2a 20 20 20 63 72 65 61 74  table.**   creat
0ba0: 65 64 20 77 69 74 68 20 74 68 65 20 22 63 6f 6c  ed with the "col
0bb0: 75 6d 6e 73 69 7a 65 3d 30 22 20 6f 70 74 69 6f  umnsize=0" optio
0bc0: 6e 2e 0a 2a 2a 0a 2a 2a 20 78 43 6f 6c 75 6d 6e  n..**.** xColumn
0bd0: 54 65 78 74 3a 0a 2a 2a 20 20 20 54 68 69 73 20  Text:.**   This 
0be0: 66 75 6e 63 74 69 6f 6e 20 61 74 74 65 6d 70 74  function attempt
0bf0: 73 20 74 6f 20 72 65 74 72 69 65 76 65 20 74 68  s to retrieve th
0c00: 65 20 74 65 78 74 20 6f 66 20 63 6f 6c 75 6d 6e  e text of column
0c10: 20 69 43 6f 6c 20 6f 66 20 74 68 65 0a 2a 2a 20   iCol of the.** 
0c20: 20 20 63 75 72 72 65 6e 74 20 64 6f 63 75 6d 65    current docume
0c30: 6e 74 2e 20 49 66 20 73 75 63 63 65 73 73 66 75  nt. If successfu
0c40: 6c 2c 20 28 2a 70 7a 29 20 69 73 20 73 65 74 20  l, (*pz) is set 
0c50: 74 6f 20 70 6f 69 6e 74 20 74 6f 20 61 20 62 75  to point to a bu
0c60: 66 66 65 72 0a 2a 2a 20 20 20 63 6f 6e 74 61 69  ffer.**   contai
0c70: 6e 69 6e 67 20 74 68 65 20 74 65 78 74 20 69 6e  ning the text in
0c80: 20 75 74 66 2d 38 20 65 6e 63 6f 64 69 6e 67 2c   utf-8 encoding,
0c90: 20 28 2a 70 6e 29 20 69 73 20 73 65 74 20 74 6f   (*pn) is set to
0ca0: 20 74 68 65 20 73 69 7a 65 20 69 6e 20 62 79 74   the size in byt
0cb0: 65 73 0a 2a 2a 20 20 20 28 6e 6f 74 20 63 68 61  es.**   (not cha
0cc0: 72 61 63 74 65 72 73 29 20 6f 66 20 74 68 65 20  racters) of the 
0cd0: 62 75 66 66 65 72 20 61 6e 64 20 53 51 4c 49 54  buffer and SQLIT
0ce0: 45 5f 4f 4b 20 69 73 20 72 65 74 75 72 6e 65 64  E_OK is returned
0cf0: 2e 20 4f 74 68 65 72 77 69 73 65 2c 0a 2a 2a 20  . Otherwise,.** 
0d00: 20 20 69 66 20 61 6e 20 65 72 72 6f 72 20 6f 63    if an error oc
0d10: 63 75 72 73 2c 20 61 6e 20 53 51 4c 69 74 65 20  curs, an SQLite 
0d20: 65 72 72 6f 72 20 63 6f 64 65 20 69 73 20 72 65  error code is re
0d30: 74 75 72 6e 65 64 20 61 6e 64 20 74 68 65 20 66  turned and the f
0d40: 69 6e 61 6c 20 76 61 6c 75 65 73 0a 2a 2a 20 20  inal values.**  
0d50: 20 6f 66 20 28 2a 70 7a 29 20 61 6e 64 20 28 2a   of (*pz) and (*
0d60: 70 6e 29 20 61 72 65 20 75 6e 64 65 66 69 6e 65  pn) are undefine
0d70: 64 2e 0a 2a 2a 0a 2a 2a 20 78 50 68 72 61 73 65  d..**.** xPhrase
0d80: 43 6f 75 6e 74 3a 0a 2a 2a 20 20 20 52 65 74 75  Count:.**   Retu
0d90: 72 6e 73 20 74 68 65 20 6e 75 6d 62 65 72 20 6f  rns the number o
0da0: 66 20 70 68 72 61 73 65 73 20 69 6e 20 74 68 65  f phrases in the
0db0: 20 63 75 72 72 65 6e 74 20 71 75 65 72 79 20 65   current query e
0dc0: 78 70 72 65 73 73 69 6f 6e 2e 0a 2a 2a 0a 2a 2a  xpression..**.**
0dd0: 20 78 50 68 72 61 73 65 53 69 7a 65 3a 0a 2a 2a   xPhraseSize:.**
0de0: 20 20 20 52 65 74 75 72 6e 73 20 74 68 65 20 6e     Returns the n
0df0: 75 6d 62 65 72 20 6f 66 20 74 6f 6b 65 6e 73 20  umber of tokens 
0e00: 69 6e 20 70 68 72 61 73 65 20 69 50 68 72 61 73  in phrase iPhras
0e10: 65 20 6f 66 20 74 68 65 20 71 75 65 72 79 2e 20  e of the query. 
0e20: 50 68 72 61 73 65 73 0a 2a 2a 20 20 20 61 72 65  Phrases.**   are
0e30: 20 6e 75 6d 62 65 72 65 64 20 73 74 61 72 74 69   numbered starti
0e40: 6e 67 20 66 72 6f 6d 20 7a 65 72 6f 2e 0a 2a 2a  ng from zero..**
0e50: 0a 2a 2a 20 78 49 6e 73 74 43 6f 75 6e 74 3a 0a  .** xInstCount:.
0e60: 2a 2a 20 20 20 53 65 74 20 2a 70 6e 49 6e 73 74  **   Set *pnInst
0e70: 20 74 6f 20 74 68 65 20 74 6f 74 61 6c 20 6e 75   to the total nu
0e80: 6d 62 65 72 20 6f 66 20 6f 63 63 75 72 72 65 6e  mber of occurren
0e90: 63 65 73 20 6f 66 20 61 6c 6c 20 70 68 72 61 73  ces of all phras
0ea0: 65 73 20 77 69 74 68 69 6e 0a 2a 2a 20 20 20 74  es within.**   t
0eb0: 68 65 20 71 75 65 72 79 20 77 69 74 68 69 6e 20  he query within 
0ec0: 74 68 65 20 63 75 72 72 65 6e 74 20 72 6f 77 2e  the current row.
0ed0: 20 52 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 4f   Return SQLITE_O
0ee0: 4b 20 69 66 20 73 75 63 63 65 73 73 66 75 6c 2c  K if successful,
0ef0: 20 6f 72 0a 2a 2a 20 20 20 61 6e 20 65 72 72 6f   or.**   an erro
0f00: 72 20 63 6f 64 65 20 28 69 2e 65 2e 20 53 51 4c  r code (i.e. SQL
0f10: 49 54 45 5f 4e 4f 4d 45 4d 29 20 69 66 20 61 6e  ITE_NOMEM) if an
0f20: 20 65 72 72 6f 72 20 6f 63 63 75 72 73 2e 0a 2a   error occurs..*
0f30: 2a 0a 2a 2a 20 20 20 54 68 69 73 20 41 50 49 20  *.**   This API 
0f40: 63 61 6e 20 62 65 20 71 75 69 74 65 20 73 6c 6f  can be quite slo
0f50: 77 20 69 66 20 75 73 65 64 20 77 69 74 68 20 61  w if used with a
0f60: 6e 20 46 54 53 35 20 74 61 62 6c 65 20 63 72 65  n FTS5 table cre
0f70: 61 74 65 64 20 77 69 74 68 20 74 68 65 0a 2a 2a  ated with the.**
0f80: 20 20 20 22 64 65 74 61 69 6c 3d 6e 6f 6e 65 22     "detail=none"
0f90: 20 6f 72 20 22 64 65 74 61 69 6c 3d 63 6f 6c 75   or "detail=colu
0fa0: 6d 6e 22 20 6f 70 74 69 6f 6e 2e 20 49 66 20 74  mn" option. If t
0fb0: 68 65 20 46 54 53 35 20 74 61 62 6c 65 20 69 73  he FTS5 table is
0fc0: 20 63 72 65 61 74 65 64 20 0a 2a 2a 20 20 20 77   created .**   w
0fd0: 69 74 68 20 65 69 74 68 65 72 20 22 64 65 74 61  ith either "deta
0fe0: 69 6c 3d 6e 6f 6e 65 22 20 6f 72 20 22 64 65 74  il=none" or "det
0ff0: 61 69 6c 3d 63 6f 6c 75 6d 6e 22 20 61 6e 64 20  ail=column" and 
1000: 22 63 6f 6e 74 65 6e 74 3d 22 20 6f 70 74 69 6f  "content=" optio
1010: 6e 20 0a 2a 2a 20 20 20 28 69 2e 65 2e 20 69 66  n .**   (i.e. if
1020: 20 69 74 20 69 73 20 61 20 63 6f 6e 74 65 6e 74   it is a content
1030: 6c 65 73 73 20 74 61 62 6c 65 29 2c 20 74 68 65  less table), the
1040: 6e 20 74 68 69 73 20 41 50 49 20 61 6c 77 61 79  n this API alway
1050: 73 20 72 65 74 75 72 6e 73 20 30 2e 0a 2a 2a 0a  s returns 0..**.
1060: 2a 2a 20 78 49 6e 73 74 3a 0a 2a 2a 20 20 20 51  ** xInst:.**   Q
1070: 75 65 72 79 20 66 6f 72 20 74 68 65 20 64 65 74  uery for the det
1080: 61 69 6c 73 20 6f 66 20 70 68 72 61 73 65 20 6d  ails of phrase m
1090: 61 74 63 68 20 69 49 64 78 20 77 69 74 68 69 6e  atch iIdx within
10a0: 20 74 68 65 20 63 75 72 72 65 6e 74 20 72 6f 77   the current row
10b0: 2e 0a 2a 2a 20 20 20 50 68 72 61 73 65 20 6d 61  ..**   Phrase ma
10c0: 74 63 68 65 73 20 61 72 65 20 6e 75 6d 62 65 72  tches are number
10d0: 65 64 20 73 74 61 72 74 69 6e 67 20 66 72 6f 6d  ed starting from
10e0: 20 7a 65 72 6f 2c 20 73 6f 20 74 68 65 20 69 49   zero, so the iI
10f0: 64 78 20 61 72 67 75 6d 65 6e 74 0a 2a 2a 20 20  dx argument.**  
1100: 20 73 68 6f 75 6c 64 20 62 65 20 67 72 65 61 74   should be great
1110: 65 72 20 74 68 61 6e 20 6f 72 20 65 71 75 61 6c  er than or equal
1120: 20 74 6f 20 7a 65 72 6f 20 61 6e 64 20 73 6d 61   to zero and sma
1130: 6c 6c 65 72 20 74 68 61 6e 20 74 68 65 20 76 61  ller than the va
1140: 6c 75 65 0a 2a 2a 20 20 20 6f 75 74 70 75 74 20  lue.**   output 
1150: 62 79 20 78 49 6e 73 74 43 6f 75 6e 74 28 29 2e  by xInstCount().
1160: 0a 2a 2a 0a 2a 2a 20 20 20 55 73 75 61 6c 6c 79  .**.**   Usually
1170: 2c 20 6f 75 74 70 75 74 20 70 61 72 61 6d 65 74  , output paramet
1180: 65 72 20 2a 70 69 50 68 72 61 73 65 20 69 73 20  er *piPhrase is 
1190: 73 65 74 20 74 6f 20 74 68 65 20 70 68 72 61 73  set to the phras
11a0: 65 20 6e 75 6d 62 65 72 2c 20 2a 70 69 43 6f 6c  e number, *piCol
11b0: 0a 2a 2a 20 20 20 74 6f 20 74 68 65 20 63 6f 6c  .**   to the col
11c0: 75 6d 6e 20 69 6e 20 77 68 69 63 68 20 69 74 20  umn in which it 
11d0: 6f 63 63 75 72 73 20 61 6e 64 20 2a 70 69 4f 66  occurs and *piOf
11e0: 66 20 74 68 65 20 74 6f 6b 65 6e 20 6f 66 66 73  f the token offs
11f0: 65 74 20 6f 66 20 74 68 65 0a 2a 2a 20 20 20 66  et of the.**   f
1200: 69 72 73 74 20 74 6f 6b 65 6e 20 6f 66 20 74 68  irst token of th
1210: 65 20 70 68 72 61 73 65 2e 20 54 68 65 20 65 78  e phrase. The ex
1220: 63 65 70 74 69 6f 6e 20 69 73 20 69 66 20 74 68  ception is if th
1230: 65 20 74 61 62 6c 65 20 77 61 73 20 63 72 65 61  e table was crea
1240: 74 65 64 0a 2a 2a 20 20 20 77 69 74 68 20 74 68  ted.**   with th
1250: 65 20 6f 66 66 73 65 74 73 3d 30 20 6f 70 74 69  e offsets=0 opti
1260: 6f 6e 20 73 70 65 63 69 66 69 65 64 2e 20 49 6e  on specified. In
1270: 20 74 68 69 73 20 63 61 73 65 20 2a 70 69 4f 66   this case *piOf
1280: 66 20 69 73 20 61 6c 77 61 79 73 0a 2a 2a 20 20  f is always.**  
1290: 20 73 65 74 20 74 6f 20 2d 31 2e 0a 2a 2a 0a 2a   set to -1..**.*
12a0: 2a 20 20 20 52 65 74 75 72 6e 73 20 53 51 4c 49  *   Returns SQLI
12b0: 54 45 5f 4f 4b 20 69 66 20 73 75 63 63 65 73 73  TE_OK if success
12c0: 66 75 6c 2c 20 6f 72 20 61 6e 20 65 72 72 6f 72  ful, or an error
12d0: 20 63 6f 64 65 20 28 69 2e 65 2e 20 53 51 4c 49   code (i.e. SQLI
12e0: 54 45 5f 4e 4f 4d 45 4d 29 20 0a 2a 2a 20 20 20  TE_NOMEM) .**   
12f0: 69 66 20 61 6e 20 65 72 72 6f 72 20 6f 63 63 75  if an error occu
1300: 72 73 2e 0a 2a 2a 0a 2a 2a 20 20 20 54 68 69 73  rs..**.**   This
1310: 20 41 50 49 20 63 61 6e 20 62 65 20 71 75 69 74   API can be quit
1320: 65 20 73 6c 6f 77 20 69 66 20 75 73 65 64 20 77  e slow if used w
1330: 69 74 68 20 61 6e 20 46 54 53 35 20 74 61 62 6c  ith an FTS5 tabl
1340: 65 20 63 72 65 61 74 65 64 20 77 69 74 68 20 74  e created with t
1350: 68 65 0a 2a 2a 20 20 20 22 64 65 74 61 69 6c 3d  he.**   "detail=
1360: 6e 6f 6e 65 22 20 6f 72 20 22 64 65 74 61 69 6c  none" or "detail
1370: 3d 63 6f 6c 75 6d 6e 22 20 6f 70 74 69 6f 6e 2e  =column" option.
1380: 20 0a 2a 2a 0a 2a 2a 20 78 52 6f 77 69 64 3a 0a   .**.** xRowid:.
1390: 2a 2a 20 20 20 52 65 74 75 72 6e 73 20 74 68 65  **   Returns the
13a0: 20 72 6f 77 69 64 20 6f 66 20 74 68 65 20 63 75   rowid of the cu
13b0: 72 72 65 6e 74 20 72 6f 77 2e 0a 2a 2a 0a 2a 2a  rrent row..**.**
13c0: 20 78 54 6f 6b 65 6e 69 7a 65 3a 0a 2a 2a 20 20   xTokenize:.**  
13d0: 20 54 6f 6b 65 6e 69 7a 65 20 74 65 78 74 20 75   Tokenize text u
13e0: 73 69 6e 67 20 74 68 65 20 74 6f 6b 65 6e 69 7a  sing the tokeniz
13f0: 65 72 20 62 65 6c 6f 6e 67 69 6e 67 20 74 6f 20  er belonging to 
1400: 74 68 65 20 46 54 53 35 20 74 61 62 6c 65 2e 0a  the FTS5 table..
1410: 2a 2a 0a 2a 2a 20 78 51 75 65 72 79 50 68 72 61  **.** xQueryPhra
1420: 73 65 28 70 46 74 73 35 2c 20 69 50 68 72 61 73  se(pFts5, iPhras
1430: 65 2c 20 70 55 73 65 72 44 61 74 61 2c 20 78 43  e, pUserData, xC
1440: 61 6c 6c 62 61 63 6b 29 3a 0a 2a 2a 20 20 20 54  allback):.**   T
1450: 68 69 73 20 41 50 49 20 66 75 6e 63 74 69 6f 6e  his API function
1460: 20 69 73 20 75 73 65 64 20 74 6f 20 71 75 65 72   is used to quer
1470: 79 20 74 68 65 20 46 54 53 20 74 61 62 6c 65 20  y the FTS table 
1480: 66 6f 72 20 70 68 72 61 73 65 20 69 50 68 72 61  for phrase iPhra
1490: 73 65 0a 2a 2a 20 20 20 6f 66 20 74 68 65 20 63  se.**   of the c
14a0: 75 72 72 65 6e 74 20 71 75 65 72 79 2e 20 53 70  urrent query. Sp
14b0: 65 63 69 66 69 63 61 6c 6c 79 2c 20 61 20 71 75  ecifically, a qu
14c0: 65 72 79 20 65 71 75 69 76 61 6c 65 6e 74 20 74  ery equivalent t
14d0: 6f 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 20 2e  o:.**.**       .
14e0: 2e 2e 20 46 52 4f 4d 20 66 74 73 74 61 62 6c 65  .. FROM ftstable
14f0: 20 57 48 45 52 45 20 66 74 73 74 61 62 6c 65 20   WHERE ftstable 
1500: 4d 41 54 43 48 20 24 70 20 4f 52 44 45 52 20 42  MATCH $p ORDER B
1510: 59 20 72 6f 77 69 64 0a 2a 2a 0a 2a 2a 20 20 20  Y rowid.**.**   
1520: 77 69 74 68 20 24 70 20 73 65 74 20 74 6f 20 61  with $p set to a
1530: 20 70 68 72 61 73 65 20 65 71 75 69 76 61 6c 65   phrase equivale
1540: 6e 74 20 74 6f 20 74 68 65 20 70 68 72 61 73 65  nt to the phrase
1550: 20 69 50 68 72 61 73 65 20 6f 66 20 74 68 65 0a   iPhrase of the.
1560: 2a 2a 20 20 20 63 75 72 72 65 6e 74 20 71 75 65  **   current que
1570: 72 79 20 69 73 20 65 78 65 63 75 74 65 64 2e 20  ry is executed. 
1580: 41 6e 79 20 63 6f 6c 75 6d 6e 20 66 69 6c 74 65  Any column filte
1590: 72 20 74 68 61 74 20 61 70 70 6c 69 65 73 20 74  r that applies t
15a0: 6f 0a 2a 2a 20 20 20 70 68 72 61 73 65 20 69 50  o.**   phrase iP
15b0: 68 72 61 73 65 20 6f 66 20 74 68 65 20 63 75 72  hrase of the cur
15c0: 72 65 6e 74 20 71 75 65 72 79 20 69 73 20 69 6e  rent query is in
15d0: 63 6c 75 64 65 64 20 69 6e 20 24 70 2e 20 46 6f  cluded in $p. Fo
15e0: 72 20 65 61 63 68 20 0a 2a 2a 20 20 20 72 6f 77  r each .**   row
15f0: 20 76 69 73 69 74 65 64 2c 20 74 68 65 20 63 61   visited, the ca
1600: 6c 6c 62 61 63 6b 20 66 75 6e 63 74 69 6f 6e 20  llback function 
1610: 70 61 73 73 65 64 20 61 73 20 74 68 65 20 66 6f  passed as the fo
1620: 75 72 74 68 20 61 72 67 75 6d 65 6e 74 20 0a 2a  urth argument .*
1630: 2a 20 20 20 69 73 20 69 6e 76 6f 6b 65 64 2e 20  *   is invoked. 
1640: 54 68 65 20 63 6f 6e 74 65 78 74 20 61 6e 64 20  The context and 
1650: 41 50 49 20 6f 62 6a 65 63 74 73 20 70 61 73 73  API objects pass
1660: 65 64 20 74 6f 20 74 68 65 20 63 61 6c 6c 62 61  ed to the callba
1670: 63 6b 20 0a 2a 2a 20 20 20 66 75 6e 63 74 69 6f  ck .**   functio
1680: 6e 20 6d 61 79 20 62 65 20 75 73 65 64 20 74 6f  n may be used to
1690: 20 61 63 63 65 73 73 20 74 68 65 20 70 72 6f 70   access the prop
16a0: 65 72 74 69 65 73 20 6f 66 20 65 61 63 68 20 6d  erties of each m
16b0: 61 74 63 68 65 64 20 72 6f 77 2e 0a 2a 2a 20 20  atched row..**  
16c0: 20 49 6e 76 6f 6b 69 6e 67 20 41 70 69 2e 78 55   Invoking Api.xU
16d0: 73 65 72 44 61 74 61 28 29 20 72 65 74 75 72 6e  serData() return
16e0: 73 20 61 20 63 6f 70 79 20 6f 66 20 74 68 65 20  s a copy of the 
16f0: 70 6f 69 6e 74 65 72 20 70 61 73 73 65 64 20 61  pointer passed a
1700: 73 20 0a 2a 2a 20 20 20 74 68 65 20 74 68 69 72  s .**   the thir
1710: 64 20 61 72 67 75 6d 65 6e 74 20 74 6f 20 70 55  d argument to pU
1720: 73 65 72 44 61 74 61 2e 0a 2a 2a 0a 2a 2a 20 20  serData..**.**  
1730: 20 49 66 20 74 68 65 20 63 61 6c 6c 62 61 63 6b   If the callback
1740: 20 66 75 6e 63 74 69 6f 6e 20 72 65 74 75 72 6e   function return
1750: 73 20 61 6e 79 20 76 61 6c 75 65 20 6f 74 68 65  s any value othe
1760: 72 20 74 68 61 6e 20 53 51 4c 49 54 45 5f 4f 4b  r than SQLITE_OK
1770: 2c 20 74 68 65 0a 2a 2a 20 20 20 71 75 65 72 79  , the.**   query
1780: 20 69 73 20 61 62 61 6e 64 6f 6e 65 64 20 61 6e   is abandoned an
1790: 64 20 74 68 65 20 78 51 75 65 72 79 50 68 72 61  d the xQueryPhra
17a0: 73 65 20 66 75 6e 63 74 69 6f 6e 20 72 65 74 75  se function retu
17b0: 72 6e 73 20 69 6d 6d 65 64 69 61 74 65 6c 79 2e  rns immediately.
17c0: 0a 2a 2a 20 20 20 49 66 20 74 68 65 20 72 65 74  .**   If the ret
17d0: 75 72 6e 65 64 20 76 61 6c 75 65 20 69 73 20 53  urned value is S
17e0: 51 4c 49 54 45 5f 44 4f 4e 45 2c 20 78 51 75 65  QLITE_DONE, xQue
17f0: 72 79 50 68 72 61 73 65 20 72 65 74 75 72 6e 73  ryPhrase returns
1800: 20 53 51 4c 49 54 45 5f 4f 4b 2e 0a 2a 2a 20 20   SQLITE_OK..**  
1810: 20 4f 74 68 65 72 77 69 73 65 2c 20 74 68 65 20   Otherwise, the 
1820: 65 72 72 6f 72 20 63 6f 64 65 20 69 73 20 70 72  error code is pr
1830: 6f 70 61 67 61 74 65 64 20 75 70 77 61 72 64 73  opagated upwards
1840: 2e 0a 2a 2a 0a 2a 2a 20 20 20 49 66 20 74 68 65  ..**.**   If the
1850: 20 71 75 65 72 79 20 72 75 6e 73 20 74 6f 20 63   query runs to c
1860: 6f 6d 70 6c 65 74 69 6f 6e 20 77 69 74 68 6f 75  ompletion withou
1870: 74 20 69 6e 63 69 64 65 6e 74 2c 20 53 51 4c 49  t incident, SQLI
1880: 54 45 5f 4f 4b 20 69 73 20 72 65 74 75 72 6e 65  TE_OK is returne
1890: 64 2e 0a 2a 2a 20 20 20 4f 72 2c 20 69 66 20 73  d..**   Or, if s
18a0: 6f 6d 65 20 65 72 72 6f 72 20 6f 63 63 75 72 73  ome error occurs
18b0: 20 62 65 66 6f 72 65 20 74 68 65 20 71 75 65 72   before the quer
18c0: 79 20 63 6f 6d 70 6c 65 74 65 73 20 6f 72 20 69  y completes or i
18d0: 73 20 61 62 6f 72 74 65 64 20 62 79 0a 2a 2a 20  s aborted by.** 
18e0: 20 20 74 68 65 20 63 61 6c 6c 62 61 63 6b 2c 20    the callback, 
18f0: 61 6e 20 53 51 4c 69 74 65 20 65 72 72 6f 72 20  an SQLite error 
1900: 63 6f 64 65 20 69 73 20 72 65 74 75 72 6e 65 64  code is returned
1910: 2e 0a 2a 2a 0a 2a 2a 0a 2a 2a 20 78 53 65 74 41  ..**.**.** xSetA
1920: 75 78 64 61 74 61 28 70 46 74 73 35 2c 20 70 41  uxdata(pFts5, pA
1930: 75 78 2c 20 78 44 65 6c 65 74 65 29 0a 2a 2a 0a  ux, xDelete).**.
1940: 2a 2a 20 20 20 53 61 76 65 20 74 68 65 20 70 6f  **   Save the po
1950: 69 6e 74 65 72 20 70 61 73 73 65 64 20 61 73 20  inter passed as 
1960: 74 68 65 20 73 65 63 6f 6e 64 20 61 72 67 75 6d  the second argum
1970: 65 6e 74 20 61 73 20 74 68 65 20 65 78 74 65 6e  ent as the exten
1980: 73 69 6f 6e 20 66 75 6e 63 74 69 6f 6e 73 20 0a  sion functions .
1990: 2a 2a 20 20 20 22 61 75 78 69 6c 69 61 72 79 20  **   "auxiliary 
19a0: 64 61 74 61 22 2e 20 54 68 65 20 70 6f 69 6e 74  data". The point
19b0: 65 72 20 6d 61 79 20 74 68 65 6e 20 62 65 20 72  er may then be r
19c0: 65 74 72 69 65 76 65 64 20 62 79 20 74 68 65 20  etrieved by the 
19d0: 63 75 72 72 65 6e 74 20 6f 72 20 61 6e 79 0a 2a  current or any.*
19e0: 2a 20 20 20 66 75 74 75 72 65 20 69 6e 76 6f 63  *   future invoc
19f0: 61 74 69 6f 6e 20 6f 66 20 74 68 65 20 73 61 6d  ation of the sam
1a00: 65 20 66 74 73 35 20 65 78 74 65 6e 73 69 6f 6e  e fts5 extension
1a10: 20 66 75 6e 63 74 69 6f 6e 20 6d 61 64 65 20 61   function made a
1a20: 73 20 70 61 72 74 20 6f 66 0a 2a 2a 20 20 20 6f  s part of.**   o
1a30: 66 20 74 68 65 20 73 61 6d 65 20 4d 41 54 43 48  f the same MATCH
1a40: 20 71 75 65 72 79 20 75 73 69 6e 67 20 74 68 65   query using the
1a50: 20 78 47 65 74 41 75 78 64 61 74 61 28 29 20 41   xGetAuxdata() A
1a60: 50 49 2e 0a 2a 2a 0a 2a 2a 20 20 20 45 61 63 68  PI..**.**   Each
1a70: 20 65 78 74 65 6e 73 69 6f 6e 20 66 75 6e 63 74   extension funct
1a80: 69 6f 6e 20 69 73 20 61 6c 6c 6f 63 61 74 65 64  ion is allocated
1a90: 20 61 20 73 69 6e 67 6c 65 20 61 75 78 69 6c 69   a single auxili
1aa0: 61 72 79 20 64 61 74 61 20 73 6c 6f 74 20 66 6f  ary data slot fo
1ab0: 72 0a 2a 2a 20 20 20 65 61 63 68 20 46 54 53 20  r.**   each FTS 
1ac0: 71 75 65 72 79 20 28 4d 41 54 43 48 20 65 78 70  query (MATCH exp
1ad0: 72 65 73 73 69 6f 6e 29 2e 20 49 66 20 74 68 65  ression). If the
1ae0: 20 65 78 74 65 6e 73 69 6f 6e 20 66 75 6e 63 74   extension funct
1af0: 69 6f 6e 20 69 73 20 69 6e 76 6f 6b 65 64 20 0a  ion is invoked .
1b00: 2a 2a 20 20 20 6d 6f 72 65 20 74 68 61 6e 20 6f  **   more than o
1b10: 6e 63 65 20 66 6f 72 20 61 20 73 69 6e 67 6c 65  nce for a single
1b20: 20 46 54 53 20 71 75 65 72 79 2c 20 74 68 65 6e   FTS query, then
1b30: 20 61 6c 6c 20 69 6e 76 6f 63 61 74 69 6f 6e 73   all invocations
1b40: 20 73 68 61 72 65 20 61 20 0a 2a 2a 20 20 20 73   share a .**   s
1b50: 69 6e 67 6c 65 20 61 75 78 69 6c 69 61 72 79 20  ingle auxiliary 
1b60: 64 61 74 61 20 63 6f 6e 74 65 78 74 2e 0a 2a 2a  data context..**
1b70: 0a 2a 2a 20 20 20 49 66 20 74 68 65 72 65 20 69  .**   If there i
1b80: 73 20 61 6c 72 65 61 64 79 20 61 6e 20 61 75 78  s already an aux
1b90: 69 6c 69 61 72 79 20 64 61 74 61 20 70 6f 69 6e  iliary data poin
1ba0: 74 65 72 20 77 68 65 6e 20 74 68 69 73 20 66 75  ter when this fu
1bb0: 6e 63 74 69 6f 6e 20 69 73 0a 2a 2a 20 20 20 69  nction is.**   i
1bc0: 6e 76 6f 6b 65 64 2c 20 74 68 65 6e 20 69 74 20  nvoked, then it 
1bd0: 69 73 20 72 65 70 6c 61 63 65 64 20 62 79 20 74  is replaced by t
1be0: 68 65 20 6e 65 77 20 70 6f 69 6e 74 65 72 2e 20  he new pointer. 
1bf0: 49 66 20 61 6e 20 78 44 65 6c 65 74 65 20 63 61  If an xDelete ca
1c00: 6c 6c 62 61 63 6b 0a 2a 2a 20 20 20 77 61 73 20  llback.**   was 
1c10: 73 70 65 63 69 66 69 65 64 20 61 6c 6f 6e 67 20  specified along 
1c20: 77 69 74 68 20 74 68 65 20 6f 72 69 67 69 6e 61  with the origina
1c30: 6c 20 70 6f 69 6e 74 65 72 2c 20 69 74 20 69 73  l pointer, it is
1c40: 20 69 6e 76 6f 6b 65 64 20 61 74 20 74 68 69 73   invoked at this
1c50: 0a 2a 2a 20 20 20 70 6f 69 6e 74 2e 0a 2a 2a 0a  .**   point..**.
1c60: 2a 2a 20 20 20 54 68 65 20 78 44 65 6c 65 74 65  **   The xDelete
1c70: 20 63 61 6c 6c 62 61 63 6b 2c 20 69 66 20 6f 6e   callback, if on
1c80: 65 20 69 73 20 73 70 65 63 69 66 69 65 64 2c 20  e is specified, 
1c90: 69 73 20 61 6c 73 6f 20 69 6e 76 6f 6b 65 64 20  is also invoked 
1ca0: 6f 6e 20 74 68 65 0a 2a 2a 20 20 20 61 75 78 69  on the.**   auxi
1cb0: 6c 69 61 72 79 20 64 61 74 61 20 70 6f 69 6e 74  liary data point
1cc0: 65 72 20 61 66 74 65 72 20 74 68 65 20 46 54 53  er after the FTS
1cd0: 35 20 71 75 65 72 79 20 68 61 73 20 66 69 6e 69  5 query has fini
1ce0: 73 68 65 64 2e 0a 2a 2a 0a 2a 2a 20 20 20 49 66  shed..**.**   If
1cf0: 20 61 6e 20 65 72 72 6f 72 20 28 65 2e 67 2e 20   an error (e.g. 
1d00: 61 6e 20 4f 4f 4d 20 63 6f 6e 64 69 74 69 6f 6e  an OOM condition
1d10: 29 20 6f 63 63 75 72 73 20 77 69 74 68 69 6e 20  ) occurs within 
1d20: 74 68 69 73 20 66 75 6e 63 74 69 6f 6e 2c 20 61  this function, a
1d30: 6e 0a 2a 2a 20 20 20 74 68 65 20 61 75 78 69 6c  n.**   the auxil
1d40: 69 61 72 79 20 64 61 74 61 20 69 73 20 73 65 74  iary data is set
1d50: 20 74 6f 20 4e 55 4c 4c 20 61 6e 64 20 61 6e 20   to NULL and an 
1d60: 65 72 72 6f 72 20 63 6f 64 65 20 72 65 74 75 72  error code retur
1d70: 6e 65 64 2e 20 49 66 20 74 68 65 0a 2a 2a 20 20  ned. If the.**  
1d80: 20 78 44 65 6c 65 74 65 20 70 61 72 61 6d 65 74   xDelete paramet
1d90: 65 72 20 77 61 73 20 6e 6f 74 20 4e 55 4c 4c 2c  er was not NULL,
1da0: 20 69 74 20 69 73 20 69 6e 76 6f 6b 65 64 20 6f   it is invoked o
1db0: 6e 20 74 68 65 20 61 75 78 69 6c 69 61 72 79 20  n the auxiliary 
1dc0: 64 61 74 61 0a 2a 2a 20 20 20 70 6f 69 6e 74 65  data.**   pointe
1dd0: 72 20 62 65 66 6f 72 65 20 72 65 74 75 72 6e 69  r before returni
1de0: 6e 67 2e 0a 2a 2a 0a 2a 2a 0a 2a 2a 20 78 47 65  ng..**.**.** xGe
1df0: 74 41 75 78 64 61 74 61 28 70 46 74 73 35 2c 20  tAuxdata(pFts5, 
1e00: 62 43 6c 65 61 72 29 0a 2a 2a 0a 2a 2a 20 20 20  bClear).**.**   
1e10: 52 65 74 75 72 6e 73 20 74 68 65 20 63 75 72 72  Returns the curr
1e20: 65 6e 74 20 61 75 78 69 6c 69 61 72 79 20 64 61  ent auxiliary da
1e30: 74 61 20 70 6f 69 6e 74 65 72 20 66 6f 72 20 74  ta pointer for t
1e40: 68 65 20 66 74 73 35 20 65 78 74 65 6e 73 69 6f  he fts5 extensio
1e50: 6e 20 0a 2a 2a 20 20 20 66 75 6e 63 74 69 6f 6e  n .**   function
1e60: 2e 20 53 65 65 20 74 68 65 20 78 53 65 74 41 75  . See the xSetAu
1e70: 78 64 61 74 61 28 29 20 6d 65 74 68 6f 64 20 66  xdata() method f
1e80: 6f 72 20 64 65 74 61 69 6c 73 2e 0a 2a 2a 0a 2a  or details..**.*
1e90: 2a 20 20 20 49 66 20 74 68 65 20 62 43 6c 65 61  *   If the bClea
1ea0: 72 20 61 72 67 75 6d 65 6e 74 20 69 73 20 6e 6f  r argument is no
1eb0: 6e 2d 7a 65 72 6f 2c 20 74 68 65 6e 20 74 68 65  n-zero, then the
1ec0: 20 61 75 78 69 6c 69 61 72 79 20 64 61 74 61 20   auxiliary data 
1ed0: 69 73 20 63 6c 65 61 72 65 64 0a 2a 2a 20 20 20  is cleared.**   
1ee0: 28 73 65 74 20 74 6f 20 4e 55 4c 4c 29 20 62 65  (set to NULL) be
1ef0: 66 6f 72 65 20 74 68 69 73 20 66 75 6e 63 74 69  fore this functi
1f00: 6f 6e 20 72 65 74 75 72 6e 73 2e 20 49 6e 20 74  on returns. In t
1f10: 68 69 73 20 63 61 73 65 20 74 68 65 20 78 44 65  his case the xDe
1f20: 6c 65 74 65 2c 0a 2a 2a 20 20 20 69 66 20 61 6e  lete,.**   if an
1f30: 79 2c 20 69 73 20 6e 6f 74 20 69 6e 76 6f 6b 65  y, is not invoke
1f40: 64 2e 0a 2a 2a 0a 2a 2a 0a 2a 2a 20 78 52 6f 77  d..**.**.** xRow
1f50: 43 6f 75 6e 74 28 70 46 74 73 35 2c 20 70 6e 52  Count(pFts5, pnR
1f60: 6f 77 29 0a 2a 2a 0a 2a 2a 20 20 20 54 68 69 73  ow).**.**   This
1f70: 20 66 75 6e 63 74 69 6f 6e 20 69 73 20 75 73 65   function is use
1f80: 64 20 74 6f 20 72 65 74 72 69 65 76 65 20 74 68  d to retrieve th
1f90: 65 20 74 6f 74 61 6c 20 6e 75 6d 62 65 72 20 6f  e total number o
1fa0: 66 20 72 6f 77 73 20 69 6e 20 74 68 65 20 74 61  f rows in the ta
1fb0: 62 6c 65 2e 0a 2a 2a 20 20 20 49 6e 20 6f 74 68  ble..**   In oth
1fc0: 65 72 20 77 6f 72 64 73 2c 20 74 68 65 20 73 61  er words, the sa
1fd0: 6d 65 20 76 61 6c 75 65 20 74 68 61 74 20 77 6f  me value that wo
1fe0: 75 6c 64 20 62 65 20 72 65 74 75 72 6e 65 64 20  uld be returned 
1ff0: 62 79 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 20  by:.**.**       
2000: 20 53 45 4c 45 43 54 20 63 6f 75 6e 74 28 2a 29   SELECT count(*)
2010: 20 46 52 4f 4d 20 66 74 73 74 61 62 6c 65 3b 0a   FROM ftstable;.
2020: 2a 2a 0a 2a 2a 20 78 50 68 72 61 73 65 46 69 72  **.** xPhraseFir
2030: 73 74 28 29 0a 2a 2a 20 20 20 54 68 69 73 20 66  st().**   This f
2040: 75 6e 63 74 69 6f 6e 20 69 73 20 75 73 65 64 2c  unction is used,
2050: 20 61 6c 6f 6e 67 20 77 69 74 68 20 74 79 70 65   along with type
2060: 20 46 74 73 35 50 68 72 61 73 65 49 74 65 72 20   Fts5PhraseIter 
2070: 61 6e 64 20 74 68 65 20 78 50 68 72 61 73 65 4e  and the xPhraseN
2080: 65 78 74 0a 2a 2a 20 20 20 6d 65 74 68 6f 64 2c  ext.**   method,
2090: 20 74 6f 20 69 74 65 72 61 74 65 20 74 68 72 6f   to iterate thro
20a0: 75 67 68 20 61 6c 6c 20 69 6e 73 74 61 6e 63 65  ugh all instance
20b0: 73 20 6f 66 20 61 20 73 69 6e 67 6c 65 20 71 75  s of a single qu
20c0: 65 72 79 20 70 68 72 61 73 65 20 77 69 74 68 69  ery phrase withi
20d0: 6e 0a 2a 2a 20 20 20 74 68 65 20 63 75 72 72 65  n.**   the curre
20e0: 6e 74 20 72 6f 77 2e 20 54 68 69 73 20 69 73 20  nt row. This is 
20f0: 74 68 65 20 73 61 6d 65 20 69 6e 66 6f 72 6d 61  the same informa
2100: 74 69 6f 6e 20 61 73 20 69 73 20 61 63 63 65 73  tion as is acces
2110: 73 69 62 6c 65 20 76 69 61 20 74 68 65 0a 2a 2a  sible via the.**
2120: 20 20 20 78 49 6e 73 74 43 6f 75 6e 74 2f 78 49     xInstCount/xI
2130: 6e 73 74 20 41 50 49 73 2e 20 57 68 69 6c 65 20  nst APIs. While 
2140: 74 68 65 20 78 49 6e 73 74 43 6f 75 6e 74 2f 78  the xInstCount/x
2150: 49 6e 73 74 20 41 50 49 73 20 61 72 65 20 6d 6f  Inst APIs are mo
2160: 72 65 20 63 6f 6e 76 65 6e 69 65 6e 74 0a 2a 2a  re convenient.**
2170: 20 20 20 74 6f 20 75 73 65 2c 20 74 68 69 73 20     to use, this 
2180: 41 50 49 20 6d 61 79 20 62 65 20 66 61 73 74 65  API may be faste
2190: 72 20 75 6e 64 65 72 20 73 6f 6d 65 20 63 69 72  r under some cir
21a0: 63 75 6d 73 74 61 6e 63 65 73 2e 20 54 6f 20 69  cumstances. To i
21b0: 74 65 72 61 74 65 20 0a 2a 2a 20 20 20 74 68 72  terate .**   thr
21c0: 6f 75 67 68 20 69 6e 73 74 61 6e 63 65 73 20 6f  ough instances o
21d0: 66 20 70 68 72 61 73 65 20 69 50 68 72 61 73 65  f phrase iPhrase
21e0: 2c 20 75 73 65 20 74 68 65 20 66 6f 6c 6c 6f 77  , use the follow
21f0: 69 6e 67 20 63 6f 64 65 3a 0a 2a 2a 0a 2a 2a 20  ing code:.**.** 
2200: 20 20 20 20 20 20 46 74 73 35 50 68 72 61 73 65        Fts5Phrase
2210: 49 74 65 72 20 69 74 65 72 3b 0a 2a 2a 20 20 20  Iter iter;.**   
2220: 20 20 20 20 69 6e 74 20 69 43 6f 6c 2c 20 69 4f      int iCol, iO
2230: 66 66 3b 0a 2a 2a 20 20 20 20 20 20 20 66 6f 72  ff;.**       for
2240: 28 70 41 70 69 2d 3e 78 50 68 72 61 73 65 46 69  (pApi->xPhraseFi
2250: 72 73 74 28 70 46 74 73 2c 20 69 50 68 72 61 73  rst(pFts, iPhras
2260: 65 2c 20 26 69 74 65 72 2c 20 26 69 43 6f 6c 2c  e, &iter, &iCol,
2270: 20 26 69 4f 66 66 29 3b 0a 2a 2a 20 20 20 20 20   &iOff);.**     
2280: 20 20 20 20 20 20 69 43 6f 6c 3e 3d 30 3b 0a 2a        iCol>=0;.*
2290: 2a 20 20 20 20 20 20 20 20 20 20 20 70 41 70 69  *           pApi
22a0: 2d 3e 78 50 68 72 61 73 65 4e 65 78 74 28 70 46  ->xPhraseNext(pF
22b0: 74 73 2c 20 26 69 74 65 72 2c 20 26 69 43 6f 6c  ts, &iter, &iCol
22c0: 2c 20 26 69 4f 66 66 29 0a 2a 2a 20 20 20 20 20  , &iOff).**     
22d0: 20 20 29 7b 0a 2a 2a 20 20 20 20 20 20 20 20 20    ){.**         
22e0: 2f 2f 20 41 6e 20 69 6e 73 74 61 6e 63 65 20 6f  // An instance o
22f0: 66 20 70 68 72 61 73 65 20 69 50 68 72 61 73 65  f phrase iPhrase
2300: 20 61 74 20 6f 66 66 73 65 74 20 69 4f 66 66 20   at offset iOff 
2310: 6f 66 20 63 6f 6c 75 6d 6e 20 69 43 6f 6c 0a 2a  of column iCol.*
2320: 2a 20 20 20 20 20 20 20 7d 0a 2a 2a 0a 2a 2a 20  *       }.**.** 
2330: 20 20 54 68 65 20 46 74 73 35 50 68 72 61 73 65    The Fts5Phrase
2340: 49 74 65 72 20 73 74 72 75 63 74 75 72 65 20 69  Iter structure i
2350: 73 20 64 65 66 69 6e 65 64 20 61 62 6f 76 65 2e  s defined above.
2360: 20 41 70 70 6c 69 63 61 74 69 6f 6e 73 20 73 68   Applications sh
2370: 6f 75 6c 64 20 6e 6f 74 0a 2a 2a 20 20 20 6d 6f  ould not.**   mo
2380: 64 69 66 79 20 74 68 69 73 20 73 74 72 75 63 74  dify this struct
2390: 75 72 65 20 64 69 72 65 63 74 6c 79 20 2d 20 69  ure directly - i
23a0: 74 20 73 68 6f 75 6c 64 20 6f 6e 6c 79 20 62 65  t should only be
23b0: 20 75 73 65 64 20 61 73 20 73 68 6f 77 6e 20 61   used as shown a
23c0: 62 6f 76 65 0a 2a 2a 20 20 20 77 69 74 68 20 74  bove.**   with t
23d0: 68 65 20 78 50 68 72 61 73 65 46 69 72 73 74 28  he xPhraseFirst(
23e0: 29 20 61 6e 64 20 78 50 68 72 61 73 65 4e 65 78  ) and xPhraseNex
23f0: 74 28 29 20 41 50 49 20 6d 65 74 68 6f 64 73 20  t() API methods 
2400: 28 61 6e 64 20 62 79 0a 2a 2a 20 20 20 78 50 68  (and by.**   xPh
2410: 72 61 73 65 46 69 72 73 74 43 6f 6c 75 6d 6e 28  raseFirstColumn(
2420: 29 20 61 6e 64 20 78 50 68 72 61 73 65 4e 65 78  ) and xPhraseNex
2430: 74 43 6f 6c 75 6d 6e 28 29 20 61 73 20 69 6c 6c  tColumn() as ill
2440: 75 73 74 72 61 74 65 64 20 62 65 6c 6f 77 29 2e  ustrated below).
2450: 0a 2a 2a 0a 2a 2a 20 20 20 54 68 69 73 20 41 50  .**.**   This AP
2460: 49 20 63 61 6e 20 62 65 20 71 75 69 74 65 20 73  I can be quite s
2470: 6c 6f 77 20 69 66 20 75 73 65 64 20 77 69 74 68  low if used with
2480: 20 61 6e 20 46 54 53 35 20 74 61 62 6c 65 20 63   an FTS5 table c
2490: 72 65 61 74 65 64 20 77 69 74 68 20 74 68 65 0a  reated with the.
24a0: 2a 2a 20 20 20 22 64 65 74 61 69 6c 3d 6e 6f 6e  **   "detail=non
24b0: 65 22 20 6f 72 20 22 64 65 74 61 69 6c 3d 63 6f  e" or "detail=co
24c0: 6c 75 6d 6e 22 20 6f 70 74 69 6f 6e 2e 20 49 66  lumn" option. If
24d0: 20 74 68 65 20 46 54 53 35 20 74 61 62 6c 65 20   the FTS5 table 
24e0: 69 73 20 63 72 65 61 74 65 64 20 0a 2a 2a 20 20  is created .**  
24f0: 20 77 69 74 68 20 65 69 74 68 65 72 20 22 64 65   with either "de
2500: 74 61 69 6c 3d 6e 6f 6e 65 22 20 6f 72 20 22 64  tail=none" or "d
2510: 65 74 61 69 6c 3d 63 6f 6c 75 6d 6e 22 20 61 6e  etail=column" an
2520: 64 20 22 63 6f 6e 74 65 6e 74 3d 22 20 6f 70 74  d "content=" opt
2530: 69 6f 6e 20 0a 2a 2a 20 20 20 28 69 2e 65 2e 20  ion .**   (i.e. 
2540: 69 66 20 69 74 20 69 73 20 61 20 63 6f 6e 74 65  if it is a conte
2550: 6e 74 6c 65 73 73 20 74 61 62 6c 65 29 2c 20 74  ntless table), t
2560: 68 65 6e 20 74 68 69 73 20 41 50 49 20 61 6c 77  hen this API alw
2570: 61 79 73 20 69 74 65 72 61 74 65 73 0a 2a 2a 20  ays iterates.** 
2580: 20 20 74 68 72 6f 75 67 68 20 61 6e 20 65 6d 70    through an emp
2590: 74 79 20 73 65 74 20 28 61 6c 6c 20 63 61 6c 6c  ty set (all call
25a0: 73 20 74 6f 20 78 50 68 72 61 73 65 46 69 72 73  s to xPhraseFirs
25b0: 74 28 29 20 73 65 74 20 69 43 6f 6c 20 74 6f 20  t() set iCol to 
25c0: 2d 31 29 2e 0a 2a 2a 0a 2a 2a 20 78 50 68 72 61  -1)..**.** xPhra
25d0: 73 65 4e 65 78 74 28 29 0a 2a 2a 20 20 20 53 65  seNext().**   Se
25e0: 65 20 78 50 68 72 61 73 65 46 69 72 73 74 20 61  e xPhraseFirst a
25f0: 62 6f 76 65 2e 0a 2a 2a 0a 2a 2a 20 78 50 68 72  bove..**.** xPhr
2600: 61 73 65 46 69 72 73 74 43 6f 6c 75 6d 6e 28 29  aseFirstColumn()
2610: 0a 2a 2a 20 20 20 54 68 69 73 20 66 75 6e 63 74  .**   This funct
2620: 69 6f 6e 20 61 6e 64 20 78 50 68 72 61 73 65 4e  ion and xPhraseN
2630: 65 78 74 43 6f 6c 75 6d 6e 28 29 20 61 72 65 20  extColumn() are 
2640: 73 69 6d 69 6c 61 72 20 74 6f 20 74 68 65 20 78  similar to the x
2650: 50 68 72 61 73 65 46 69 72 73 74 28 29 0a 2a 2a  PhraseFirst().**
2660: 20 20 20 61 6e 64 20 78 50 68 72 61 73 65 4e 65     and xPhraseNe
2670: 78 74 28 29 20 41 50 49 73 20 64 65 73 63 72 69  xt() APIs descri
2680: 62 65 64 20 61 62 6f 76 65 2e 20 54 68 65 20 64  bed above. The d
2690: 69 66 66 65 72 65 6e 63 65 20 69 73 20 74 68 61  ifference is tha
26a0: 74 20 69 6e 73 74 65 61 64 0a 2a 2a 20 20 20 6f  t instead.**   o
26b0: 66 20 69 74 65 72 61 74 69 6e 67 20 74 68 72 6f  f iterating thro
26c0: 75 67 68 20 61 6c 6c 20 69 6e 73 74 61 6e 63 65  ugh all instance
26d0: 73 20 6f 66 20 61 20 70 68 72 61 73 65 20 69 6e  s of a phrase in
26e0: 20 74 68 65 20 63 75 72 72 65 6e 74 20 72 6f 77   the current row
26f0: 2c 20 74 68 65 73 65 0a 2a 2a 20 20 20 41 50 49  , these.**   API
2700: 73 20 61 72 65 20 75 73 65 64 20 74 6f 20 69 74  s are used to it
2710: 65 72 61 74 65 20 74 68 72 6f 75 67 68 20 74 68  erate through th
2720: 65 20 73 65 74 20 6f 66 20 63 6f 6c 75 6d 6e 73  e set of columns
2730: 20 69 6e 20 74 68 65 20 63 75 72 72 65 6e 74 20   in the current 
2740: 72 6f 77 0a 2a 2a 20 20 20 74 68 61 74 20 63 6f  row.**   that co
2750: 6e 74 61 69 6e 20 6f 6e 65 20 6f 72 20 6d 6f 72  ntain one or mor
2760: 65 20 69 6e 73 74 61 6e 63 65 73 20 6f 66 20 61  e instances of a
2770: 20 73 70 65 63 69 66 69 65 64 20 70 68 72 61 73   specified phras
2780: 65 2e 20 46 6f 72 20 65 78 61 6d 70 6c 65 3a 0a  e. For example:.
2790: 2a 2a 0a 2a 2a 20 20 20 20 20 20 20 46 74 73 35  **.**       Fts5
27a0: 50 68 72 61 73 65 49 74 65 72 20 69 74 65 72 3b  PhraseIter iter;
27b0: 0a 2a 2a 20 20 20 20 20 20 20 69 6e 74 20 69 43  .**       int iC
27c0: 6f 6c 3b 0a 2a 2a 20 20 20 20 20 20 20 66 6f 72  ol;.**       for
27d0: 28 70 41 70 69 2d 3e 78 50 68 72 61 73 65 46 69  (pApi->xPhraseFi
27e0: 72 73 74 43 6f 6c 75 6d 6e 28 70 46 74 73 2c 20  rstColumn(pFts, 
27f0: 69 50 68 72 61 73 65 2c 20 26 69 74 65 72 2c 20  iPhrase, &iter, 
2800: 26 69 43 6f 6c 29 3b 0a 2a 2a 20 20 20 20 20 20  &iCol);.**      
2810: 20 20 20 20 20 69 43 6f 6c 3e 3d 30 3b 0a 2a 2a       iCol>=0;.**
2820: 20 20 20 20 20 20 20 20 20 20 20 70 41 70 69 2d             pApi-
2830: 3e 78 50 68 72 61 73 65 4e 65 78 74 43 6f 6c 75  >xPhraseNextColu
2840: 6d 6e 28 70 46 74 73 2c 20 26 69 74 65 72 2c 20  mn(pFts, &iter, 
2850: 26 69 43 6f 6c 29 0a 2a 2a 20 20 20 20 20 20 20  &iCol).**       
2860: 29 7b 0a 2a 2a 20 20 20 20 20 20 20 20 20 2f 2f  ){.**         //
2870: 20 43 6f 6c 75 6d 6e 20 69 43 6f 6c 20 63 6f 6e   Column iCol con
2880: 74 61 69 6e 73 20 61 74 20 6c 65 61 73 74 20 6f  tains at least o
2890: 6e 65 20 69 6e 73 74 61 6e 63 65 20 6f 66 20 70  ne instance of p
28a0: 68 72 61 73 65 20 69 50 68 72 61 73 65 0a 2a 2a  hrase iPhrase.**
28b0: 20 20 20 20 20 20 20 7d 0a 2a 2a 0a 2a 2a 20 20         }.**.**  
28c0: 20 54 68 69 73 20 41 50 49 20 63 61 6e 20 62 65   This API can be
28d0: 20 71 75 69 74 65 20 73 6c 6f 77 20 69 66 20 75   quite slow if u
28e0: 73 65 64 20 77 69 74 68 20 61 6e 20 46 54 53 35  sed with an FTS5
28f0: 20 74 61 62 6c 65 20 63 72 65 61 74 65 64 20 77   table created w
2900: 69 74 68 20 74 68 65 0a 2a 2a 20 20 20 22 64 65  ith the.**   "de
2910: 74 61 69 6c 3d 6e 6f 6e 65 22 20 6f 70 74 69 6f  tail=none" optio
2920: 6e 2e 20 49 66 20 74 68 65 20 46 54 53 35 20 74  n. If the FTS5 t
2930: 61 62 6c 65 20 69 73 20 63 72 65 61 74 65 64 20  able is created 
2940: 77 69 74 68 20 65 69 74 68 65 72 20 0a 2a 2a 20  with either .** 
2950: 20 20 22 64 65 74 61 69 6c 3d 6e 6f 6e 65 22 20    "detail=none" 
2960: 22 63 6f 6e 74 65 6e 74 3d 22 20 6f 70 74 69 6f  "content=" optio
2970: 6e 20 28 69 2e 65 2e 20 69 66 20 69 74 20 69 73  n (i.e. if it is
2980: 20 61 20 63 6f 6e 74 65 6e 74 6c 65 73 73 20 74   a contentless t
2990: 61 62 6c 65 29 2c 20 0a 2a 2a 20 20 20 74 68 65  able), .**   the
29a0: 6e 20 74 68 69 73 20 41 50 49 20 61 6c 77 61 79  n this API alway
29b0: 73 20 69 74 65 72 61 74 65 73 20 74 68 72 6f 75  s iterates throu
29c0: 67 68 20 61 6e 20 65 6d 70 74 79 20 73 65 74 20  gh an empty set 
29d0: 28 61 6c 6c 20 63 61 6c 6c 73 20 74 6f 20 0a 2a  (all calls to .*
29e0: 2a 20 20 20 78 50 68 72 61 73 65 46 69 72 73 74  *   xPhraseFirst
29f0: 43 6f 6c 75 6d 6e 28 29 20 73 65 74 20 69 43 6f  Column() set iCo
2a00: 6c 20 74 6f 20 2d 31 29 2e 0a 2a 2a 0a 2a 2a 20  l to -1)..**.** 
2a10: 20 20 54 68 65 20 69 6e 66 6f 72 6d 61 74 69 6f    The informatio
2a20: 6e 20 61 63 63 65 73 73 65 64 20 75 73 69 6e 67  n accessed using
2a30: 20 74 68 69 73 20 41 50 49 20 61 6e 64 20 69 74   this API and it
2a40: 73 20 63 6f 6d 70 61 6e 69 6f 6e 0a 2a 2a 20 20  s companion.**  
2a50: 20 78 50 68 72 61 73 65 46 69 72 73 74 43 6f 6c   xPhraseFirstCol
2a60: 75 6d 6e 28 29 20 6d 61 79 20 61 6c 73 6f 20 62  umn() may also b
2a70: 65 20 6f 62 74 61 69 6e 65 64 20 75 73 69 6e 67  e obtained using
2a80: 20 78 50 68 72 61 73 65 46 69 72 73 74 2f 78 50   xPhraseFirst/xP
2a90: 68 72 61 73 65 4e 65 78 74 0a 2a 2a 20 20 20 28  hraseNext.**   (
2aa0: 6f 72 20 78 49 6e 73 74 2f 78 49 6e 73 74 43 6f  or xInst/xInstCo
2ab0: 75 6e 74 29 2e 20 54 68 65 20 63 68 69 65 66 20  unt). The chief 
2ac0: 61 64 76 61 6e 74 61 67 65 20 6f 66 20 74 68 69  advantage of thi
2ad0: 73 20 41 50 49 20 69 73 20 74 68 61 74 20 69 74  s API is that it
2ae0: 20 69 73 0a 2a 2a 20 20 20 73 69 67 6e 69 66 69   is.**   signifi
2af0: 63 61 6e 74 6c 79 20 6d 6f 72 65 20 65 66 66 69  cantly more effi
2b00: 63 69 65 6e 74 20 74 68 61 6e 20 74 68 6f 73 65  cient than those
2b10: 20 61 6c 74 65 72 6e 61 74 69 76 65 73 20 77 68   alternatives wh
2b20: 65 6e 20 75 73 65 64 20 77 69 74 68 0a 2a 2a 20  en used with.** 
2b30: 20 20 22 64 65 74 61 69 6c 3d 63 6f 6c 75 6d 6e    "detail=column
2b40: 22 20 74 61 62 6c 65 73 2e 20 20 0a 2a 2a 0a 2a  " tables.  .**.*
2b50: 2a 20 78 50 68 72 61 73 65 4e 65 78 74 43 6f 6c  * xPhraseNextCol
2b60: 75 6d 6e 28 29 0a 2a 2a 20 20 20 53 65 65 20 78  umn().**   See x
2b70: 50 68 72 61 73 65 46 69 72 73 74 43 6f 6c 75 6d  PhraseFirstColum
2b80: 6e 20 61 62 6f 76 65 2e 0a 2a 2f 0a 73 74 72 75  n above..*/.stru
2b90: 63 74 20 46 74 73 35 45 78 74 65 6e 73 69 6f 6e  ct Fts5Extension
2ba0: 41 70 69 20 7b 0a 20 20 69 6e 74 20 69 56 65 72  Api {.  int iVer
2bb0: 73 69 6f 6e 3b 20 20 20 20 20 20 20 20 20 20 20  sion;           
2bc0: 20 20 20 20 20 20 20 20 2f 2a 20 43 75 72 72 65          /* Curre
2bd0: 6e 74 6c 79 20 61 6c 77 61 79 73 20 73 65 74 20  ntly always set 
2be0: 74 6f 20 33 20 2a 2f 0a 0a 20 20 76 6f 69 64 20  to 3 */..  void 
2bf0: 2a 28 2a 78 55 73 65 72 44 61 74 61 29 28 46 74  *(*xUserData)(Ft
2c00: 73 35 43 6f 6e 74 65 78 74 2a 29 3b 0a 0a 20 20  s5Context*);..  
2c10: 69 6e 74 20 28 2a 78 43 6f 6c 75 6d 6e 43 6f 75  int (*xColumnCou
2c20: 6e 74 29 28 46 74 73 35 43 6f 6e 74 65 78 74 2a  nt)(Fts5Context*
2c30: 29 3b 0a 20 20 69 6e 74 20 28 2a 78 52 6f 77 43  );.  int (*xRowC
2c40: 6f 75 6e 74 29 28 46 74 73 35 43 6f 6e 74 65 78  ount)(Fts5Contex
2c50: 74 2a 2c 20 73 71 6c 69 74 65 33 5f 69 6e 74 36  t*, sqlite3_int6
2c60: 34 20 2a 70 6e 52 6f 77 29 3b 0a 20 20 69 6e 74  4 *pnRow);.  int
2c70: 20 28 2a 78 43 6f 6c 75 6d 6e 54 6f 74 61 6c 53   (*xColumnTotalS
2c80: 69 7a 65 29 28 46 74 73 35 43 6f 6e 74 65 78 74  ize)(Fts5Context
2c90: 2a 2c 20 69 6e 74 20 69 43 6f 6c 2c 20 73 71 6c  *, int iCol, sql
2ca0: 69 74 65 33 5f 69 6e 74 36 34 20 2a 70 6e 54 6f  ite3_int64 *pnTo
2cb0: 6b 65 6e 29 3b 0a 0a 20 20 69 6e 74 20 28 2a 78  ken);..  int (*x
2cc0: 54 6f 6b 65 6e 69 7a 65 29 28 46 74 73 35 43 6f  Tokenize)(Fts5Co
2cd0: 6e 74 65 78 74 2a 2c 20 0a 20 20 20 20 63 6f 6e  ntext*, .    con
2ce0: 73 74 20 63 68 61 72 20 2a 70 54 65 78 74 2c 20  st char *pText, 
2cf0: 69 6e 74 20 6e 54 65 78 74 2c 20 2f 2a 20 54 65  int nText, /* Te
2d00: 78 74 20 74 6f 20 74 6f 6b 65 6e 69 7a 65 20 2a  xt to tokenize *
2d10: 2f 0a 20 20 20 20 76 6f 69 64 20 2a 70 43 74 78  /.    void *pCtx
2d20: 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ,               
2d30: 20 20 20 20 2f 2a 20 43 6f 6e 74 65 78 74 20 70      /* Context p
2d40: 61 73 73 65 64 20 74 6f 20 78 54 6f 6b 65 6e 28  assed to xToken(
2d50: 29 20 2a 2f 0a 20 20 20 20 69 6e 74 20 28 2a 78  ) */.    int (*x
2d60: 54 6f 6b 65 6e 29 28 76 6f 69 64 2a 2c 20 69 6e  Token)(void*, in
2d70: 74 2c 20 63 6f 6e 73 74 20 63 68 61 72 2a 2c 20  t, const char*, 
2d80: 69 6e 74 2c 20 69 6e 74 2c 20 69 6e 74 29 20 20  int, int, int)  
2d90: 20 20 20 20 20 2f 2a 20 43 61 6c 6c 62 61 63 6b       /* Callback
2da0: 20 2a 2f 0a 20 20 29 3b 0a 0a 20 20 69 6e 74 20   */.  );..  int 
2db0: 28 2a 78 50 68 72 61 73 65 43 6f 75 6e 74 29 28  (*xPhraseCount)(
2dc0: 46 74 73 35 43 6f 6e 74 65 78 74 2a 29 3b 0a 20  Fts5Context*);. 
2dd0: 20 69 6e 74 20 28 2a 78 50 68 72 61 73 65 53 69   int (*xPhraseSi
2de0: 7a 65 29 28 46 74 73 35 43 6f 6e 74 65 78 74 2a  ze)(Fts5Context*
2df0: 2c 20 69 6e 74 20 69 50 68 72 61 73 65 29 3b 0a  , int iPhrase);.
2e00: 0a 20 20 69 6e 74 20 28 2a 78 49 6e 73 74 43 6f  .  int (*xInstCo
2e10: 75 6e 74 29 28 46 74 73 35 43 6f 6e 74 65 78 74  unt)(Fts5Context
2e20: 2a 2c 20 69 6e 74 20 2a 70 6e 49 6e 73 74 29 3b  *, int *pnInst);
2e30: 0a 20 20 69 6e 74 20 28 2a 78 49 6e 73 74 29 28  .  int (*xInst)(
2e40: 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20 69 6e  Fts5Context*, in
2e50: 74 20 69 49 64 78 2c 20 69 6e 74 20 2a 70 69 50  t iIdx, int *piP
2e60: 68 72 61 73 65 2c 20 69 6e 74 20 2a 70 69 43 6f  hrase, int *piCo
2e70: 6c 2c 20 69 6e 74 20 2a 70 69 4f 66 66 29 3b 0a  l, int *piOff);.
2e80: 0a 20 20 73 71 6c 69 74 65 33 5f 69 6e 74 36 34  .  sqlite3_int64
2e90: 20 28 2a 78 52 6f 77 69 64 29 28 46 74 73 35 43   (*xRowid)(Fts5C
2ea0: 6f 6e 74 65 78 74 2a 29 3b 0a 20 20 69 6e 74 20  ontext*);.  int 
2eb0: 28 2a 78 43 6f 6c 75 6d 6e 54 65 78 74 29 28 46  (*xColumnText)(F
2ec0: 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20 69 6e 74  ts5Context*, int
2ed0: 20 69 43 6f 6c 2c 20 63 6f 6e 73 74 20 63 68 61   iCol, const cha
2ee0: 72 20 2a 2a 70 7a 2c 20 69 6e 74 20 2a 70 6e 29  r **pz, int *pn)
2ef0: 3b 0a 20 20 69 6e 74 20 28 2a 78 43 6f 6c 75 6d  ;.  int (*xColum
2f00: 6e 53 69 7a 65 29 28 46 74 73 35 43 6f 6e 74 65  nSize)(Fts5Conte
2f10: 78 74 2a 2c 20 69 6e 74 20 69 43 6f 6c 2c 20 69  xt*, int iCol, i
2f20: 6e 74 20 2a 70 6e 54 6f 6b 65 6e 29 3b 0a 0a 20  nt *pnToken);.. 
2f30: 20 69 6e 74 20 28 2a 78 51 75 65 72 79 50 68 72   int (*xQueryPhr
2f40: 61 73 65 29 28 46 74 73 35 43 6f 6e 74 65 78 74  ase)(Fts5Context
2f50: 2a 2c 20 69 6e 74 20 69 50 68 72 61 73 65 2c 20  *, int iPhrase, 
2f60: 76 6f 69 64 20 2a 70 55 73 65 72 44 61 74 61 2c  void *pUserData,
2f70: 0a 20 20 20 20 69 6e 74 28 2a 29 28 63 6f 6e 73  .    int(*)(cons
2f80: 74 20 46 74 73 35 45 78 74 65 6e 73 69 6f 6e 41  t Fts5ExtensionA
2f90: 70 69 2a 2c 46 74 73 35 43 6f 6e 74 65 78 74 2a  pi*,Fts5Context*
2fa0: 2c 76 6f 69 64 2a 29 0a 20 20 29 3b 0a 20 20 69  ,void*).  );.  i
2fb0: 6e 74 20 28 2a 78 53 65 74 41 75 78 64 61 74 61  nt (*xSetAuxdata
2fc0: 29 28 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20  )(Fts5Context*, 
2fd0: 76 6f 69 64 20 2a 70 41 75 78 2c 20 76 6f 69 64  void *pAux, void
2fe0: 28 2a 78 44 65 6c 65 74 65 29 28 76 6f 69 64 2a  (*xDelete)(void*
2ff0: 29 29 3b 0a 20 20 76 6f 69 64 20 2a 28 2a 78 47  ));.  void *(*xG
3000: 65 74 41 75 78 64 61 74 61 29 28 46 74 73 35 43  etAuxdata)(Fts5C
3010: 6f 6e 74 65 78 74 2a 2c 20 69 6e 74 20 62 43 6c  ontext*, int bCl
3020: 65 61 72 29 3b 0a 0a 20 20 69 6e 74 20 28 2a 78  ear);..  int (*x
3030: 50 68 72 61 73 65 46 69 72 73 74 29 28 46 74 73  PhraseFirst)(Fts
3040: 35 43 6f 6e 74 65 78 74 2a 2c 20 69 6e 74 20 69  5Context*, int i
3050: 50 68 72 61 73 65 2c 20 46 74 73 35 50 68 72 61  Phrase, Fts5Phra
3060: 73 65 49 74 65 72 2a 2c 20 69 6e 74 2a 2c 20 69  seIter*, int*, i
3070: 6e 74 2a 29 3b 0a 20 20 76 6f 69 64 20 28 2a 78  nt*);.  void (*x
3080: 50 68 72 61 73 65 4e 65 78 74 29 28 46 74 73 35  PhraseNext)(Fts5
3090: 43 6f 6e 74 65 78 74 2a 2c 20 46 74 73 35 50 68  Context*, Fts5Ph
30a0: 72 61 73 65 49 74 65 72 2a 2c 20 69 6e 74 20 2a  raseIter*, int *
30b0: 70 69 43 6f 6c 2c 20 69 6e 74 20 2a 70 69 4f 66  piCol, int *piOf
30c0: 66 29 3b 0a 0a 20 20 69 6e 74 20 28 2a 78 50 68  f);..  int (*xPh
30d0: 72 61 73 65 46 69 72 73 74 43 6f 6c 75 6d 6e 29  raseFirstColumn)
30e0: 28 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20 69  (Fts5Context*, i
30f0: 6e 74 20 69 50 68 72 61 73 65 2c 20 46 74 73 35  nt iPhrase, Fts5
3100: 50 68 72 61 73 65 49 74 65 72 2a 2c 20 69 6e 74  PhraseIter*, int
3110: 2a 29 3b 0a 20 20 76 6f 69 64 20 28 2a 78 50 68  *);.  void (*xPh
3120: 72 61 73 65 4e 65 78 74 43 6f 6c 75 6d 6e 29 28  raseNextColumn)(
3130: 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20 46 74  Fts5Context*, Ft
3140: 73 35 50 68 72 61 73 65 49 74 65 72 2a 2c 20 69  s5PhraseIter*, i
3150: 6e 74 20 2a 70 69 43 6f 6c 29 3b 0a 7d 3b 0a 0a  nt *piCol);.};..
3160: 2f 2a 20 0a 2a 2a 20 43 55 53 54 4f 4d 20 41 55  /* .** CUSTOM AU
3170: 58 49 4c 49 41 52 59 20 46 55 4e 43 54 49 4f 4e  XILIARY FUNCTION
3180: 53 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  S.**************
3190: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
31a0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
31b0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
31c0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f 0a 0a 2f 2a  ***********/../*
31d0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
31e0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
31f0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3200: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3210: 2a 2a 2a 2a 2a 2a 2a 2a 0a 2a 2a 20 43 55 53 54  ********.** CUST
3220: 4f 4d 20 54 4f 4b 45 4e 49 5a 45 52 53 0a 2a 2a  OM TOKENIZERS.**
3230: 0a 2a 2a 20 41 70 70 6c 69 63 61 74 69 6f 6e 73  .** Applications
3240: 20 6d 61 79 20 61 6c 73 6f 20 72 65 67 69 73 74   may also regist
3250: 65 72 20 63 75 73 74 6f 6d 20 74 6f 6b 65 6e 69  er custom tokeni
3260: 7a 65 72 20 74 79 70 65 73 2e 20 41 20 74 6f 6b  zer types. A tok
3270: 65 6e 69 7a 65 72 20 0a 2a 2a 20 69 73 20 72 65  enizer .** is re
3280: 67 69 73 74 65 72 65 64 20 62 79 20 70 72 6f 76  gistered by prov
3290: 69 64 69 6e 67 20 66 74 73 35 20 77 69 74 68 20  iding fts5 with 
32a0: 61 20 70 6f 70 75 6c 61 74 65 64 20 69 6e 73 74  a populated inst
32b0: 61 6e 63 65 20 6f 66 20 74 68 65 20 0a 2a 2a 20  ance of the .** 
32c0: 66 6f 6c 6c 6f 77 69 6e 67 20 73 74 72 75 63 74  following struct
32d0: 75 72 65 2e 20 41 6c 6c 20 73 74 72 75 63 74 75  ure. All structu
32e0: 72 65 20 6d 65 74 68 6f 64 73 20 6d 75 73 74 20  re methods must 
32f0: 62 65 20 64 65 66 69 6e 65 64 2c 20 73 65 74 74  be defined, sett
3300: 69 6e 67 0a 2a 2a 20 61 6e 79 20 6d 65 6d 62 65  ing.** any membe
3310: 72 20 6f 66 20 74 68 65 20 66 74 73 35 5f 74 6f  r of the fts5_to
3320: 6b 65 6e 69 7a 65 72 20 73 74 72 75 63 74 20 74  kenizer struct t
3330: 6f 20 4e 55 4c 4c 20 6c 65 61 64 73 20 74 6f 20  o NULL leads to 
3340: 75 6e 64 65 66 69 6e 65 64 0a 2a 2a 20 62 65 68  undefined.** beh
3350: 61 76 69 6f 75 72 2e 20 54 68 65 20 73 74 72 75  aviour. The stru
3360: 63 74 75 72 65 20 6d 65 74 68 6f 64 73 20 61 72  cture methods ar
3370: 65 20 65 78 70 65 63 74 65 64 20 74 6f 20 66 75  e expected to fu
3380: 6e 63 74 69 6f 6e 20 61 73 20 66 6f 6c 6c 6f 77  nction as follow
3390: 73 3a 0a 2a 2a 0a 2a 2a 20 78 43 72 65 61 74 65  s:.**.** xCreate
33a0: 3a 0a 2a 2a 20 20 20 54 68 69 73 20 66 75 6e 63  :.**   This func
33b0: 74 69 6f 6e 20 69 73 20 75 73 65 64 20 74 6f 20  tion is used to 
33c0: 61 6c 6c 6f 63 61 74 65 20 61 6e 64 20 69 6e 69  allocate and ini
33d0: 74 69 74 61 6c 69 7a 65 20 61 20 74 6f 6b 65 6e  titalize a token
33e0: 69 7a 65 72 20 69 6e 73 74 61 6e 63 65 2e 0a 2a  izer instance..*
33f0: 2a 20 20 20 41 20 74 6f 6b 65 6e 69 7a 65 72 20  *   A tokenizer 
3400: 69 6e 73 74 61 6e 63 65 20 69 73 20 72 65 71 75  instance is requ
3410: 69 72 65 64 20 74 6f 20 61 63 74 75 61 6c 6c 79  ired to actually
3420: 20 74 6f 6b 65 6e 69 7a 65 20 74 65 78 74 2e 0a   tokenize text..
3430: 2a 2a 0a 2a 2a 20 20 20 54 68 65 20 66 69 72 73  **.**   The firs
3440: 74 20 61 72 67 75 6d 65 6e 74 20 70 61 73 73 65  t argument passe
3450: 64 20 74 6f 20 74 68 69 73 20 66 75 6e 63 74 69  d to this functi
3460: 6f 6e 20 69 73 20 61 20 63 6f 70 79 20 6f 66 20  on is a copy of 
3470: 74 68 65 20 28 76 6f 69 64 2a 29 0a 2a 2a 20 20  the (void*).**  
3480: 20 70 6f 69 6e 74 65 72 20 70 72 6f 76 69 64 65   pointer provide
3490: 64 20 62 79 20 74 68 65 20 61 70 70 6c 69 63 61  d by the applica
34a0: 74 69 6f 6e 20 77 68 65 6e 20 74 68 65 20 66 74  tion when the ft
34b0: 73 35 5f 74 6f 6b 65 6e 69 7a 65 72 20 6f 62 6a  s5_tokenizer obj
34c0: 65 63 74 0a 2a 2a 20 20 20 77 61 73 20 72 65 67  ect.**   was reg
34d0: 69 73 74 65 72 65 64 20 77 69 74 68 20 46 54 53  istered with FTS
34e0: 35 20 28 74 68 65 20 74 68 69 72 64 20 61 72 67  5 (the third arg
34f0: 75 6d 65 6e 74 20 74 6f 20 78 43 72 65 61 74 65  ument to xCreate
3500: 54 6f 6b 65 6e 69 7a 65 72 28 29 29 2e 20 0a 2a  Tokenizer()). .*
3510: 2a 20 20 20 54 68 65 20 73 65 63 6f 6e 64 20 61  *   The second a
3520: 6e 64 20 74 68 69 72 64 20 61 72 67 75 6d 65 6e  nd third argumen
3530: 74 73 20 61 72 65 20 61 6e 20 61 72 72 61 79 20  ts are an array 
3540: 6f 66 20 6e 75 6c 2d 74 65 72 6d 69 6e 61 74 65  of nul-terminate
3550: 64 20 73 74 72 69 6e 67 73 0a 2a 2a 20 20 20 63  d strings.**   c
3560: 6f 6e 74 61 69 6e 69 6e 67 20 74 68 65 20 74 6f  ontaining the to
3570: 6b 65 6e 69 7a 65 72 20 61 72 67 75 6d 65 6e 74  kenizer argument
3580: 73 2c 20 69 66 20 61 6e 79 2c 20 73 70 65 63 69  s, if any, speci
3590: 66 69 65 64 20 66 6f 6c 6c 6f 77 69 6e 67 20 74  fied following t
35a0: 68 65 0a 2a 2a 20 20 20 74 6f 6b 65 6e 69 7a 65  he.**   tokenize
35b0: 72 20 6e 61 6d 65 20 61 73 20 70 61 72 74 20 6f  r name as part o
35c0: 66 20 74 68 65 20 43 52 45 41 54 45 20 56 49 52  f the CREATE VIR
35d0: 54 55 41 4c 20 54 41 42 4c 45 20 73 74 61 74 65  TUAL TABLE state
35e0: 6d 65 6e 74 20 75 73 65 64 0a 2a 2a 20 20 20 74  ment used.**   t
35f0: 6f 20 63 72 65 61 74 65 20 74 68 65 20 46 54 53  o create the FTS
3600: 35 20 74 61 62 6c 65 2e 0a 2a 2a 0a 2a 2a 20 20  5 table..**.**  
3610: 20 54 68 65 20 66 69 6e 61 6c 20 61 72 67 75 6d   The final argum
3620: 65 6e 74 20 69 73 20 61 6e 20 6f 75 74 70 75 74  ent is an output
3630: 20 76 61 72 69 61 62 6c 65 2e 20 49 66 20 73 75   variable. If su
3640: 63 63 65 73 73 66 75 6c 2c 20 28 2a 70 70 4f 75  ccessful, (*ppOu
3650: 74 29 20 0a 2a 2a 20 20 20 73 68 6f 75 6c 64 20  t) .**   should 
3660: 62 65 20 73 65 74 20 74 6f 20 70 6f 69 6e 74 20  be set to point 
3670: 74 6f 20 74 68 65 20 6e 65 77 20 74 6f 6b 65 6e  to the new token
3680: 69 7a 65 72 20 68 61 6e 64 6c 65 20 61 6e 64 20  izer handle and 
3690: 53 51 4c 49 54 45 5f 4f 4b 0a 2a 2a 20 20 20 72  SQLITE_OK.**   r
36a0: 65 74 75 72 6e 65 64 2e 20 49 66 20 61 6e 20 65  eturned. If an e
36b0: 72 72 6f 72 20 6f 63 63 75 72 73 2c 20 73 6f 6d  rror occurs, som
36c0: 65 20 76 61 6c 75 65 20 6f 74 68 65 72 20 74 68  e value other th
36d0: 61 6e 20 53 51 4c 49 54 45 5f 4f 4b 20 73 68 6f  an SQLITE_OK sho
36e0: 75 6c 64 0a 2a 2a 20 20 20 62 65 20 72 65 74 75  uld.**   be retu
36f0: 72 6e 65 64 2e 20 49 6e 20 74 68 69 73 20 63 61  rned. In this ca
3700: 73 65 2c 20 66 74 73 35 20 61 73 73 75 6d 65 73  se, fts5 assumes
3710: 20 74 68 61 74 20 74 68 65 20 66 69 6e 61 6c 20   that the final 
3720: 76 61 6c 75 65 20 6f 66 20 2a 70 70 4f 75 74 20  value of *ppOut 
3730: 0a 2a 2a 20 20 20 69 73 20 75 6e 64 65 66 69 6e  .**   is undefin
3740: 65 64 2e 0a 2a 2a 0a 2a 2a 20 78 44 65 6c 65 74  ed..**.** xDelet
3750: 65 3a 0a 2a 2a 20 20 20 54 68 69 73 20 66 75 6e  e:.**   This fun
3760: 63 74 69 6f 6e 20 69 73 20 69 6e 76 6f 6b 65 64  ction is invoked
3770: 20 74 6f 20 64 65 6c 65 74 65 20 61 20 74 6f 6b   to delete a tok
3780: 65 6e 69 7a 65 72 20 68 61 6e 64 6c 65 20 70 72  enizer handle pr
3790: 65 76 69 6f 75 73 6c 79 0a 2a 2a 20 20 20 61 6c  eviously.**   al
37a0: 6c 6f 63 61 74 65 64 20 75 73 69 6e 67 20 78 43  located using xC
37b0: 72 65 61 74 65 28 29 2e 20 46 74 73 35 20 67 75  reate(). Fts5 gu
37c0: 61 72 61 6e 74 65 65 73 20 74 68 61 74 20 74 68  arantees that th
37d0: 69 73 20 66 75 6e 63 74 69 6f 6e 20 77 69 6c 6c  is function will
37e0: 0a 2a 2a 20 20 20 62 65 20 69 6e 76 6f 6b 65 64  .**   be invoked
37f0: 20 65 78 61 63 74 6c 79 20 6f 6e 63 65 20 66 6f   exactly once fo
3800: 72 20 65 61 63 68 20 73 75 63 63 65 73 73 66 75  r each successfu
3810: 6c 20 63 61 6c 6c 20 74 6f 20 78 43 72 65 61 74  l call to xCreat
3820: 65 28 29 2e 0a 2a 2a 0a 2a 2a 20 78 54 6f 6b 65  e()..**.** xToke
3830: 6e 69 7a 65 3a 0a 2a 2a 20 20 20 54 68 69 73 20  nize:.**   This 
3840: 66 75 6e 63 74 69 6f 6e 20 69 73 20 65 78 70 65  function is expe
3850: 63 74 65 64 20 74 6f 20 74 6f 6b 65 6e 69 7a 65  cted to tokenize
3860: 20 74 68 65 20 6e 54 65 78 74 20 62 79 74 65 20   the nText byte 
3870: 73 74 72 69 6e 67 20 69 6e 64 69 63 61 74 65 64  string indicated
3880: 20 0a 2a 2a 20 20 20 62 79 20 61 72 67 75 6d 65   .**   by argume
3890: 6e 74 20 70 54 65 78 74 2e 20 70 54 65 78 74 20  nt pText. pText 
38a0: 6d 61 79 20 6f 72 20 6d 61 79 20 6e 6f 74 20 62  may or may not b
38b0: 65 20 6e 75 6c 2d 74 65 72 6d 69 6e 61 74 65 64  e nul-terminated
38c0: 2e 20 54 68 65 20 66 69 72 73 74 0a 2a 2a 20 20  . The first.**  
38d0: 20 61 72 67 75 6d 65 6e 74 20 70 61 73 73 65 64   argument passed
38e0: 20 74 6f 20 74 68 69 73 20 66 75 6e 63 74 69 6f   to this functio
38f0: 6e 20 69 73 20 61 20 70 6f 69 6e 74 65 72 20 74  n is a pointer t
3900: 6f 20 61 6e 20 46 74 73 35 54 6f 6b 65 6e 69 7a  o an Fts5Tokeniz
3910: 65 72 20 6f 62 6a 65 63 74 0a 2a 2a 20 20 20 72  er object.**   r
3920: 65 74 75 72 6e 65 64 20 62 79 20 61 6e 20 65 61  eturned by an ea
3930: 72 6c 69 65 72 20 63 61 6c 6c 20 74 6f 20 78 43  rlier call to xC
3940: 72 65 61 74 65 28 29 2e 0a 2a 2a 0a 2a 2a 20 20  reate()..**.**  
3950: 20 54 68 65 20 73 65 63 6f 6e 64 20 61 72 67 75   The second argu
3960: 6d 65 6e 74 20 69 6e 64 69 63 61 74 65 73 20 74  ment indicates t
3970: 68 65 20 72 65 61 73 6f 6e 20 74 68 61 74 20 46  he reason that F
3980: 54 53 35 20 69 73 20 72 65 71 75 65 73 74 69 6e  TS5 is requestin
3990: 67 0a 2a 2a 20 20 20 74 6f 6b 65 6e 69 7a 61 74  g.**   tokenizat
39a0: 69 6f 6e 20 6f 66 20 74 68 65 20 73 75 70 70 6c  ion of the suppl
39b0: 69 65 64 20 74 65 78 74 2e 20 54 68 69 73 20 69  ied text. This i
39c0: 73 20 61 6c 77 61 79 73 20 6f 6e 65 20 6f 66 20  s always one of 
39d0: 74 68 65 20 66 6f 6c 6c 6f 77 69 6e 67 0a 2a 2a  the following.**
39e0: 20 20 20 66 6f 75 72 20 76 61 6c 75 65 73 3a 0a     four values:.
39f0: 2a 2a 0a 2a 2a 20 20 20 3c 75 6c 3e 3c 6c 69 3e  **.**   <ul><li>
3a00: 20 3c 62 3e 46 54 53 35 5f 54 4f 4b 45 4e 49 5a   <b>FTS5_TOKENIZ
3a10: 45 5f 44 4f 43 55 4d 45 4e 54 3c 2f 62 3e 20 2d  E_DOCUMENT</b> -
3a20: 20 41 20 64 6f 63 75 6d 65 6e 74 20 69 73 20 62   A document is b
3a30: 65 69 6e 67 20 69 6e 73 65 72 74 65 64 20 69 6e  eing inserted in
3a40: 74 6f 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20  to.**           
3a50: 20 6f 72 20 72 65 6d 6f 76 65 64 20 66 72 6f 6d   or removed from
3a60: 20 74 68 65 20 46 54 53 20 74 61 62 6c 65 2e 20   the FTS table. 
3a70: 54 68 65 20 74 6f 6b 65 6e 69 7a 65 72 20 69 73  The tokenizer is
3a80: 20 62 65 69 6e 67 20 69 6e 76 6f 6b 65 64 20 74   being invoked t
3a90: 6f 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20  o.**            
3aa0: 64 65 74 65 72 6d 69 6e 65 20 74 68 65 20 73 65  determine the se
3ab0: 74 20 6f 66 20 74 6f 6b 65 6e 73 20 74 6f 20 61  t of tokens to a
3ac0: 64 64 20 74 6f 20 28 6f 72 20 64 65 6c 65 74 65  dd to (or delete
3ad0: 20 66 72 6f 6d 29 20 74 68 65 0a 2a 2a 20 20 20   from) the.**   
3ae0: 20 20 20 20 20 20 20 20 20 46 54 53 20 69 6e 64           FTS ind
3af0: 65 78 2e 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 20  ex..**.**       
3b00: 3c 6c 69 3e 20 3c 62 3e 46 54 53 35 5f 54 4f 4b  <li> <b>FTS5_TOK
3b10: 45 4e 49 5a 45 5f 51 55 45 52 59 3c 2f 62 3e 20  ENIZE_QUERY</b> 
3b20: 2d 20 41 20 4d 41 54 43 48 20 71 75 65 72 79 20  - A MATCH query 
3b30: 69 73 20 62 65 69 6e 67 20 65 78 65 63 75 74 65  is being execute
3b40: 64 20 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20  d .**           
3b50: 20 61 67 61 69 6e 73 74 20 74 68 65 20 46 54 53   against the FTS
3b60: 20 69 6e 64 65 78 2e 20 54 68 65 20 74 6f 6b 65   index. The toke
3b70: 6e 69 7a 65 72 20 69 73 20 62 65 69 6e 67 20 63  nizer is being c
3b80: 61 6c 6c 65 64 20 74 6f 20 74 6f 6b 65 6e 69 7a  alled to tokeniz
3b90: 65 20 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20  e .**           
3ba0: 20 61 20 62 61 72 65 77 6f 72 64 20 6f 72 20 71   a bareword or q
3bb0: 75 6f 74 65 64 20 73 74 72 69 6e 67 20 73 70 65  uoted string spe
3bc0: 63 69 66 69 65 64 20 61 73 20 70 61 72 74 20 6f  cified as part o
3bd0: 66 20 74 68 65 20 71 75 65 72 79 2e 0a 2a 2a 0a  f the query..**.
3be0: 2a 2a 20 20 20 20 20 20 20 3c 6c 69 3e 20 3c 62  **       <li> <b
3bf0: 3e 28 46 54 53 35 5f 54 4f 4b 45 4e 49 5a 45 5f  >(FTS5_TOKENIZE_
3c00: 51 55 45 52 59 20 7c 20 46 54 53 35 5f 54 4f 4b  QUERY | FTS5_TOK
3c10: 45 4e 49 5a 45 5f 50 52 45 46 49 58 29 3c 2f 62  ENIZE_PREFIX)</b
3c20: 3e 20 2d 20 53 61 6d 65 20 61 73 0a 2a 2a 20 20  > - Same as.**  
3c30: 20 20 20 20 20 20 20 20 20 20 46 54 53 35 5f 54            FTS5_T
3c40: 4f 4b 45 4e 49 5a 45 5f 51 55 45 52 59 2c 20 65  OKENIZE_QUERY, e
3c50: 78 63 65 70 74 20 74 68 61 74 20 74 68 65 20 62  xcept that the b
3c60: 61 72 65 77 6f 72 64 20 6f 72 20 71 75 6f 74 65  areword or quote
3c70: 64 20 73 74 72 69 6e 67 20 69 73 0a 2a 2a 20 20  d string is.**  
3c80: 20 20 20 20 20 20 20 20 20 20 66 6f 6c 6c 6f 77            follow
3c90: 65 64 20 62 79 20 61 20 22 2a 22 20 63 68 61 72  ed by a "*" char
3ca0: 61 63 74 65 72 2c 20 69 6e 64 69 63 61 74 69 6e  acter, indicatin
3cb0: 67 20 74 68 61 74 20 74 68 65 20 6c 61 73 74 20  g that the last 
3cc0: 74 6f 6b 65 6e 0a 2a 2a 20 20 20 20 20 20 20 20  token.**        
3cd0: 20 20 20 20 72 65 74 75 72 6e 65 64 20 62 79 20      returned by 
3ce0: 74 68 65 20 74 6f 6b 65 6e 69 7a 65 72 20 77 69  the tokenizer wi
3cf0: 6c 6c 20 62 65 20 74 72 65 61 74 65 64 20 61 73  ll be treated as
3d00: 20 61 20 74 6f 6b 65 6e 20 70 72 65 66 69 78 2e   a token prefix.
3d10: 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 20 3c 6c 69  .**.**       <li
3d20: 3e 20 3c 62 3e 46 54 53 35 5f 54 4f 4b 45 4e 49  > <b>FTS5_TOKENI
3d30: 5a 45 5f 41 55 58 3c 2f 62 3e 20 2d 20 54 68 65  ZE_AUX</b> - The
3d40: 20 74 6f 6b 65 6e 69 7a 65 72 20 69 73 20 62 65   tokenizer is be
3d50: 69 6e 67 20 69 6e 76 6f 6b 65 64 20 74 6f 20 0a  ing invoked to .
3d60: 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 73 61  **            sa
3d70: 74 69 73 66 79 20 61 6e 20 66 74 73 35 5f 61 70  tisfy an fts5_ap
3d80: 69 2e 78 54 6f 6b 65 6e 69 7a 65 28 29 20 72 65  i.xTokenize() re
3d90: 71 75 65 73 74 20 6d 61 64 65 20 62 79 20 61 6e  quest made by an
3da0: 20 61 75 78 69 6c 69 61 72 79 0a 2a 2a 20 20 20   auxiliary.**   
3db0: 20 20 20 20 20 20 20 20 20 66 75 6e 63 74 69 6f           functio
3dc0: 6e 2e 20 4f 72 20 61 6e 20 66 74 73 35 5f 61 70  n. Or an fts5_ap
3dd0: 69 2e 78 43 6f 6c 75 6d 6e 53 69 7a 65 28 29 20  i.xColumnSize() 
3de0: 72 65 71 75 65 73 74 20 6d 61 64 65 20 62 79 20  request made by 
3df0: 74 68 65 20 73 61 6d 65 0a 2a 2a 20 20 20 20 20  the same.**     
3e00: 20 20 20 20 20 20 20 6f 6e 20 61 20 63 6f 6c 75         on a colu
3e10: 6d 6e 73 69 7a 65 3d 30 20 64 61 74 61 62 61 73  mnsize=0 databas
3e20: 65 2e 20 20 0a 2a 2a 20 20 20 3c 2f 75 6c 3e 0a  e.  .**   </ul>.
3e30: 2a 2a 0a 2a 2a 20 20 20 46 6f 72 20 65 61 63 68  **.**   For each
3e40: 20 74 6f 6b 65 6e 20 69 6e 20 74 68 65 20 69 6e   token in the in
3e50: 70 75 74 20 73 74 72 69 6e 67 2c 20 74 68 65 20  put string, the 
3e60: 73 75 70 70 6c 69 65 64 20 63 61 6c 6c 62 61 63  supplied callbac
3e70: 6b 20 78 54 6f 6b 65 6e 28 29 20 6d 75 73 74 0a  k xToken() must.
3e80: 2a 2a 20 20 20 62 65 20 69 6e 76 6f 6b 65 64 2e  **   be invoked.
3e90: 20 54 68 65 20 66 69 72 73 74 20 61 72 67 75 6d   The first argum
3ea0: 65 6e 74 20 74 6f 20 69 74 20 73 68 6f 75 6c 64  ent to it should
3eb0: 20 62 65 20 61 20 63 6f 70 79 20 6f 66 20 74 68   be a copy of th
3ec0: 65 20 70 6f 69 6e 74 65 72 0a 2a 2a 20 20 20 70  e pointer.**   p
3ed0: 61 73 73 65 64 20 61 73 20 74 68 65 20 73 65 63  assed as the sec
3ee0: 6f 6e 64 20 61 72 67 75 6d 65 6e 74 20 74 6f 20  ond argument to 
3ef0: 78 54 6f 6b 65 6e 69 7a 65 28 29 2e 20 54 68 65  xTokenize(). The
3f00: 20 74 68 69 72 64 20 61 6e 64 20 66 6f 75 72 74   third and fourt
3f10: 68 0a 2a 2a 20 20 20 61 72 67 75 6d 65 6e 74 73  h.**   arguments
3f20: 20 61 72 65 20 61 20 70 6f 69 6e 74 65 72 20 74   are a pointer t
3f30: 6f 20 61 20 62 75 66 66 65 72 20 63 6f 6e 74 61  o a buffer conta
3f40: 69 6e 69 6e 67 20 74 68 65 20 74 6f 6b 65 6e 20  ining the token 
3f50: 74 65 78 74 2c 20 61 6e 64 20 74 68 65 0a 2a 2a  text, and the.**
3f60: 20 20 20 73 69 7a 65 20 6f 66 20 74 68 65 20 74     size of the t
3f70: 6f 6b 65 6e 20 69 6e 20 62 79 74 65 73 2e 20 54  oken in bytes. T
3f80: 68 65 20 34 74 68 20 61 6e 64 20 35 74 68 20 61  he 4th and 5th a
3f90: 72 67 75 6d 65 6e 74 73 20 61 72 65 20 74 68 65  rguments are the
3fa0: 20 62 79 74 65 20 6f 66 66 73 65 74 73 0a 2a 2a   byte offsets.**
3fb0: 20 20 20 6f 66 20 74 68 65 20 66 69 72 73 74 20     of the first 
3fc0: 62 79 74 65 20 6f 66 20 61 6e 64 20 66 69 72 73  byte of and firs
3fd0: 74 20 62 79 74 65 20 69 6d 6d 65 64 69 61 74 65  t byte immediate
3fe0: 6c 79 20 66 6f 6c 6c 6f 77 69 6e 67 20 74 68 65  ly following the
3ff0: 20 74 65 78 74 20 66 72 6f 6d 0a 2a 2a 20 20 20   text from.**   
4000: 77 68 69 63 68 20 74 68 65 20 74 6f 6b 65 6e 20  which the token 
4010: 69 73 20 64 65 72 69 76 65 64 20 77 69 74 68 69  is derived withi
4020: 6e 20 74 68 65 20 69 6e 70 75 74 2e 0a 2a 2a 0a  n the input..**.
4030: 2a 2a 20 20 20 54 68 65 20 73 65 63 6f 6e 64 20  **   The second 
4040: 61 72 67 75 6d 65 6e 74 20 70 61 73 73 65 64 20  argument passed 
4050: 74 6f 20 74 68 65 20 78 54 6f 6b 65 6e 28 29 20  to the xToken() 
4060: 63 61 6c 6c 62 61 63 6b 20 28 22 74 66 6c 61 67  callback ("tflag
4070: 73 22 29 20 73 68 6f 75 6c 64 0a 2a 2a 20 20 20  s") should.**   
4080: 6e 6f 72 6d 61 6c 6c 79 20 62 65 20 73 65 74 20  normally be set 
4090: 74 6f 20 30 2e 20 54 68 65 20 65 78 63 65 70 74  to 0. The except
40a0: 69 6f 6e 20 69 73 20 69 66 20 74 68 65 20 74 6f  ion is if the to
40b0: 6b 65 6e 69 7a 65 72 20 73 75 70 70 6f 72 74 73  kenizer supports
40c0: 20 0a 2a 2a 20 20 20 73 79 6e 6f 6e 79 6d 73 2e   .**   synonyms.
40d0: 20 49 6e 20 74 68 69 73 20 63 61 73 65 20 73 65   In this case se
40e0: 65 20 74 68 65 20 64 69 73 63 75 73 73 69 6f 6e  e the discussion
40f0: 20 62 65 6c 6f 77 20 66 6f 72 20 64 65 74 61 69   below for detai
4100: 6c 73 2e 0a 2a 2a 0a 2a 2a 20 20 20 46 54 53 35  ls..**.**   FTS5
4110: 20 61 73 73 75 6d 65 73 20 74 68 65 20 78 54 6f   assumes the xTo
4120: 6b 65 6e 28 29 20 63 61 6c 6c 62 61 63 6b 20 69  ken() callback i
4130: 73 20 69 6e 76 6f 6b 65 64 20 66 6f 72 20 65 61  s invoked for ea
4140: 63 68 20 74 6f 6b 65 6e 20 69 6e 20 74 68 65 20  ch token in the 
4150: 0a 2a 2a 20 20 20 6f 72 64 65 72 20 74 68 61 74  .**   order that
4160: 20 74 68 65 79 20 6f 63 63 75 72 20 77 69 74 68   they occur with
4170: 69 6e 20 74 68 65 20 69 6e 70 75 74 20 74 65 78  in the input tex
4180: 74 2e 0a 2a 2a 0a 2a 2a 20 20 20 49 66 20 61 6e  t..**.**   If an
4190: 20 78 54 6f 6b 65 6e 28 29 20 63 61 6c 6c 62 61   xToken() callba
41a0: 63 6b 20 72 65 74 75 72 6e 73 20 61 6e 79 20 76  ck returns any v
41b0: 61 6c 75 65 20 6f 74 68 65 72 20 74 68 61 6e 20  alue other than 
41c0: 53 51 4c 49 54 45 5f 4f 4b 2c 20 74 68 65 6e 0a  SQLITE_OK, then.
41d0: 2a 2a 20 20 20 74 68 65 20 74 6f 6b 65 6e 69 7a  **   the tokeniz
41e0: 61 74 69 6f 6e 20 73 68 6f 75 6c 64 20 62 65 20  ation should be 
41f0: 61 62 61 6e 64 6f 6e 65 64 20 61 6e 64 20 74 68  abandoned and th
4200: 65 20 78 54 6f 6b 65 6e 69 7a 65 28 29 20 6d 65  e xTokenize() me
4210: 74 68 6f 64 20 73 68 6f 75 6c 64 0a 2a 2a 20 20  thod should.**  
4220: 20 69 6d 6d 65 64 69 61 74 65 6c 79 20 72 65 74   immediately ret
4230: 75 72 6e 20 61 20 63 6f 70 79 20 6f 66 20 74 68  urn a copy of th
4240: 65 20 78 54 6f 6b 65 6e 28 29 20 72 65 74 75 72  e xToken() retur
4250: 6e 20 76 61 6c 75 65 2e 20 4f 72 2c 20 69 66 20  n value. Or, if 
4260: 74 68 65 0a 2a 2a 20 20 20 69 6e 70 75 74 20 62  the.**   input b
4270: 75 66 66 65 72 20 69 73 20 65 78 68 61 75 73 74  uffer is exhaust
4280: 65 64 2c 20 78 54 6f 6b 65 6e 69 7a 65 28 29 20  ed, xTokenize() 
4290: 73 68 6f 75 6c 64 20 72 65 74 75 72 6e 20 53 51  should return SQ
42a0: 4c 49 54 45 5f 4f 4b 2e 20 46 69 6e 61 6c 6c 79  LITE_OK. Finally
42b0: 2c 0a 2a 2a 20 20 20 69 66 20 61 6e 20 65 72 72  ,.**   if an err
42c0: 6f 72 20 6f 63 63 75 72 73 20 77 69 74 68 20 74  or occurs with t
42d0: 68 65 20 78 54 6f 6b 65 6e 69 7a 65 28 29 20 69  he xTokenize() i
42e0: 6d 70 6c 65 6d 65 6e 74 61 74 69 6f 6e 20 69 74  mplementation it
42f0: 73 65 6c 66 2c 20 69 74 0a 2a 2a 20 20 20 6d 61  self, it.**   ma
4300: 79 20 61 62 61 6e 64 6f 6e 20 74 68 65 20 74 6f  y abandon the to
4310: 6b 65 6e 69 7a 61 74 69 6f 6e 20 61 6e 64 20 72  kenization and r
4320: 65 74 75 72 6e 20 61 6e 79 20 65 72 72 6f 72 20  eturn any error 
4330: 63 6f 64 65 20 6f 74 68 65 72 20 74 68 61 6e 0a  code other than.
4340: 2a 2a 20 20 20 53 51 4c 49 54 45 5f 4f 4b 20 6f  **   SQLITE_OK o
4350: 72 20 53 51 4c 49 54 45 5f 44 4f 4e 45 2e 0a 2a  r SQLITE_DONE..*
4360: 2a 0a 2a 2a 20 53 59 4e 4f 4e 59 4d 20 53 55 50  *.** SYNONYM SUP
4370: 50 4f 52 54 0a 2a 2a 0a 2a 2a 20 20 20 43 75 73  PORT.**.**   Cus
4380: 74 6f 6d 20 74 6f 6b 65 6e 69 7a 65 72 73 20 6d  tom tokenizers m
4390: 61 79 20 61 6c 73 6f 20 73 75 70 70 6f 72 74 20  ay also support 
43a0: 73 79 6e 6f 6e 79 6d 73 2e 20 43 6f 6e 73 69 64  synonyms. Consid
43b0: 65 72 20 61 20 63 61 73 65 20 69 6e 20 77 68 69  er a case in whi
43c0: 63 68 20 61 0a 2a 2a 20 20 20 75 73 65 72 20 77  ch a.**   user w
43d0: 69 73 68 65 73 20 74 6f 20 71 75 65 72 79 20 66  ishes to query f
43e0: 6f 72 20 61 20 70 68 72 61 73 65 20 73 75 63 68  or a phrase such
43f0: 20 61 73 20 22 66 69 72 73 74 20 70 6c 61 63 65   as "first place
4400: 22 2e 20 55 73 69 6e 67 20 74 68 65 20 0a 2a 2a  ". Using the .**
4410: 20 20 20 62 75 69 6c 74 2d 69 6e 20 74 6f 6b 65     built-in toke
4420: 6e 69 7a 65 72 73 2c 20 74 68 65 20 46 54 53 35  nizers, the FTS5
4430: 20 71 75 65 72 79 20 27 66 69 72 73 74 20 2b 20   query 'first + 
4440: 70 6c 61 63 65 27 20 77 69 6c 6c 20 6d 61 74 63  place' will matc
4450: 68 20 69 6e 73 74 61 6e 63 65 73 0a 2a 2a 20 20  h instances.**  
4460: 20 6f 66 20 22 66 69 72 73 74 20 70 6c 61 63 65   of "first place
4470: 22 20 77 69 74 68 69 6e 20 74 68 65 20 64 6f 63  " within the doc
4480: 75 6d 65 6e 74 20 73 65 74 2c 20 62 75 74 20 6e  ument set, but n
4490: 6f 74 20 61 6c 74 65 72 6e 61 74 69 76 65 20 66  ot alternative f
44a0: 6f 72 6d 73 0a 2a 2a 20 20 20 73 75 63 68 20 61  orms.**   such a
44b0: 73 20 22 31 73 74 20 70 6c 61 63 65 22 2e 20 49  s "1st place". I
44c0: 6e 20 73 6f 6d 65 20 61 70 70 6c 69 63 61 74 69  n some applicati
44d0: 6f 6e 73 2c 20 69 74 20 77 6f 75 6c 64 20 62 65  ons, it would be
44e0: 20 62 65 74 74 65 72 20 74 6f 20 6d 61 74 63 68   better to match
44f0: 0a 2a 2a 20 20 20 61 6c 6c 20 69 6e 73 74 61 6e  .**   all instan
4500: 63 65 73 20 6f 66 20 22 66 69 72 73 74 20 70 6c  ces of "first pl
4510: 61 63 65 22 20 6f 72 20 22 31 73 74 20 70 6c 61  ace" or "1st pla
4520: 63 65 22 20 72 65 67 61 72 64 6c 65 73 73 20 6f  ce" regardless o
4530: 66 20 77 68 69 63 68 20 66 6f 72 6d 0a 2a 2a 20  f which form.** 
4540: 20 20 74 68 65 20 75 73 65 72 20 73 70 65 63 69    the user speci
4550: 66 69 65 64 20 69 6e 20 74 68 65 20 4d 41 54 43  fied in the MATC
4560: 48 20 71 75 65 72 79 20 74 65 78 74 2e 0a 2a 2a  H query text..**
4570: 0a 2a 2a 20 20 20 54 68 65 72 65 20 61 72 65 20  .**   There are 
4580: 73 65 76 65 72 61 6c 20 77 61 79 73 20 74 6f 20  several ways to 
4590: 61 70 70 72 6f 61 63 68 20 74 68 69 73 20 69 6e  approach this in
45a0: 20 46 54 53 35 3a 0a 2a 2a 0a 2a 2a 20 20 20 3c   FTS5:.**.**   <
45b0: 6f 6c 3e 3c 6c 69 3e 20 42 79 20 6d 61 70 70 69  ol><li> By mappi
45c0: 6e 67 20 61 6c 6c 20 73 79 6e 6f 6e 79 6d 73 20  ng all synonyms 
45d0: 74 6f 20 61 20 73 69 6e 67 6c 65 20 74 6f 6b 65  to a single toke
45e0: 6e 2e 20 49 6e 20 74 68 69 73 20 63 61 73 65 2c  n. In this case,
45f0: 20 74 68 65 20 0a 2a 2a 20 20 20 20 20 20 20 20   the .**        
4600: 20 20 20 20 49 6e 20 74 68 65 20 61 62 6f 76 65      In the above
4610: 20 65 78 61 6d 70 6c 65 2c 20 74 68 69 73 20 6d   example, this m
4620: 65 61 6e 73 20 74 68 61 74 20 74 68 65 20 74 6f  eans that the to
4630: 6b 65 6e 69 7a 65 72 20 72 65 74 75 72 6e 73 20  kenizer returns 
4640: 74 68 65 0a 2a 2a 20 20 20 20 20 20 20 20 20 20  the.**          
4650: 20 20 73 61 6d 65 20 74 6f 6b 65 6e 20 66 6f 72    same token for
4660: 20 69 6e 70 75 74 73 20 22 66 69 72 73 74 22 20   inputs "first" 
4670: 61 6e 64 20 22 31 73 74 22 2e 20 53 61 79 20 74  and "1st". Say t
4680: 68 61 74 20 74 6f 6b 65 6e 20 69 73 20 69 6e 0a  hat token is in.
4690: 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 66 61  **            fa
46a0: 63 74 20 22 66 69 72 73 74 22 2c 20 73 6f 20 74  ct "first", so t
46b0: 68 61 74 20 77 68 65 6e 20 74 68 65 20 75 73 65  hat when the use
46c0: 72 20 69 6e 73 65 72 74 73 20 74 68 65 20 64 6f  r inserts the do
46d0: 63 75 6d 65 6e 74 20 22 49 20 77 6f 6e 0a 2a 2a  cument "I won.**
46e0: 20 20 20 20 20 20 20 20 20 20 20 20 31 73 74 20              1st 
46f0: 70 6c 61 63 65 22 20 65 6e 74 72 69 65 73 20 61  place" entries a
4700: 72 65 20 61 64 64 65 64 20 74 6f 20 74 68 65 20  re added to the 
4710: 69 6e 64 65 78 20 66 6f 72 20 74 6f 6b 65 6e 73  index for tokens
4720: 20 22 69 22 2c 20 22 77 6f 6e 22 2c 0a 2a 2a 20   "i", "won",.** 
4730: 20 20 20 20 20 20 20 20 20 20 20 22 66 69 72 73             "firs
4740: 74 22 20 61 6e 64 20 22 70 6c 61 63 65 22 2e 20  t" and "place". 
4750: 49 66 20 74 68 65 20 75 73 65 72 20 74 68 65 6e  If the user then
4760: 20 71 75 65 72 69 65 73 20 66 6f 72 20 27 31 73   queries for '1s
4770: 74 20 2b 20 70 6c 61 63 65 27 2c 0a 2a 2a 20 20  t + place',.**  
4780: 20 20 20 20 20 20 20 20 20 20 74 68 65 20 74 6f            the to
4790: 6b 65 6e 69 7a 65 72 20 73 75 62 73 74 69 74 75  kenizer substitu
47a0: 74 65 73 20 22 66 69 72 73 74 22 20 66 6f 72 20  tes "first" for 
47b0: 22 31 73 74 22 20 61 6e 64 20 74 68 65 20 71 75  "1st" and the qu
47c0: 65 72 79 20 77 6f 72 6b 73 0a 2a 2a 20 20 20 20  ery works.**    
47d0: 20 20 20 20 20 20 20 20 61 73 20 65 78 70 65 63          as expec
47e0: 74 65 64 2e 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20  ted..**.**      
47f0: 20 3c 6c 69 3e 20 42 79 20 61 64 64 69 6e 67 20   <li> By adding 
4800: 6d 75 6c 74 69 70 6c 65 20 73 79 6e 6f 6e 79 6d  multiple synonym
4810: 73 20 66 6f 72 20 61 20 73 69 6e 67 6c 65 20 74  s for a single t
4820: 65 72 6d 20 74 6f 20 74 68 65 20 46 54 53 20 69  erm to the FTS i
4830: 6e 64 65 78 2e 0a 2a 2a 20 20 20 20 20 20 20 20  ndex..**        
4840: 20 20 20 20 49 6e 20 74 68 69 73 20 63 61 73 65      In this case
4850: 2c 20 77 68 65 6e 20 74 6f 6b 65 6e 69 7a 69 6e  , when tokenizin
4860: 67 20 71 75 65 72 79 20 74 65 78 74 2c 20 74 68  g query text, th
4870: 65 20 74 6f 6b 65 6e 69 7a 65 72 20 6d 61 79 20  e tokenizer may 
4880: 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 70  .**            p
4890: 72 6f 76 69 64 65 20 6d 75 6c 74 69 70 6c 65 20  rovide multiple 
48a0: 73 79 6e 6f 6e 79 6d 73 20 66 6f 72 20 61 20 73  synonyms for a s
48b0: 69 6e 67 6c 65 20 74 65 72 6d 20 77 69 74 68 69  ingle term withi
48c0: 6e 20 74 68 65 20 64 6f 63 75 6d 65 6e 74 2e 0a  n the document..
48d0: 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 46 54  **            FT
48e0: 53 35 20 74 68 65 6e 20 71 75 65 72 69 65 73 20  S5 then queries 
48f0: 74 68 65 20 69 6e 64 65 78 20 66 6f 72 20 65 61  the index for ea
4900: 63 68 20 73 79 6e 6f 6e 79 6d 20 69 6e 64 69 76  ch synonym indiv
4910: 69 64 75 61 6c 6c 79 2e 20 46 6f 72 0a 2a 2a 20  idually. For.** 
4920: 20 20 20 20 20 20 20 20 20 20 20 65 78 61 6d 70             examp
4930: 6c 65 2c 20 66 61 63 65 64 20 77 69 74 68 20 74  le, faced with t
4940: 68 65 20 71 75 65 72 79 3a 0a 2a 2a 0a 2a 2a 20  he query:.**.** 
4950: 20 20 3c 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2a 2a    <codeblock>.**
4960: 20 20 20 20 20 2e 2e 2e 20 4d 41 54 43 48 20 27       ... MATCH '
4970: 66 69 72 73 74 20 70 6c 61 63 65 27 3c 2f 63 6f  first place'</co
4980: 64 65 62 6c 6f 63 6b 3e 0a 2a 2a 0a 2a 2a 20 20  deblock>.**.**  
4990: 20 20 20 20 20 20 20 20 20 20 74 68 65 20 74 6f            the to
49a0: 6b 65 6e 69 7a 65 72 20 6f 66 66 65 72 73 20 62  kenizer offers b
49b0: 6f 74 68 20 22 31 73 74 22 20 61 6e 64 20 22 66  oth "1st" and "f
49c0: 69 72 73 74 22 20 61 73 20 73 79 6e 6f 6e 79 6d  irst" as synonym
49d0: 73 20 66 6f 72 20 74 68 65 0a 2a 2a 20 20 20 20  s for the.**    
49e0: 20 20 20 20 20 20 20 20 66 69 72 73 74 20 74 6f          first to
49f0: 6b 65 6e 20 69 6e 20 74 68 65 20 4d 41 54 43 48  ken in the MATCH
4a00: 20 71 75 65 72 79 20 61 6e 64 20 46 54 53 35 20   query and FTS5 
4a10: 65 66 66 65 63 74 69 76 65 6c 79 20 72 75 6e 73  effectively runs
4a20: 20 61 20 71 75 65 72 79 20 0a 2a 2a 20 20 20 20   a query .**    
4a30: 20 20 20 20 20 20 20 20 73 69 6d 69 6c 61 72 20          similar 
4a40: 74 6f 3a 0a 2a 2a 0a 2a 2a 20 20 20 3c 63 6f 64  to:.**.**   <cod
4a50: 65 62 6c 6f 63 6b 3e 0a 2a 2a 20 20 20 20 20 2e  eblock>.**     .
4a60: 2e 2e 20 4d 41 54 43 48 20 27 28 66 69 72 73 74  .. MATCH '(first
4a70: 20 4f 52 20 31 73 74 29 20 70 6c 61 63 65 27 3c   OR 1st) place'<
4a80: 2f 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2a 2a 0a 2a  /codeblock>.**.*
4a90: 2a 20 20 20 20 20 20 20 20 20 20 20 20 65 78 63  *            exc
4aa0: 65 70 74 20 74 68 61 74 2c 20 66 6f 72 20 74 68  ept that, for th
4ab0: 65 20 70 75 72 70 6f 73 65 73 20 6f 66 20 61 75  e purposes of au
4ac0: 78 69 6c 69 61 72 79 20 66 75 6e 63 74 69 6f 6e  xiliary function
4ad0: 73 2c 20 74 68 65 20 71 75 65 72 79 0a 2a 2a 20  s, the query.** 
4ae0: 20 20 20 20 20 20 20 20 20 20 20 73 74 69 6c 6c             still
4af0: 20 61 70 70 65 61 72 73 20 74 6f 20 63 6f 6e 74   appears to cont
4b00: 61 69 6e 20 6a 75 73 74 20 74 77 6f 20 70 68 72  ain just two phr
4b10: 61 73 65 73 20 2d 20 22 28 66 69 72 73 74 20 4f  ases - "(first O
4b20: 52 20 31 73 74 29 22 20 0a 2a 2a 20 20 20 20 20  R 1st)" .**     
4b30: 20 20 20 20 20 20 20 62 65 69 6e 67 20 74 72 65         being tre
4b40: 61 74 65 64 20 61 73 20 61 20 73 69 6e 67 6c 65  ated as a single
4b50: 20 70 68 72 61 73 65 2e 0a 2a 2a 0a 2a 2a 20 20   phrase..**.**  
4b60: 20 20 20 20 20 3c 6c 69 3e 20 42 79 20 61 64 64       <li> By add
4b70: 69 6e 67 20 6d 75 6c 74 69 70 6c 65 20 73 79 6e  ing multiple syn
4b80: 6f 6e 79 6d 73 20 66 6f 72 20 61 20 73 69 6e 67  onyms for a sing
4b90: 6c 65 20 74 65 72 6d 20 74 6f 20 74 68 65 20 46  le term to the F
4ba0: 54 53 20 69 6e 64 65 78 2e 0a 2a 2a 20 20 20 20  TS index..**    
4bb0: 20 20 20 20 20 20 20 20 55 73 69 6e 67 20 74 68          Using th
4bc0: 69 73 20 6d 65 74 68 6f 64 2c 20 77 68 65 6e 20  is method, when 
4bd0: 74 6f 6b 65 6e 69 7a 69 6e 67 20 64 6f 63 75 6d  tokenizing docum
4be0: 65 6e 74 20 74 65 78 74 2c 20 74 68 65 20 74 6f  ent text, the to
4bf0: 6b 65 6e 69 7a 65 72 0a 2a 2a 20 20 20 20 20 20  kenizer.**      
4c00: 20 20 20 20 20 20 70 72 6f 76 69 64 65 73 20 6d        provides m
4c10: 75 6c 74 69 70 6c 65 20 73 79 6e 6f 6e 79 6d 73  ultiple synonyms
4c20: 20 66 6f 72 20 65 61 63 68 20 74 6f 6b 65 6e 2e   for each token.
4c30: 20 53 6f 20 74 68 61 74 20 77 68 65 6e 20 61 20   So that when a 
4c40: 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 64  .**            d
4c50: 6f 63 75 6d 65 6e 74 20 73 75 63 68 20 61 73 20  ocument such as 
4c60: 22 49 20 77 6f 6e 20 66 69 72 73 74 20 70 6c 61  "I won first pla
4c70: 63 65 22 20 69 73 20 74 6f 6b 65 6e 69 7a 65 64  ce" is tokenized
4c80: 2c 20 65 6e 74 72 69 65 73 20 61 72 65 0a 2a 2a  , entries are.**
4c90: 20 20 20 20 20 20 20 20 20 20 20 20 61 64 64 65              adde
4ca0: 64 20 74 6f 20 74 68 65 20 46 54 53 20 69 6e 64  d to the FTS ind
4cb0: 65 78 20 66 6f 72 20 22 69 22 2c 20 22 77 6f 6e  ex for "i", "won
4cc0: 22 2c 20 22 66 69 72 73 74 22 2c 20 22 31 73 74  ", "first", "1st
4cd0: 22 20 61 6e 64 0a 2a 2a 20 20 20 20 20 20 20 20  " and.**        
4ce0: 20 20 20 20 22 70 6c 61 63 65 22 2e 0a 2a 2a 0a      "place"..**.
4cf0: 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 54 68  **            Th
4d00: 69 73 20 77 61 79 2c 20 65 76 65 6e 20 69 66 20  is way, even if 
4d10: 74 68 65 20 74 6f 6b 65 6e 69 7a 65 72 20 64 6f  the tokenizer do
4d20: 65 73 20 6e 6f 74 20 70 72 6f 76 69 64 65 20 73  es not provide s
4d30: 79 6e 6f 6e 79 6d 73 0a 2a 2a 20 20 20 20 20 20  ynonyms.**      
4d40: 20 20 20 20 20 20 77 68 65 6e 20 74 6f 6b 65 6e        when token
4d50: 69 7a 69 6e 67 20 71 75 65 72 79 20 74 65 78 74  izing query text
4d60: 20 28 69 74 20 73 68 6f 75 6c 64 20 6e 6f 74 20   (it should not 
4d70: 2d 20 74 6f 20 64 6f 20 77 6f 75 6c 64 20 62 65  - to do would be
4d80: 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 69  .**            i
4d90: 6e 65 66 66 69 63 69 65 6e 74 29 2c 20 69 74 20  nefficient), it 
4da0: 64 6f 65 73 6e 27 74 20 6d 61 74 74 65 72 20 69  doesn't matter i
4db0: 66 20 74 68 65 20 75 73 65 72 20 71 75 65 72 69  f the user queri
4dc0: 65 73 20 66 6f 72 20 0a 2a 2a 20 20 20 20 20 20  es for .**      
4dd0: 20 20 20 20 20 20 27 66 69 72 73 74 20 2b 20 70        'first + p
4de0: 6c 61 63 65 27 20 6f 72 20 27 31 73 74 20 2b 20  lace' or '1st + 
4df0: 70 6c 61 63 65 27 2c 20 61 73 20 74 68 65 72 65  place', as there
4e00: 20 61 72 65 20 65 6e 74 69 72 65 73 20 69 6e 20   are entires in 
4e10: 74 68 65 0a 2a 2a 20 20 20 20 20 20 20 20 20 20  the.**          
4e20: 20 20 46 54 53 20 69 6e 64 65 78 20 63 6f 72 72    FTS index corr
4e30: 65 73 70 6f 6e 64 69 6e 67 20 74 6f 20 62 6f 74  esponding to bot
4e40: 68 20 66 6f 72 6d 73 20 6f 66 20 74 68 65 20 66  h forms of the f
4e50: 69 72 73 74 20 74 6f 6b 65 6e 2e 0a 2a 2a 20 20  irst token..**  
4e60: 20 3c 2f 6f 6c 3e 0a 2a 2a 0a 2a 2a 20 20 20 57   </ol>.**.**   W
4e70: 68 65 74 68 65 72 20 69 74 20 69 73 20 70 61 72  hether it is par
4e80: 73 69 6e 67 20 64 6f 63 75 6d 65 6e 74 20 6f 72  sing document or
4e90: 20 71 75 65 72 79 20 74 65 78 74 2c 20 61 6e 79   query text, any
4ea0: 20 63 61 6c 6c 20 74 6f 20 78 54 6f 6b 65 6e 20   call to xToken 
4eb0: 74 68 61 74 0a 2a 2a 20 20 20 73 70 65 63 69 66  that.**   specif
4ec0: 69 65 73 20 61 20 3c 69 3e 74 66 6c 61 67 73 3c  ies a <i>tflags<
4ed0: 2f 69 3e 20 61 72 67 75 6d 65 6e 74 20 77 69 74  /i> argument wit
4ee0: 68 20 74 68 65 20 46 54 53 35 5f 54 4f 4b 45 4e  h the FTS5_TOKEN
4ef0: 5f 43 4f 4c 4f 43 41 54 45 44 20 62 69 74 0a 2a  _COLOCATED bit.*
4f00: 2a 20 20 20 69 73 20 63 6f 6e 73 69 64 65 72 65  *   is considere
4f10: 64 20 74 6f 20 73 75 70 70 6c 79 20 61 20 73 79  d to supply a sy
4f20: 6e 6f 6e 79 6d 20 66 6f 72 20 74 68 65 20 70 72  nonym for the pr
4f30: 65 76 69 6f 75 73 20 74 6f 6b 65 6e 2e 20 46 6f  evious token. Fo
4f40: 72 20 65 78 61 6d 70 6c 65 2c 0a 2a 2a 20 20 20  r example,.**   
4f50: 77 68 65 6e 20 70 61 72 73 69 6e 67 20 74 68 65  when parsing the
4f60: 20 64 6f 63 75 6d 65 6e 74 20 22 49 20 77 6f 6e   document "I won
4f70: 20 66 69 72 73 74 20 70 6c 61 63 65 22 2c 20 61   first place", a
4f80: 20 74 6f 6b 65 6e 69 7a 65 72 20 74 68 61 74 20   tokenizer that 
4f90: 73 75 70 70 6f 72 74 73 0a 2a 2a 20 20 20 73 79  supports.**   sy
4fa0: 6e 6f 6e 79 6d 73 20 77 6f 75 6c 64 20 63 61 6c  nonyms would cal
4fb0: 6c 20 78 54 6f 6b 65 6e 28 29 20 35 20 74 69 6d  l xToken() 5 tim
4fc0: 65 73 2c 20 61 73 20 66 6f 6c 6c 6f 77 73 3a 0a  es, as follows:.
4fd0: 2a 2a 0a 2a 2a 20 20 20 3c 63 6f 64 65 62 6c 6f  **.**   <codeblo
4fe0: 63 6b 3e 0a 2a 2a 20 20 20 20 20 20 20 78 54 6f  ck>.**       xTo
4ff0: 6b 65 6e 28 70 43 74 78 2c 20 30 2c 20 22 69 22  ken(pCtx, 0, "i"
5000: 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ,               
5010: 20 20 20 20 20 20 20 31 2c 20 20 30 2c 20 20 31         1,  0,  1
5020: 29 3b 0a 2a 2a 20 20 20 20 20 20 20 78 54 6f 6b  );.**       xTok
5030: 65 6e 28 70 43 74 78 2c 20 30 2c 20 22 77 6f 6e  en(pCtx, 0, "won
5040: 22 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ",              
5050: 20 20 20 20 20 20 33 2c 20 20 32 2c 20 20 35 29        3,  2,  5)
5060: 3b 0a 2a 2a 20 20 20 20 20 20 20 78 54 6f 6b 65  ;.**       xToke
5070: 6e 28 70 43 74 78 2c 20 30 2c 20 22 66 69 72 73  n(pCtx, 0, "firs
5080: 74 22 2c 20 20 20 20 20 20 20 20 20 20 20 20 20  t",             
5090: 20 20 20 20 20 35 2c 20 20 36 2c 20 31 31 29 3b       5,  6, 11);
50a0: 0a 2a 2a 20 20 20 20 20 20 20 78 54 6f 6b 65 6e  .**       xToken
50b0: 28 70 43 74 78 2c 20 46 54 53 35 5f 54 4f 4b 45  (pCtx, FTS5_TOKE
50c0: 4e 5f 43 4f 4c 4f 43 41 54 45 44 2c 20 22 31 73  N_COLOCATED, "1s
50d0: 74 22 2c 20 33 2c 20 20 36 2c 20 31 31 29 3b 0a  t", 3,  6, 11);.
50e0: 2a 2a 20 20 20 20 20 20 20 78 54 6f 6b 65 6e 28  **       xToken(
50f0: 70 43 74 78 2c 20 30 2c 20 22 70 6c 61 63 65 22  pCtx, 0, "place"
5100: 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ,               
5110: 20 20 20 35 2c 20 31 32 2c 20 31 37 29 3b 0a 2a     5, 12, 17);.*
5120: 2a 3c 2f 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2a 2a  *</codeblock>.**
5130: 0a 2a 2a 20 20 20 49 74 20 69 73 20 61 6e 20 65  .**   It is an e
5140: 72 72 6f 72 20 74 6f 20 73 70 65 63 69 66 79 20  rror to specify 
5150: 74 68 65 20 46 54 53 35 5f 54 4f 4b 45 4e 5f 43  the FTS5_TOKEN_C
5160: 4f 4c 4f 43 41 54 45 44 20 66 6c 61 67 20 74 68  OLOCATED flag th
5170: 65 20 66 69 72 73 74 20 74 69 6d 65 0a 2a 2a 20  e first time.** 
5180: 20 20 78 54 6f 6b 65 6e 28 29 20 69 73 20 63 61    xToken() is ca
5190: 6c 6c 65 64 2e 20 4d 75 6c 74 69 70 6c 65 20 73  lled. Multiple s
51a0: 79 6e 6f 6e 79 6d 73 20 6d 61 79 20 62 65 20 73  ynonyms may be s
51b0: 70 65 63 69 66 69 65 64 20 66 6f 72 20 61 20 73  pecified for a s
51c0: 69 6e 67 6c 65 20 74 6f 6b 65 6e 0a 2a 2a 20 20  ingle token.**  
51d0: 20 62 79 20 6d 61 6b 69 6e 67 20 6d 75 6c 74 69   by making multi
51e0: 70 6c 65 20 63 61 6c 6c 73 20 74 6f 20 78 54 6f  ple calls to xTo
51f0: 6b 65 6e 28 46 54 53 35 5f 54 4f 4b 45 4e 5f 43  ken(FTS5_TOKEN_C
5200: 4f 4c 4f 43 41 54 45 44 29 20 69 6e 20 73 65 71  OLOCATED) in seq
5210: 75 65 6e 63 65 2e 20 0a 2a 2a 20 20 20 54 68 65  uence. .**   The
5220: 72 65 20 69 73 20 6e 6f 20 6c 69 6d 69 74 20 74  re is no limit t
5230: 6f 20 74 68 65 20 6e 75 6d 62 65 72 20 6f 66 20  o the number of 
5240: 73 79 6e 6f 6e 79 6d 73 20 74 68 61 74 20 6d 61  synonyms that ma
5250: 79 20 62 65 20 70 72 6f 76 69 64 65 64 20 66 6f  y be provided fo
5260: 72 20 61 0a 2a 2a 20 20 20 73 69 6e 67 6c 65 20  r a.**   single 
5270: 74 6f 6b 65 6e 2e 0a 2a 2a 0a 2a 2a 20 20 20 49  token..**.**   I
5280: 6e 20 6d 61 6e 79 20 63 61 73 65 73 2c 20 6d 65  n many cases, me
5290: 74 68 6f 64 20 28 31 29 20 61 62 6f 76 65 20 69  thod (1) above i
52a0: 73 20 74 68 65 20 62 65 73 74 20 61 70 70 72 6f  s the best appro
52b0: 61 63 68 2e 20 49 74 20 64 6f 65 73 20 6e 6f 74  ach. It does not
52c0: 20 61 64 64 20 0a 2a 2a 20 20 20 65 78 74 72 61   add .**   extra
52d0: 20 64 61 74 61 20 74 6f 20 74 68 65 20 46 54 53   data to the FTS
52e0: 20 69 6e 64 65 78 20 6f 72 20 72 65 71 75 69 72   index or requir
52f0: 65 20 46 54 53 35 20 74 6f 20 71 75 65 72 79 20  e FTS5 to query 
5300: 66 6f 72 20 6d 75 6c 74 69 70 6c 65 20 74 65 72  for multiple ter
5310: 6d 73 2c 0a 2a 2a 20 20 20 73 6f 20 69 74 20 69  ms,.**   so it i
5320: 73 20 65 66 66 69 63 69 65 6e 74 20 69 6e 20 74  s efficient in t
5330: 65 72 6d 73 20 6f 66 20 64 69 73 6b 20 73 70 61  erms of disk spa
5340: 63 65 20 61 6e 64 20 71 75 65 72 79 20 73 70 65  ce and query spe
5350: 65 64 2e 20 48 6f 77 65 76 65 72 2c 20 69 74 0a  ed. However, it.
5360: 2a 2a 20 20 20 64 6f 65 73 20 6e 6f 74 20 73 75  **   does not su
5370: 70 70 6f 72 74 20 70 72 65 66 69 78 20 71 75 65  pport prefix que
5380: 72 69 65 73 20 76 65 72 79 20 77 65 6c 6c 2e 20  ries very well. 
5390: 49 66 2c 20 61 73 20 73 75 67 67 65 73 74 65 64  If, as suggested
53a0: 20 61 62 6f 76 65 2c 20 74 68 65 0a 2a 2a 20 20   above, the.**  
53b0: 20 74 6f 6b 65 6e 20 22 66 69 72 73 74 22 20 69   token "first" i
53c0: 73 20 73 75 62 73 69 74 75 74 65 64 20 66 6f 72  s subsituted for
53d0: 20 22 31 73 74 22 20 62 79 20 74 68 65 20 74 6f   "1st" by the to
53e0: 6b 65 6e 69 7a 65 72 2c 20 74 68 65 6e 20 74 68  kenizer, then th
53f0: 65 20 71 75 65 72 79 3a 0a 2a 2a 0a 2a 2a 20 20  e query:.**.**  
5400: 20 3c 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2a 2a 20   <codeblock>.** 
5410: 20 20 20 20 2e 2e 2e 20 4d 41 54 43 48 20 27 31      ... MATCH '1
5420: 73 2a 27 3c 2f 63 6f 64 65 62 6c 6f 63 6b 3e 0a  s*'</codeblock>.
5430: 2a 2a 0a 2a 2a 20 20 20 77 69 6c 6c 20 6e 6f 74  **.**   will not
5440: 20 6d 61 74 63 68 20 64 6f 63 75 6d 65 6e 74 73   match documents
5450: 20 74 68 61 74 20 63 6f 6e 74 61 69 6e 20 74 68   that contain th
5460: 65 20 74 6f 6b 65 6e 20 22 31 73 74 22 20 28 61  e token "1st" (a
5470: 73 20 74 68 65 20 74 6f 6b 65 6e 69 7a 65 72 0a  s the tokenizer.
5480: 2a 2a 20 20 20 77 69 6c 6c 20 70 72 6f 62 61 62  **   will probab
5490: 6c 79 20 6e 6f 74 20 6d 61 70 20 22 31 73 22 20  ly not map "1s" 
54a0: 74 6f 20 61 6e 79 20 70 72 65 66 69 78 20 6f 66  to any prefix of
54b0: 20 22 66 69 72 73 74 22 29 2e 0a 2a 2a 0a 2a 2a   "first")..**.**
54c0: 20 20 20 46 6f 72 20 66 75 6c 6c 20 70 72 65 66     For full pref
54d0: 69 78 20 73 75 70 70 6f 72 74 2c 20 6d 65 74 68  ix support, meth
54e0: 6f 64 20 28 33 29 20 6d 61 79 20 62 65 20 70 72  od (3) may be pr
54f0: 65 66 65 72 72 65 64 2e 20 49 6e 20 74 68 69 73  eferred. In this
5500: 20 63 61 73 65 2c 20 0a 2a 2a 20 20 20 62 65 63   case, .**   bec
5510: 61 75 73 65 20 74 68 65 20 69 6e 64 65 78 20 63  ause the index c
5520: 6f 6e 74 61 69 6e 73 20 65 6e 74 72 69 65 73 20  ontains entries 
5530: 66 6f 72 20 62 6f 74 68 20 22 66 69 72 73 74 22  for both "first"
5540: 20 61 6e 64 20 22 31 73 74 22 2c 20 70 72 65 66   and "1st", pref
5550: 69 78 0a 2a 2a 20 20 20 71 75 65 72 69 65 73 20  ix.**   queries 
5560: 73 75 63 68 20 61 73 20 27 66 69 2a 27 20 6f 72  such as 'fi*' or
5570: 20 27 31 73 2a 27 20 77 69 6c 6c 20 6d 61 74 63   '1s*' will matc
5580: 68 20 63 6f 72 72 65 63 74 6c 79 2e 20 48 6f 77  h correctly. How
5590: 65 76 65 72 2c 20 62 65 63 61 75 73 65 0a 2a 2a  ever, because.**
55a0: 20 20 20 65 78 74 72 61 20 65 6e 74 72 69 65 73     extra entries
55b0: 20 61 72 65 20 61 64 64 65 64 20 74 6f 20 74 68   are added to th
55c0: 65 20 46 54 53 20 69 6e 64 65 78 2c 20 74 68 69  e FTS index, thi
55d0: 73 20 6d 65 74 68 6f 64 20 75 73 65 73 20 6d 6f  s method uses mo
55e0: 72 65 20 73 70 61 63 65 0a 2a 2a 20 20 20 77 69  re space.**   wi
55f0: 74 68 69 6e 20 74 68 65 20 64 61 74 61 62 61 73  thin the databas
5600: 65 2e 0a 2a 2a 0a 2a 2a 20 20 20 4d 65 74 68 6f  e..**.**   Metho
5610: 64 20 28 32 29 20 6f 66 66 65 72 73 20 61 20 6d  d (2) offers a m
5620: 69 64 70 6f 69 6e 74 20 62 65 74 77 65 65 6e 20  idpoint between 
5630: 28 31 29 20 61 6e 64 20 28 33 29 2e 20 55 73 69  (1) and (3). Usi
5640: 6e 67 20 74 68 69 73 20 6d 65 74 68 6f 64 2c 0a  ng this method,.
5650: 2a 2a 20 20 20 61 20 71 75 65 72 79 20 73 75 63  **   a query suc
5660: 68 20 61 73 20 27 31 73 2a 27 20 77 69 6c 6c 20  h as '1s*' will 
5670: 6d 61 74 63 68 20 64 6f 63 75 6d 65 6e 74 73 20  match documents 
5680: 74 68 61 74 20 63 6f 6e 74 61 69 6e 20 74 68 65  that contain the
5690: 20 6c 69 74 65 72 61 6c 20 0a 2a 2a 20 20 20 74   literal .**   t
56a0: 6f 6b 65 6e 20 22 31 73 74 22 2c 20 62 75 74 20  oken "1st", but 
56b0: 6e 6f 74 20 22 66 69 72 73 74 22 20 28 61 73 73  not "first" (ass
56c0: 75 6d 69 6e 67 20 74 68 65 20 74 6f 6b 65 6e 69  uming the tokeni
56d0: 7a 65 72 20 69 73 20 6e 6f 74 20 61 62 6c 65 20  zer is not able 
56e0: 74 6f 0a 2a 2a 20 20 20 70 72 6f 76 69 64 65 20  to.**   provide 
56f0: 73 79 6e 6f 6e 79 6d 73 20 66 6f 72 20 70 72 65  synonyms for pre
5700: 66 69 78 65 73 29 2e 20 48 6f 77 65 76 65 72 2c  fixes). However,
5710: 20 61 20 6e 6f 6e 2d 70 72 65 66 69 78 20 71 75   a non-prefix qu
5720: 65 72 79 20 6c 69 6b 65 20 27 31 73 74 27 0a 2a  ery like '1st'.*
5730: 2a 20 20 20 77 69 6c 6c 20 6d 61 74 63 68 20 61  *   will match a
5740: 67 61 69 6e 73 74 20 22 31 73 74 22 20 61 6e 64  gainst "1st" and
5750: 20 22 66 69 72 73 74 22 2e 20 54 68 69 73 20 6d   "first". This m
5760: 65 74 68 6f 64 20 64 6f 65 73 20 6e 6f 74 20 72  ethod does not r
5770: 65 71 75 69 72 65 0a 2a 2a 20 20 20 65 78 74 72  equire.**   extr
5780: 61 20 64 69 73 6b 20 73 70 61 63 65 2c 20 61 73  a disk space, as
5790: 20 6e 6f 20 65 78 74 72 61 20 65 6e 74 72 69 65   no extra entrie
57a0: 73 20 61 72 65 20 61 64 64 65 64 20 74 6f 20 74  s are added to t
57b0: 68 65 20 46 54 53 20 69 6e 64 65 78 2e 20 0a 2a  he FTS index. .*
57c0: 2a 20 20 20 4f 6e 20 74 68 65 20 6f 74 68 65 72  *   On the other
57d0: 20 68 61 6e 64 2c 20 69 74 20 6d 61 79 20 72 65   hand, it may re
57e0: 71 75 69 72 65 20 6d 6f 72 65 20 43 50 55 20 63  quire more CPU c
57f0: 79 63 6c 65 73 20 74 6f 20 72 75 6e 20 4d 41 54  ycles to run MAT
5800: 43 48 20 71 75 65 72 69 65 73 2c 0a 2a 2a 20 20  CH queries,.**  
5810: 20 61 73 20 73 65 70 61 72 61 74 65 20 71 75 65   as separate que
5820: 72 69 65 73 20 6f 66 20 74 68 65 20 46 54 53 20  ries of the FTS 
5830: 69 6e 64 65 78 20 61 72 65 20 72 65 71 75 69 72  index are requir
5840: 65 64 20 66 6f 72 20 65 61 63 68 20 73 79 6e 6f  ed for each syno
5850: 6e 79 6d 2e 0a 2a 2a 0a 2a 2a 20 20 20 57 68 65  nym..**.**   Whe
5860: 6e 20 75 73 69 6e 67 20 6d 65 74 68 6f 64 73 20  n using methods 
5870: 28 32 29 20 6f 72 20 28 33 29 2c 20 69 74 20 69  (2) or (3), it i
5880: 73 20 69 6d 70 6f 72 74 61 6e 74 20 74 68 61 74  s important that
5890: 20 74 68 65 20 74 6f 6b 65 6e 69 7a 65 72 20 6f   the tokenizer o
58a0: 6e 6c 79 0a 2a 2a 20 20 20 70 72 6f 76 69 64 65  nly.**   provide
58b0: 20 73 79 6e 6f 6e 79 6d 73 20 77 68 65 6e 20 74   synonyms when t
58c0: 6f 6b 65 6e 69 7a 69 6e 67 20 64 6f 63 75 6d 65  okenizing docume
58d0: 6e 74 20 74 65 78 74 20 28 6d 65 74 68 6f 64 20  nt text (method 
58e0: 28 32 29 29 20 6f 72 20 71 75 65 72 79 0a 2a 2a  (2)) or query.**
58f0: 20 20 20 74 65 78 74 20 28 6d 65 74 68 6f 64 20     text (method 
5900: 28 33 29 29 2c 20 6e 6f 74 20 62 6f 74 68 2e 20  (3)), not both. 
5910: 44 6f 69 6e 67 20 73 6f 20 77 69 6c 6c 20 6e 6f  Doing so will no
5920: 74 20 63 61 75 73 65 20 61 6e 79 20 65 72 72 6f  t cause any erro
5930: 72 73 2c 20 62 75 74 20 69 73 0a 2a 2a 20 20 20  rs, but is.**   
5940: 69 6e 65 66 66 69 63 69 65 6e 74 2e 0a 2a 2f 0a  inefficient..*/.
5950: 74 79 70 65 64 65 66 20 73 74 72 75 63 74 20 46  typedef struct F
5960: 74 73 35 54 6f 6b 65 6e 69 7a 65 72 20 46 74 73  ts5Tokenizer Fts
5970: 35 54 6f 6b 65 6e 69 7a 65 72 3b 0a 74 79 70 65  5Tokenizer;.type
5980: 64 65 66 20 73 74 72 75 63 74 20 66 74 73 35 5f  def struct fts5_
5990: 74 6f 6b 65 6e 69 7a 65 72 20 66 74 73 35 5f 74  tokenizer fts5_t
59a0: 6f 6b 65 6e 69 7a 65 72 3b 0a 73 74 72 75 63 74  okenizer;.struct
59b0: 20 66 74 73 35 5f 74 6f 6b 65 6e 69 7a 65 72 20   fts5_tokenizer 
59c0: 7b 0a 20 20 69 6e 74 20 28 2a 78 43 72 65 61 74  {.  int (*xCreat
59d0: 65 29 28 76 6f 69 64 2a 2c 20 63 6f 6e 73 74 20  e)(void*, const 
59e0: 63 68 61 72 20 2a 2a 61 7a 41 72 67 2c 20 69 6e  char **azArg, in
59f0: 74 20 6e 41 72 67 2c 20 46 74 73 35 54 6f 6b 65  t nArg, Fts5Toke
5a00: 6e 69 7a 65 72 20 2a 2a 70 70 4f 75 74 29 3b 0a  nizer **ppOut);.
5a10: 20 20 76 6f 69 64 20 28 2a 78 44 65 6c 65 74 65    void (*xDelete
5a20: 29 28 46 74 73 35 54 6f 6b 65 6e 69 7a 65 72 2a  )(Fts5Tokenizer*
5a30: 29 3b 0a 20 20 69 6e 74 20 28 2a 78 54 6f 6b 65  );.  int (*xToke
5a40: 6e 69 7a 65 29 28 46 74 73 35 54 6f 6b 65 6e 69  nize)(Fts5Tokeni
5a50: 7a 65 72 2a 2c 20 0a 20 20 20 20 20 20 76 6f 69  zer*, .      voi
5a60: 64 20 2a 70 43 74 78 2c 0a 20 20 20 20 20 20 69  d *pCtx,.      i
5a70: 6e 74 20 66 6c 61 67 73 2c 20 20 20 20 20 20 20  nt flags,       
5a80: 20 20 20 20 20 2f 2a 20 4d 61 73 6b 20 6f 66 20       /* Mask of 
5a90: 46 54 53 35 5f 54 4f 4b 45 4e 49 5a 45 5f 2a 20  FTS5_TOKENIZE_* 
5aa0: 66 6c 61 67 73 20 2a 2f 0a 20 20 20 20 20 20 63  flags */.      c
5ab0: 6f 6e 73 74 20 63 68 61 72 20 2a 70 54 65 78 74  onst char *pText
5ac0: 2c 20 69 6e 74 20 6e 54 65 78 74 2c 20 0a 20 20  , int nText, .  
5ad0: 20 20 20 20 69 6e 74 20 28 2a 78 54 6f 6b 65 6e      int (*xToken
5ae0: 29 28 0a 20 20 20 20 20 20 20 20 76 6f 69 64 20  )(.        void 
5af0: 2a 70 43 74 78 2c 20 20 20 20 20 20 20 20 20 2f  *pCtx,         /
5b00: 2a 20 43 6f 70 79 20 6f 66 20 32 6e 64 20 61 72  * Copy of 2nd ar
5b10: 67 75 6d 65 6e 74 20 74 6f 20 78 54 6f 6b 65 6e  gument to xToken
5b20: 69 7a 65 28 29 20 2a 2f 0a 20 20 20 20 20 20 20  ize() */.       
5b30: 20 69 6e 74 20 74 66 6c 61 67 73 2c 20 20 20 20   int tflags,    
5b40: 20 20 20 20 20 2f 2a 20 4d 61 73 6b 20 6f 66 20       /* Mask of 
5b50: 46 54 53 35 5f 54 4f 4b 45 4e 5f 2a 20 66 6c 61  FTS5_TOKEN_* fla
5b60: 67 73 20 2a 2f 0a 20 20 20 20 20 20 20 20 63 6f  gs */.        co
5b70: 6e 73 74 20 63 68 61 72 20 2a 70 54 6f 6b 65 6e  nst char *pToken
5b80: 2c 20 2f 2a 20 50 6f 69 6e 74 65 72 20 74 6f 20  , /* Pointer to 
5b90: 62 75 66 66 65 72 20 63 6f 6e 74 61 69 6e 69 6e  buffer containin
5ba0: 67 20 74 6f 6b 65 6e 20 2a 2f 0a 20 20 20 20 20  g token */.     
5bb0: 20 20 20 69 6e 74 20 6e 54 6f 6b 65 6e 2c 20 20     int nToken,  
5bc0: 20 20 20 20 20 20 20 2f 2a 20 53 69 7a 65 20 6f         /* Size o
5bd0: 66 20 74 6f 6b 65 6e 20 69 6e 20 62 79 74 65 73  f token in bytes
5be0: 20 2a 2f 0a 20 20 20 20 20 20 20 20 69 6e 74 20   */.        int 
5bf0: 69 53 74 61 72 74 2c 20 20 20 20 20 20 20 20 20  iStart,         
5c00: 2f 2a 20 42 79 74 65 20 6f 66 66 73 65 74 20 6f  /* Byte offset o
5c10: 66 20 74 6f 6b 65 6e 20 77 69 74 68 69 6e 20 69  f token within i
5c20: 6e 70 75 74 20 74 65 78 74 20 2a 2f 0a 20 20 20  nput text */.   
5c30: 20 20 20 20 20 69 6e 74 20 69 45 6e 64 20 20 20       int iEnd   
5c40: 20 20 20 20 20 20 20 20 20 2f 2a 20 42 79 74 65           /* Byte
5c50: 20 6f 66 66 73 65 74 20 6f 66 20 65 6e 64 20 6f   offset of end o
5c60: 66 20 74 6f 6b 65 6e 20 77 69 74 68 69 6e 20 69  f token within i
5c70: 6e 70 75 74 20 74 65 78 74 20 2a 2f 0a 20 20 20  nput text */.   
5c80: 20 20 20 29 0a 20 20 29 3b 0a 7d 3b 0a 0a 2f 2a     ).  );.};../*
5c90: 20 46 6c 61 67 73 20 74 68 61 74 20 6d 61 79 20   Flags that may 
5ca0: 62 65 20 70 61 73 73 65 64 20 61 73 20 74 68 65  be passed as the
5cb0: 20 74 68 69 72 64 20 61 72 67 75 6d 65 6e 74 20   third argument 
5cc0: 74 6f 20 78 54 6f 6b 65 6e 69 7a 65 28 29 20 2a  to xTokenize() *
5cd0: 2f 0a 23 64 65 66 69 6e 65 20 46 54 53 35 5f 54  /.#define FTS5_T
5ce0: 4f 4b 45 4e 49 5a 45 5f 51 55 45 52 59 20 20 20  OKENIZE_QUERY   
5cf0: 20 20 30 78 30 30 30 31 0a 23 64 65 66 69 6e 65    0x0001.#define
5d00: 20 46 54 53 35 5f 54 4f 4b 45 4e 49 5a 45 5f 50   FTS5_TOKENIZE_P
5d10: 52 45 46 49 58 20 20 20 20 30 78 30 30 30 32 0a  REFIX    0x0002.
5d20: 23 64 65 66 69 6e 65 20 46 54 53 35 5f 54 4f 4b  #define FTS5_TOK
5d30: 45 4e 49 5a 45 5f 44 4f 43 55 4d 45 4e 54 20 20  ENIZE_DOCUMENT  
5d40: 30 78 30 30 30 34 0a 23 64 65 66 69 6e 65 20 46  0x0004.#define F
5d50: 54 53 35 5f 54 4f 4b 45 4e 49 5a 45 5f 41 55 58  TS5_TOKENIZE_AUX
5d60: 20 20 20 20 20 20 20 30 78 30 30 30 38 0a 0a 2f         0x0008../
5d70: 2a 20 46 6c 61 67 73 20 74 68 61 74 20 6d 61 79  * Flags that may
5d80: 20 62 65 20 70 61 73 73 65 64 20 62 79 20 74 68   be passed by th
5d90: 65 20 74 6f 6b 65 6e 69 7a 65 72 20 69 6d 70 6c  e tokenizer impl
5da0: 65 6d 65 6e 74 61 74 69 6f 6e 20 62 61 63 6b 20  ementation back 
5db0: 74 6f 20 46 54 53 35 0a 2a 2a 20 61 73 20 74 68  to FTS5.** as th
5dc0: 65 20 74 68 69 72 64 20 61 72 67 75 6d 65 6e 74  e third argument
5dd0: 20 74 6f 20 74 68 65 20 73 75 70 70 6c 69 65 64   to the supplied
5de0: 20 78 54 6f 6b 65 6e 20 63 61 6c 6c 62 61 63 6b   xToken callback
5df0: 2e 20 2a 2f 0a 23 64 65 66 69 6e 65 20 46 54 53  . */.#define FTS
5e00: 35 5f 54 4f 4b 45 4e 5f 43 4f 4c 4f 43 41 54 45  5_TOKEN_COLOCATE
5e10: 44 20 20 20 20 30 78 30 30 30 31 20 20 20 20 20  D    0x0001     
5e20: 20 2f 2a 20 53 61 6d 65 20 70 6f 73 69 74 69 6f   /* Same positio
5e30: 6e 20 61 73 20 70 72 65 76 2e 20 74 6f 6b 65 6e  n as prev. token
5e40: 20 2a 2f 0a 0a 2f 2a 0a 2a 2a 20 45 4e 44 20 4f   */../*.** END O
5e50: 46 20 43 55 53 54 4f 4d 20 54 4f 4b 45 4e 49 5a  F CUSTOM TOKENIZ
5e60: 45 52 53 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ERS.************
5e70: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5e80: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5e90: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5ea0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f 0a 0a  *************/..
5eb0: 2f 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  /***************
5ec0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5ed0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5ee0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5ef0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a 2a 2a 20 46 54  **********.** FT
5f00: 53 35 20 45 58 54 45 4e 53 49 4f 4e 20 52 45 47  S5 EXTENSION REG
5f10: 49 53 54 52 41 54 49 4f 4e 20 41 50 49 0a 2a 2f  ISTRATION API.*/
5f20: 0a 74 79 70 65 64 65 66 20 73 74 72 75 63 74 20  .typedef struct 
5f30: 66 74 73 35 5f 61 70 69 20 66 74 73 35 5f 61 70  fts5_api fts5_ap
5f40: 69 3b 0a 73 74 72 75 63 74 20 66 74 73 35 5f 61  i;.struct fts5_a
5f50: 70 69 20 7b 0a 20 20 69 6e 74 20 69 56 65 72 73  pi {.  int iVers
5f60: 69 6f 6e 3b 20 20 20 20 20 20 20 20 20 20 20 20  ion;            
5f70: 20 20 20 20 20 20 20 2f 2a 20 43 75 72 72 65 6e         /* Curren
5f80: 74 6c 79 20 61 6c 77 61 79 73 20 73 65 74 20 74  tly always set t
5f90: 6f 20 32 20 2a 2f 0a 0a 20 20 2f 2a 20 43 72 65  o 2 */..  /* Cre
5fa0: 61 74 65 20 61 20 6e 65 77 20 74 6f 6b 65 6e 69  ate a new tokeni
5fb0: 7a 65 72 20 2a 2f 0a 20 20 69 6e 74 20 28 2a 78  zer */.  int (*x
5fc0: 43 72 65 61 74 65 54 6f 6b 65 6e 69 7a 65 72 29  CreateTokenizer)
5fd0: 28 0a 20 20 20 20 66 74 73 35 5f 61 70 69 20 2a  (.    fts5_api *
5fe0: 70 41 70 69 2c 0a 20 20 20 20 63 6f 6e 73 74 20  pApi,.    const 
5ff0: 63 68 61 72 20 2a 7a 4e 61 6d 65 2c 0a 20 20 20  char *zName,.   
6000: 20 76 6f 69 64 20 2a 70 43 6f 6e 74 65 78 74 2c   void *pContext,
6010: 0a 20 20 20 20 66 74 73 35 5f 74 6f 6b 65 6e 69  .    fts5_tokeni
6020: 7a 65 72 20 2a 70 54 6f 6b 65 6e 69 7a 65 72 2c  zer *pTokenizer,
6030: 0a 20 20 20 20 76 6f 69 64 20 28 2a 78 44 65 73  .    void (*xDes
6040: 74 72 6f 79 29 28 76 6f 69 64 2a 29 0a 20 20 29  troy)(void*).  )
6050: 3b 0a 0a 20 20 2f 2a 20 46 69 6e 64 20 61 6e 20  ;..  /* Find an 
6060: 65 78 69 73 74 69 6e 67 20 74 6f 6b 65 6e 69 7a  existing tokeniz
6070: 65 72 20 2a 2f 0a 20 20 69 6e 74 20 28 2a 78 46  er */.  int (*xF
6080: 69 6e 64 54 6f 6b 65 6e 69 7a 65 72 29 28 0a 20  indTokenizer)(. 
6090: 20 20 20 66 74 73 35 5f 61 70 69 20 2a 70 41 70     fts5_api *pAp
60a0: 69 2c 0a 20 20 20 20 63 6f 6e 73 74 20 63 68 61  i,.    const cha
60b0: 72 20 2a 7a 4e 61 6d 65 2c 0a 20 20 20 20 76 6f  r *zName,.    vo
60c0: 69 64 20 2a 2a 70 70 43 6f 6e 74 65 78 74 2c 0a  id **ppContext,.
60d0: 20 20 20 20 66 74 73 35 5f 74 6f 6b 65 6e 69 7a      fts5_tokeniz
60e0: 65 72 20 2a 70 54 6f 6b 65 6e 69 7a 65 72 0a 20  er *pTokenizer. 
60f0: 20 29 3b 0a 0a 20 20 2f 2a 20 43 72 65 61 74 65   );..  /* Create
6100: 20 61 20 6e 65 77 20 61 75 78 69 6c 69 61 72 79   a new auxiliary
6110: 20 66 75 6e 63 74 69 6f 6e 20 2a 2f 0a 20 20 69   function */.  i
6120: 6e 74 20 28 2a 78 43 72 65 61 74 65 46 75 6e 63  nt (*xCreateFunc
6130: 74 69 6f 6e 29 28 0a 20 20 20 20 66 74 73 35 5f  tion)(.    fts5_
6140: 61 70 69 20 2a 70 41 70 69 2c 0a 20 20 20 20 63  api *pApi,.    c
6150: 6f 6e 73 74 20 63 68 61 72 20 2a 7a 4e 61 6d 65  onst char *zName
6160: 2c 0a 20 20 20 20 76 6f 69 64 20 2a 70 43 6f 6e  ,.    void *pCon
6170: 74 65 78 74 2c 0a 20 20 20 20 66 74 73 35 5f 65  text,.    fts5_e
6180: 78 74 65 6e 73 69 6f 6e 5f 66 75 6e 63 74 69 6f  xtension_functio
6190: 6e 20 78 46 75 6e 63 74 69 6f 6e 2c 0a 20 20 20  n xFunction,.   
61a0: 20 76 6f 69 64 20 28 2a 78 44 65 73 74 72 6f 79   void (*xDestroy
61b0: 29 28 76 6f 69 64 2a 29 0a 20 20 29 3b 0a 7d 3b  )(void*).  );.};
61c0: 0a 0a 2f 2a 0a 2a 2a 20 45 4e 44 20 4f 46 20 52  ../*.** END OF R
61d0: 45 47 49 53 54 52 41 54 49 4f 4e 20 41 50 49 0a  EGISTRATION API.
61e0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
61f0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
6200: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
6210: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
6220: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f 0a 0a 23 69 66 64  *********/..#ifd
6230: 65 66 20 5f 5f 63 70 6c 75 73 70 6c 75 73 0a 7d  ef __cplusplus.}
6240: 20 20 2f 2a 20 65 6e 64 20 6f 66 20 74 68 65 20    /* end of the 
6250: 27 65 78 74 65 72 6e 20 22 43 22 27 20 62 6c 6f  'extern "C"' blo
6260: 63 6b 20 2a 2f 0a 23 65 6e 64 69 66 0a 0a 23 65  ck */.#endif..#e
6270: 6e 64 69 66 20 2f 2a 20 5f 46 54 53 35 5f 48 20  ndif /* _FTS5_H 
6280: 2a 2f 0a 0a                                      */..