/ Hex Artifact Content
Login

Artifact 62f3e33ceeb9a428db139f9c012186b371da1cc7:


0000: 2f 2a 0a 2a 2a 20 32 30 31 34 20 4d 61 79 20 33  /*.** 2014 May 3
0010: 31 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74 68  1.**.** The auth
0020: 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f 70  or disclaims cop
0030: 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20 73  yright to this s
0040: 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e 20  ource code.  In 
0050: 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c 65  place of.** a le
0060: 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72 65  gal notice, here
0070: 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a 0a   is a blessing:.
0080: 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f 75  **.**    May you
0090: 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f 74   do good and not
00a0: 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61 79   evil..**    May
00b0: 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69 76   you find forgiv
00c0: 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73 65  eness for yourse
00d0: 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20 6f  lf and forgive o
00e0: 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61 79  thers..**    May
00f0: 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65 6c   you share freel
0100: 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67 20  y, never taking 
0110: 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67 69  more than you gi
0120: 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ve..**.*********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2a 20 49 6e 74 65  *****.**.** Inte
0180: 72 66 61 63 65 73 20 74 6f 20 65 78 74 65 6e 64  rfaces to extend
0190: 20 46 54 53 35 2e 20 55 73 69 6e 67 20 74 68 65   FTS5. Using the
01a0: 20 69 6e 74 65 72 66 61 63 65 73 20 64 65 66 69   interfaces defi
01b0: 6e 65 64 20 69 6e 20 74 68 69 73 20 66 69 6c 65  ned in this file
01c0: 2c 20 0a 2a 2a 20 46 54 53 35 20 6d 61 79 20 62  , .** FTS5 may b
01d0: 65 20 65 78 74 65 6e 64 65 64 20 77 69 74 68 3a  e extended with:
01e0: 0a 2a 2a 0a 2a 2a 20 20 20 20 20 2a 20 63 75 73  .**.**     * cus
01f0: 74 6f 6d 20 74 6f 6b 65 6e 69 7a 65 72 73 2c 20  tom tokenizers, 
0200: 61 6e 64 0a 2a 2a 20 20 20 20 20 2a 20 63 75 73  and.**     * cus
0210: 74 6f 6d 20 61 75 78 69 6c 69 61 72 79 20 66 75  tom auxiliary fu
0220: 6e 63 74 69 6f 6e 73 2e 0a 2a 2f 0a 0a 0a 23 69  nctions..*/...#i
0230: 66 6e 64 65 66 20 5f 46 54 53 35 5f 48 0a 23 64  fndef _FTS5_H.#d
0240: 65 66 69 6e 65 20 5f 46 54 53 35 5f 48 0a 0a 23  efine _FTS5_H..#
0250: 69 6e 63 6c 75 64 65 20 22 73 71 6c 69 74 65 33  include "sqlite3
0260: 2e 68 22 0a 0a 23 69 66 64 65 66 20 5f 5f 63 70  .h"..#ifdef __cp
0270: 6c 75 73 70 6c 75 73 0a 65 78 74 65 72 6e 20 22  lusplus.extern "
0280: 43 22 20 7b 0a 23 65 6e 64 69 66 0a 0a 2f 2a 2a  C" {.#endif../**
0290: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
02a0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
02b0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
02c0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
02d0: 2a 2a 2a 2a 2a 2a 2a 0a 2a 2a 20 43 55 53 54 4f  *******.** CUSTO
02e0: 4d 20 41 55 58 49 4c 49 41 52 59 20 46 55 4e 43  M AUXILIARY FUNC
02f0: 54 49 4f 4e 53 0a 2a 2a 0a 2a 2a 20 56 69 72 74  TIONS.**.** Virt
0300: 75 61 6c 20 74 61 62 6c 65 20 69 6d 70 6c 65 6d  ual table implem
0310: 65 6e 74 61 74 69 6f 6e 73 20 6d 61 79 20 6f 76  entations may ov
0320: 65 72 6c 6f 61 64 20 53 51 4c 20 66 75 6e 63 74  erload SQL funct
0330: 69 6f 6e 73 20 62 79 20 69 6d 70 6c 65 6d 65 6e  ions by implemen
0340: 74 69 6e 67 0a 2a 2a 20 74 68 65 20 73 71 6c 69  ting.** the sqli
0350: 74 65 33 5f 6d 6f 64 75 6c 65 2e 78 46 69 6e 64  te3_module.xFind
0360: 46 75 6e 63 74 69 6f 6e 28 29 20 6d 65 74 68 6f  Function() metho
0370: 64 2e 0a 2a 2f 0a 0a 74 79 70 65 64 65 66 20 73  d..*/..typedef s
0380: 74 72 75 63 74 20 46 74 73 35 45 78 74 65 6e 73  truct Fts5Extens
0390: 69 6f 6e 41 70 69 20 46 74 73 35 45 78 74 65 6e  ionApi Fts5Exten
03a0: 73 69 6f 6e 41 70 69 3b 0a 74 79 70 65 64 65 66  sionApi;.typedef
03b0: 20 73 74 72 75 63 74 20 46 74 73 35 43 6f 6e 74   struct Fts5Cont
03c0: 65 78 74 20 46 74 73 35 43 6f 6e 74 65 78 74 3b  ext Fts5Context;
03d0: 0a 74 79 70 65 64 65 66 20 73 74 72 75 63 74 20  .typedef struct 
03e0: 46 74 73 35 50 68 72 61 73 65 49 74 65 72 20 46  Fts5PhraseIter F
03f0: 74 73 35 50 68 72 61 73 65 49 74 65 72 3b 0a 0a  ts5PhraseIter;..
0400: 74 79 70 65 64 65 66 20 76 6f 69 64 20 28 2a 66  typedef void (*f
0410: 74 73 35 5f 65 78 74 65 6e 73 69 6f 6e 5f 66 75  ts5_extension_fu
0420: 6e 63 74 69 6f 6e 29 28 0a 20 20 63 6f 6e 73 74  nction)(.  const
0430: 20 46 74 73 35 45 78 74 65 6e 73 69 6f 6e 41 70   Fts5ExtensionAp
0440: 69 20 2a 70 41 70 69 2c 20 20 20 2f 2a 20 41 50  i *pApi,   /* AP
0450: 49 20 6f 66 66 65 72 65 64 20 62 79 20 63 75 72  I offered by cur
0460: 72 65 6e 74 20 46 54 53 20 76 65 72 73 69 6f 6e  rent FTS version
0470: 20 2a 2f 0a 20 20 46 74 73 35 43 6f 6e 74 65 78   */.  Fts5Contex
0480: 74 20 2a 70 46 74 73 2c 20 20 20 20 20 20 20 20  t *pFts,        
0490: 20 20 20 20 20 20 2f 2a 20 46 69 72 73 74 20 61        /* First a
04a0: 72 67 20 74 6f 20 70 61 73 73 20 74 6f 20 70 41  rg to pass to pA
04b0: 70 69 20 66 75 6e 63 74 69 6f 6e 73 20 2a 2f 0a  pi functions */.
04c0: 20 20 73 71 6c 69 74 65 33 5f 63 6f 6e 74 65 78    sqlite3_contex
04d0: 74 20 2a 70 43 74 78 2c 20 20 20 20 20 20 20 20  t *pCtx,        
04e0: 20 20 2f 2a 20 43 6f 6e 74 65 78 74 20 66 6f 72    /* Context for
04f0: 20 72 65 74 75 72 6e 69 6e 67 20 72 65 73 75 6c   returning resul
0500: 74 2f 65 72 72 6f 72 20 2a 2f 0a 20 20 69 6e 74  t/error */.  int
0510: 20 6e 56 61 6c 2c 20 20 20 20 20 20 20 20 20 20   nVal,          
0520: 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20               /* 
0530: 4e 75 6d 62 65 72 20 6f 66 20 76 61 6c 75 65 73  Number of values
0540: 20 69 6e 20 61 70 56 61 6c 5b 5d 20 61 72 72 61   in apVal[] arra
0550: 79 20 2a 2f 0a 20 20 73 71 6c 69 74 65 33 5f 76  y */.  sqlite3_v
0560: 61 6c 75 65 20 2a 2a 61 70 56 61 6c 20 20 20 20  alue **apVal    
0570: 20 20 20 20 20 20 20 2f 2a 20 41 72 72 61 79 20         /* Array 
0580: 6f 66 20 74 72 61 69 6c 69 6e 67 20 61 72 67 75  of trailing argu
0590: 6d 65 6e 74 73 20 2a 2f 0a 29 3b 0a 0a 73 74 72  ments */.);..str
05a0: 75 63 74 20 46 74 73 35 50 68 72 61 73 65 49 74  uct Fts5PhraseIt
05b0: 65 72 20 7b 0a 20 20 63 6f 6e 73 74 20 75 6e 73  er {.  const uns
05c0: 69 67 6e 65 64 20 63 68 61 72 20 2a 61 3b 0a 20  igned char *a;. 
05d0: 20 63 6f 6e 73 74 20 75 6e 73 69 67 6e 65 64 20   const unsigned 
05e0: 63 68 61 72 20 2a 62 3b 0a 7d 3b 0a 0a 2f 2a 0a  char *b;.};../*.
05f0: 2a 2a 20 45 58 54 45 4e 53 49 4f 4e 20 41 50 49  ** EXTENSION API
0600: 20 46 55 4e 43 54 49 4f 4e 53 0a 2a 2a 0a 2a 2a   FUNCTIONS.**.**
0610: 20 78 55 73 65 72 44 61 74 61 28 70 46 74 73 29   xUserData(pFts)
0620: 3a 0a 2a 2a 20 20 20 52 65 74 75 72 6e 20 61 20  :.**   Return a 
0630: 63 6f 70 79 20 6f 66 20 74 68 65 20 63 6f 6e 74  copy of the cont
0640: 65 78 74 20 70 6f 69 6e 74 65 72 20 74 68 65 20  ext pointer the 
0650: 65 78 74 65 6e 73 69 6f 6e 20 66 75 6e 63 74 69  extension functi
0660: 6f 6e 20 77 61 73 20 0a 2a 2a 20 20 20 72 65 67  on was .**   reg
0670: 69 73 74 65 72 65 64 20 77 69 74 68 2e 0a 2a 2a  istered with..**
0680: 0a 2a 2a 20 78 43 6f 6c 75 6d 6e 54 6f 74 61 6c  .** xColumnTotal
0690: 53 69 7a 65 28 70 46 74 73 2c 20 69 43 6f 6c 2c  Size(pFts, iCol,
06a0: 20 70 6e 54 6f 6b 65 6e 29 3a 0a 2a 2a 20 20 20   pnToken):.**   
06b0: 49 66 20 70 61 72 61 6d 65 74 65 72 20 69 43 6f  If parameter iCo
06c0: 6c 20 69 73 20 6c 65 73 73 20 74 68 61 6e 20 7a  l is less than z
06d0: 65 72 6f 2c 20 73 65 74 20 6f 75 74 70 75 74 20  ero, set output 
06e0: 76 61 72 69 61 62 6c 65 20 2a 70 6e 54 6f 6b 65  variable *pnToke
06f0: 6e 0a 2a 2a 20 20 20 74 6f 20 74 68 65 20 74 6f  n.**   to the to
0700: 74 61 6c 20 6e 75 6d 62 65 72 20 6f 66 20 74 6f  tal number of to
0710: 6b 65 6e 73 20 69 6e 20 74 68 65 20 46 54 53 35  kens in the FTS5
0720: 20 74 61 62 6c 65 2e 20 4f 72 2c 20 69 66 20 69   table. Or, if i
0730: 43 6f 6c 20 69 73 0a 2a 2a 20 20 20 6e 6f 6e 2d  Col is.**   non-
0740: 6e 65 67 61 74 69 76 65 20 62 75 74 20 6c 65 73  negative but les
0750: 73 20 74 68 61 6e 20 74 68 65 20 6e 75 6d 62 65  s than the numbe
0760: 72 20 6f 66 20 63 6f 6c 75 6d 6e 73 20 69 6e 20  r of columns in 
0770: 74 68 65 20 74 61 62 6c 65 2c 20 72 65 74 75 72  the table, retur
0780: 6e 0a 2a 2a 20 20 20 74 68 65 20 74 6f 74 61 6c  n.**   the total
0790: 20 6e 75 6d 62 65 72 20 6f 66 20 74 6f 6b 65 6e   number of token
07a0: 73 20 69 6e 20 63 6f 6c 75 6d 6e 20 69 43 6f 6c  s in column iCol
07b0: 2c 20 63 6f 6e 73 69 64 65 72 69 6e 67 20 61 6c  , considering al
07c0: 6c 20 72 6f 77 73 20 69 6e 20 0a 2a 2a 20 20 20  l rows in .**   
07d0: 74 68 65 20 46 54 53 35 20 74 61 62 6c 65 2e 0a  the FTS5 table..
07e0: 2a 2a 0a 2a 2a 20 20 20 49 66 20 70 61 72 61 6d  **.**   If param
07f0: 65 74 65 72 20 69 43 6f 6c 20 69 73 20 67 72 65  eter iCol is gre
0800: 61 74 65 72 20 74 68 61 6e 20 6f 72 20 65 71 75  ater than or equ
0810: 61 6c 20 74 6f 20 74 68 65 20 6e 75 6d 62 65 72  al to the number
0820: 20 6f 66 20 63 6f 6c 75 6d 6e 73 0a 2a 2a 20 20   of columns.**  
0830: 20 69 6e 20 74 68 65 20 74 61 62 6c 65 2c 20 53   in the table, S
0840: 51 4c 49 54 45 5f 52 41 4e 47 45 20 69 73 20 72  QLITE_RANGE is r
0850: 65 74 75 72 6e 65 64 2e 20 4f 72 2c 20 69 66 20  eturned. Or, if 
0860: 61 6e 20 65 72 72 6f 72 20 6f 63 63 75 72 73 20  an error occurs 
0870: 28 65 2e 67 2e 0a 2a 2a 20 20 20 61 6e 20 4f 4f  (e.g..**   an OO
0880: 4d 20 63 6f 6e 64 69 74 69 6f 6e 20 6f 72 20 49  M condition or I
0890: 4f 20 65 72 72 6f 72 29 2c 20 61 6e 20 61 70 70  O error), an app
08a0: 72 6f 70 72 69 61 74 65 20 53 51 4c 69 74 65 20  ropriate SQLite 
08b0: 65 72 72 6f 72 20 63 6f 64 65 20 69 73 20 0a 2a  error code is .*
08c0: 2a 20 20 20 72 65 74 75 72 6e 65 64 2e 0a 2a 2a  *   returned..**
08d0: 0a 2a 2a 20 78 43 6f 6c 75 6d 6e 43 6f 75 6e 74  .** xColumnCount
08e0: 28 70 46 74 73 29 3a 0a 2a 2a 20 20 20 52 65 74  (pFts):.**   Ret
08f0: 75 72 6e 20 74 68 65 20 6e 75 6d 62 65 72 20 6f  urn the number o
0900: 66 20 63 6f 6c 75 6d 6e 73 20 69 6e 20 74 68 65  f columns in the
0910: 20 74 61 62 6c 65 2e 0a 2a 2a 0a 2a 2a 20 78 43   table..**.** xC
0920: 6f 6c 75 6d 6e 53 69 7a 65 28 70 46 74 73 2c 20  olumnSize(pFts, 
0930: 69 43 6f 6c 2c 20 70 6e 54 6f 6b 65 6e 29 3a 0a  iCol, pnToken):.
0940: 2a 2a 20 20 20 49 66 20 70 61 72 61 6d 65 74 65  **   If paramete
0950: 72 20 69 43 6f 6c 20 69 73 20 6c 65 73 73 20 74  r iCol is less t
0960: 68 61 6e 20 7a 65 72 6f 2c 20 73 65 74 20 6f 75  han zero, set ou
0970: 74 70 75 74 20 76 61 72 69 61 62 6c 65 20 2a 70  tput variable *p
0980: 6e 54 6f 6b 65 6e 0a 2a 2a 20 20 20 74 6f 20 74  nToken.**   to t
0990: 68 65 20 74 6f 74 61 6c 20 6e 75 6d 62 65 72 20  he total number 
09a0: 6f 66 20 74 6f 6b 65 6e 73 20 69 6e 20 74 68 65  of tokens in the
09b0: 20 63 75 72 72 65 6e 74 20 72 6f 77 2e 20 4f 72   current row. Or
09c0: 2c 20 69 66 20 69 43 6f 6c 20 69 73 0a 2a 2a 20  , if iCol is.** 
09d0: 20 20 6e 6f 6e 2d 6e 65 67 61 74 69 76 65 20 62    non-negative b
09e0: 75 74 20 6c 65 73 73 20 74 68 61 6e 20 74 68 65  ut less than the
09f0: 20 6e 75 6d 62 65 72 20 6f 66 20 63 6f 6c 75 6d   number of colum
0a00: 6e 73 20 69 6e 20 74 68 65 20 74 61 62 6c 65 2c  ns in the table,
0a10: 20 73 65 74 0a 2a 2a 20 20 20 2a 70 6e 54 6f 6b   set.**   *pnTok
0a20: 65 6e 20 74 6f 20 74 68 65 20 6e 75 6d 62 65 72  en to the number
0a30: 20 6f 66 20 74 6f 6b 65 6e 73 20 69 6e 20 63 6f   of tokens in co
0a40: 6c 75 6d 6e 20 69 43 6f 6c 20 6f 66 20 74 68 65  lumn iCol of the
0a50: 20 63 75 72 72 65 6e 74 20 72 6f 77 2e 0a 2a 2a   current row..**
0a60: 0a 2a 2a 20 20 20 49 66 20 70 61 72 61 6d 65 74  .**   If paramet
0a70: 65 72 20 69 43 6f 6c 20 69 73 20 67 72 65 61 74  er iCol is great
0a80: 65 72 20 74 68 61 6e 20 6f 72 20 65 71 75 61 6c  er than or equal
0a90: 20 74 6f 20 74 68 65 20 6e 75 6d 62 65 72 20 6f   to the number o
0aa0: 66 20 63 6f 6c 75 6d 6e 73 0a 2a 2a 20 20 20 69  f columns.**   i
0ab0: 6e 20 74 68 65 20 74 61 62 6c 65 2c 20 53 51 4c  n the table, SQL
0ac0: 49 54 45 5f 52 41 4e 47 45 20 69 73 20 72 65 74  ITE_RANGE is ret
0ad0: 75 72 6e 65 64 2e 20 4f 72 2c 20 69 66 20 61 6e  urned. Or, if an
0ae0: 20 65 72 72 6f 72 20 6f 63 63 75 72 73 20 28 65   error occurs (e
0af0: 2e 67 2e 0a 2a 2a 20 20 20 61 6e 20 4f 4f 4d 20  .g..**   an OOM 
0b00: 63 6f 6e 64 69 74 69 6f 6e 20 6f 72 20 49 4f 20  condition or IO 
0b10: 65 72 72 6f 72 29 2c 20 61 6e 20 61 70 70 72 6f  error), an appro
0b20: 70 72 69 61 74 65 20 53 51 4c 69 74 65 20 65 72  priate SQLite er
0b30: 72 6f 72 20 63 6f 64 65 20 69 73 20 0a 2a 2a 20  ror code is .** 
0b40: 20 20 72 65 74 75 72 6e 65 64 2e 0a 2a 2a 0a 2a    returned..**.*
0b50: 2a 20 20 20 54 68 69 73 20 66 75 6e 63 74 69 6f  *   This functio
0b60: 6e 20 6d 61 79 20 62 65 20 71 75 69 74 65 20 69  n may be quite i
0b70: 6e 65 66 66 69 63 69 65 6e 74 20 69 66 20 75 73  nefficient if us
0b80: 65 64 20 77 69 74 68 20 61 6e 20 46 54 53 35 20  ed with an FTS5 
0b90: 74 61 62 6c 65 0a 2a 2a 20 20 20 63 72 65 61 74  table.**   creat
0ba0: 65 64 20 77 69 74 68 20 74 68 65 20 22 63 6f 6c  ed with the "col
0bb0: 75 6d 6e 73 69 7a 65 3d 30 22 20 6f 70 74 69 6f  umnsize=0" optio
0bc0: 6e 2e 0a 2a 2a 0a 2a 2a 20 78 43 6f 6c 75 6d 6e  n..**.** xColumn
0bd0: 54 65 78 74 3a 0a 2a 2a 20 20 20 54 68 69 73 20  Text:.**   This 
0be0: 66 75 6e 63 74 69 6f 6e 20 61 74 74 65 6d 70 74  function attempt
0bf0: 73 20 74 6f 20 72 65 74 72 69 65 76 65 20 74 68  s to retrieve th
0c00: 65 20 74 65 78 74 20 6f 66 20 63 6f 6c 75 6d 6e  e text of column
0c10: 20 69 43 6f 6c 20 6f 66 20 74 68 65 0a 2a 2a 20   iCol of the.** 
0c20: 20 20 63 75 72 72 65 6e 74 20 64 6f 63 75 6d 65    current docume
0c30: 6e 74 2e 20 49 66 20 73 75 63 63 65 73 73 66 75  nt. If successfu
0c40: 6c 2c 20 28 2a 70 7a 29 20 69 73 20 73 65 74 20  l, (*pz) is set 
0c50: 74 6f 20 70 6f 69 6e 74 20 74 6f 20 61 20 62 75  to point to a bu
0c60: 66 66 65 72 0a 2a 2a 20 20 20 63 6f 6e 74 61 69  ffer.**   contai
0c70: 6e 69 6e 67 20 74 68 65 20 74 65 78 74 20 69 6e  ning the text in
0c80: 20 75 74 66 2d 38 20 65 6e 63 6f 64 69 6e 67 2c   utf-8 encoding,
0c90: 20 28 2a 70 6e 29 20 69 73 20 73 65 74 20 74 6f   (*pn) is set to
0ca0: 20 74 68 65 20 73 69 7a 65 20 69 6e 20 62 79 74   the size in byt
0cb0: 65 73 0a 2a 2a 20 20 20 28 6e 6f 74 20 63 68 61  es.**   (not cha
0cc0: 72 61 63 74 65 72 73 29 20 6f 66 20 74 68 65 20  racters) of the 
0cd0: 62 75 66 66 65 72 20 61 6e 64 20 53 51 4c 49 54  buffer and SQLIT
0ce0: 45 5f 4f 4b 20 69 73 20 72 65 74 75 72 6e 65 64  E_OK is returned
0cf0: 2e 20 4f 74 68 65 72 77 69 73 65 2c 0a 2a 2a 20  . Otherwise,.** 
0d00: 20 20 69 66 20 61 6e 20 65 72 72 6f 72 20 6f 63    if an error oc
0d10: 63 75 72 73 2c 20 61 6e 20 53 51 4c 69 74 65 20  curs, an SQLite 
0d20: 65 72 72 6f 72 20 63 6f 64 65 20 69 73 20 72 65  error code is re
0d30: 74 75 72 6e 65 64 20 61 6e 64 20 74 68 65 20 66  turned and the f
0d40: 69 6e 61 6c 20 76 61 6c 75 65 73 0a 2a 2a 20 20  inal values.**  
0d50: 20 6f 66 20 28 2a 70 7a 29 20 61 6e 64 20 28 2a   of (*pz) and (*
0d60: 70 6e 29 20 61 72 65 20 75 6e 64 65 66 69 6e 65  pn) are undefine
0d70: 64 2e 0a 2a 2a 0a 2a 2a 20 78 50 68 72 61 73 65  d..**.** xPhrase
0d80: 43 6f 75 6e 74 3a 0a 2a 2a 20 20 20 52 65 74 75  Count:.**   Retu
0d90: 72 6e 73 20 74 68 65 20 6e 75 6d 62 65 72 20 6f  rns the number o
0da0: 66 20 70 68 72 61 73 65 73 20 69 6e 20 74 68 65  f phrases in the
0db0: 20 63 75 72 72 65 6e 74 20 71 75 65 72 79 20 65   current query e
0dc0: 78 70 72 65 73 73 69 6f 6e 2e 0a 2a 2a 0a 2a 2a  xpression..**.**
0dd0: 20 78 50 68 72 61 73 65 53 69 7a 65 3a 0a 2a 2a   xPhraseSize:.**
0de0: 20 20 20 52 65 74 75 72 6e 73 20 74 68 65 20 6e     Returns the n
0df0: 75 6d 62 65 72 20 6f 66 20 74 6f 6b 65 6e 73 20  umber of tokens 
0e00: 69 6e 20 70 68 72 61 73 65 20 69 50 68 72 61 73  in phrase iPhras
0e10: 65 20 6f 66 20 74 68 65 20 71 75 65 72 79 2e 20  e of the query. 
0e20: 50 68 72 61 73 65 73 0a 2a 2a 20 20 20 61 72 65  Phrases.**   are
0e30: 20 6e 75 6d 62 65 72 65 64 20 73 74 61 72 74 69   numbered starti
0e40: 6e 67 20 66 72 6f 6d 20 7a 65 72 6f 2e 0a 2a 2a  ng from zero..**
0e50: 0a 2a 2a 20 78 49 6e 73 74 43 6f 75 6e 74 3a 0a  .** xInstCount:.
0e60: 2a 2a 20 20 20 53 65 74 20 2a 70 6e 49 6e 73 74  **   Set *pnInst
0e70: 20 74 6f 20 74 68 65 20 74 6f 74 61 6c 20 6e 75   to the total nu
0e80: 6d 62 65 72 20 6f 66 20 6f 63 63 75 72 72 65 6e  mber of occurren
0e90: 63 65 73 20 6f 66 20 61 6c 6c 20 70 68 72 61 73  ces of all phras
0ea0: 65 73 20 77 69 74 68 69 6e 0a 2a 2a 20 20 20 74  es within.**   t
0eb0: 68 65 20 71 75 65 72 79 20 77 69 74 68 69 6e 20  he query within 
0ec0: 74 68 65 20 63 75 72 72 65 6e 74 20 72 6f 77 2e  the current row.
0ed0: 20 52 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 4f   Return SQLITE_O
0ee0: 4b 20 69 66 20 73 75 63 63 65 73 73 66 75 6c 2c  K if successful,
0ef0: 20 6f 72 0a 2a 2a 20 20 20 61 6e 20 65 72 72 6f   or.**   an erro
0f00: 72 20 63 6f 64 65 20 28 69 2e 65 2e 20 53 51 4c  r code (i.e. SQL
0f10: 49 54 45 5f 4e 4f 4d 45 4d 29 20 69 66 20 61 6e  ITE_NOMEM) if an
0f20: 20 65 72 72 6f 72 20 6f 63 63 75 72 73 2e 0a 2a   error occurs..*
0f30: 2a 0a 2a 2a 20 20 20 54 68 69 73 20 41 50 49 20  *.**   This API 
0f40: 63 61 6e 20 62 65 20 71 75 69 74 65 20 73 6c 6f  can be quite slo
0f50: 77 20 69 66 20 75 73 65 64 20 77 69 74 68 20 61  w if used with a
0f60: 6e 20 46 54 53 35 20 74 61 62 6c 65 20 63 72 65  n FTS5 table cre
0f70: 61 74 65 64 20 77 69 74 68 20 74 68 65 0a 2a 2a  ated with the.**
0f80: 20 20 20 22 64 65 74 61 69 6c 3d 6e 6f 6e 65 22     "detail=none"
0f90: 20 6f 72 20 22 64 65 74 61 69 6c 3d 63 6f 6c 75   or "detail=colu
0fa0: 6d 6e 22 20 6f 70 74 69 6f 6e 2e 20 49 66 20 74  mn" option. If t
0fb0: 68 65 20 46 54 53 35 20 74 61 62 6c 65 20 69 73  he FTS5 table is
0fc0: 20 63 72 65 61 74 65 64 20 0a 2a 2a 20 20 20 77   created .**   w
0fd0: 69 74 68 20 65 69 74 68 65 72 20 22 64 65 74 61  ith either "deta
0fe0: 69 6c 3d 6e 6f 6e 65 22 20 6f 72 20 22 64 65 74  il=none" or "det
0ff0: 61 69 6c 3d 63 6f 6c 75 6d 6e 22 20 61 6e 64 20  ail=column" and 
1000: 22 63 6f 6e 74 65 6e 74 3d 22 20 6f 70 74 69 6f  "content=" optio
1010: 6e 20 0a 2a 2a 20 20 20 28 69 2e 65 2e 20 69 66  n .**   (i.e. if
1020: 20 69 74 20 69 73 20 61 20 63 6f 6e 74 65 6e 74   it is a content
1030: 6c 65 73 73 20 74 61 62 6c 65 29 2c 20 74 68 65  less table), the
1040: 6e 20 74 68 69 73 20 41 50 49 20 61 6c 77 61 79  n this API alway
1050: 73 20 72 65 74 75 72 6e 73 20 30 2e 0a 2a 2a 0a  s returns 0..**.
1060: 2a 2a 20 78 49 6e 73 74 3a 0a 2a 2a 20 20 20 51  ** xInst:.**   Q
1070: 75 65 72 79 20 66 6f 72 20 74 68 65 20 64 65 74  uery for the det
1080: 61 69 6c 73 20 6f 66 20 70 68 72 61 73 65 20 6d  ails of phrase m
1090: 61 74 63 68 20 69 49 64 78 20 77 69 74 68 69 6e  atch iIdx within
10a0: 20 74 68 65 20 63 75 72 72 65 6e 74 20 72 6f 77   the current row
10b0: 2e 0a 2a 2a 20 20 20 50 68 72 61 73 65 20 6d 61  ..**   Phrase ma
10c0: 74 63 68 65 73 20 61 72 65 20 6e 75 6d 62 65 72  tches are number
10d0: 65 64 20 73 74 61 72 74 69 6e 67 20 66 72 6f 6d  ed starting from
10e0: 20 7a 65 72 6f 2c 20 73 6f 20 74 68 65 20 69 49   zero, so the iI
10f0: 64 78 20 61 72 67 75 6d 65 6e 74 0a 2a 2a 20 20  dx argument.**  
1100: 20 73 68 6f 75 6c 64 20 62 65 20 67 72 65 61 74   should be great
1110: 65 72 20 74 68 61 6e 20 6f 72 20 65 71 75 61 6c  er than or equal
1120: 20 74 6f 20 7a 65 72 6f 20 61 6e 64 20 73 6d 61   to zero and sma
1130: 6c 6c 65 72 20 74 68 61 6e 20 74 68 65 20 76 61  ller than the va
1140: 6c 75 65 0a 2a 2a 20 20 20 6f 75 74 70 75 74 20  lue.**   output 
1150: 62 79 20 78 49 6e 73 74 43 6f 75 6e 74 28 29 2e  by xInstCount().
1160: 0a 2a 2a 0a 2a 2a 20 20 20 55 73 75 61 6c 6c 79  .**.**   Usually
1170: 2c 20 6f 75 74 70 75 74 20 70 61 72 61 6d 65 74  , output paramet
1180: 65 72 20 2a 70 69 50 68 72 61 73 65 20 69 73 20  er *piPhrase is 
1190: 73 65 74 20 74 6f 20 74 68 65 20 70 68 72 61 73  set to the phras
11a0: 65 20 6e 75 6d 62 65 72 2c 20 2a 70 69 43 6f 6c  e number, *piCol
11b0: 0a 2a 2a 20 20 20 74 6f 20 74 68 65 20 63 6f 6c  .**   to the col
11c0: 75 6d 6e 20 69 6e 20 77 68 69 63 68 20 69 74 20  umn in which it 
11d0: 6f 63 63 75 72 73 20 61 6e 64 20 2a 70 69 4f 66  occurs and *piOf
11e0: 66 20 74 68 65 20 74 6f 6b 65 6e 20 6f 66 66 73  f the token offs
11f0: 65 74 20 6f 66 20 74 68 65 0a 2a 2a 20 20 20 66  et of the.**   f
1200: 69 72 73 74 20 74 6f 6b 65 6e 20 6f 66 20 74 68  irst token of th
1210: 65 20 70 68 72 61 73 65 2e 20 54 68 65 20 65 78  e phrase. The ex
1220: 63 65 70 74 69 6f 6e 20 69 73 20 69 66 20 74 68  ception is if th
1230: 65 20 74 61 62 6c 65 20 77 61 73 20 63 72 65 61  e table was crea
1240: 74 65 64 0a 2a 2a 20 20 20 77 69 74 68 20 74 68  ted.**   with th
1250: 65 20 6f 66 66 73 65 74 73 3d 30 20 6f 70 74 69  e offsets=0 opti
1260: 6f 6e 20 73 70 65 63 69 66 69 65 64 2e 20 49 6e  on specified. In
1270: 20 74 68 69 73 20 63 61 73 65 20 2a 70 69 4f 66   this case *piOf
1280: 66 20 69 73 20 61 6c 77 61 79 73 0a 2a 2a 20 20  f is always.**  
1290: 20 73 65 74 20 74 6f 20 2d 31 2e 0a 2a 2a 0a 2a   set to -1..**.*
12a0: 2a 20 20 20 52 65 74 75 72 6e 73 20 53 51 4c 49  *   Returns SQLI
12b0: 54 45 5f 4f 4b 20 69 66 20 73 75 63 63 65 73 73  TE_OK if success
12c0: 66 75 6c 2c 20 6f 72 20 61 6e 20 65 72 72 6f 72  ful, or an error
12d0: 20 63 6f 64 65 20 28 69 2e 65 2e 20 53 51 4c 49   code (i.e. SQLI
12e0: 54 45 5f 4e 4f 4d 45 4d 29 20 0a 2a 2a 20 20 20  TE_NOMEM) .**   
12f0: 69 66 20 61 6e 20 65 72 72 6f 72 20 6f 63 63 75  if an error occu
1300: 72 73 2e 0a 2a 2a 0a 2a 2a 20 20 20 54 68 69 73  rs..**.**   This
1310: 20 41 50 49 20 63 61 6e 20 62 65 20 71 75 69 74   API can be quit
1320: 65 20 73 6c 6f 77 20 69 66 20 75 73 65 64 20 77  e slow if used w
1330: 69 74 68 20 61 6e 20 46 54 53 35 20 74 61 62 6c  ith an FTS5 tabl
1340: 65 20 63 72 65 61 74 65 64 20 77 69 74 68 20 74  e created with t
1350: 68 65 0a 2a 2a 20 20 20 22 64 65 74 61 69 6c 3d  he.**   "detail=
1360: 6e 6f 6e 65 22 20 6f 72 20 22 64 65 74 61 69 6c  none" or "detail
1370: 3d 63 6f 6c 75 6d 6e 22 20 6f 70 74 69 6f 6e 2e  =column" option.
1380: 20 0a 2a 2a 0a 2a 2a 20 78 52 6f 77 69 64 3a 0a   .**.** xRowid:.
1390: 2a 2a 20 20 20 52 65 74 75 72 6e 73 20 74 68 65  **   Returns the
13a0: 20 72 6f 77 69 64 20 6f 66 20 74 68 65 20 63 75   rowid of the cu
13b0: 72 72 65 6e 74 20 72 6f 77 2e 0a 2a 2a 0a 2a 2a  rrent row..**.**
13c0: 20 78 54 6f 6b 65 6e 69 7a 65 3a 0a 2a 2a 20 20   xTokenize:.**  
13d0: 20 54 6f 6b 65 6e 69 7a 65 20 74 65 78 74 20 75   Tokenize text u
13e0: 73 69 6e 67 20 74 68 65 20 74 6f 6b 65 6e 69 7a  sing the tokeniz
13f0: 65 72 20 62 65 6c 6f 6e 67 69 6e 67 20 74 6f 20  er belonging to 
1400: 74 68 65 20 46 54 53 35 20 74 61 62 6c 65 2e 0a  the FTS5 table..
1410: 2a 2a 0a 2a 2a 20 78 51 75 65 72 79 50 68 72 61  **.** xQueryPhra
1420: 73 65 28 70 46 74 73 35 2c 20 69 50 68 72 61 73  se(pFts5, iPhras
1430: 65 2c 20 70 55 73 65 72 44 61 74 61 2c 20 78 43  e, pUserData, xC
1440: 61 6c 6c 62 61 63 6b 29 3a 0a 2a 2a 20 20 20 54  allback):.**   T
1450: 68 69 73 20 41 50 49 20 66 75 6e 63 74 69 6f 6e  his API function
1460: 20 69 73 20 75 73 65 64 20 74 6f 20 71 75 65 72   is used to quer
1470: 79 20 74 68 65 20 46 54 53 20 74 61 62 6c 65 20  y the FTS table 
1480: 66 6f 72 20 70 68 72 61 73 65 20 69 50 68 72 61  for phrase iPhra
1490: 73 65 0a 2a 2a 20 20 20 6f 66 20 74 68 65 20 63  se.**   of the c
14a0: 75 72 72 65 6e 74 20 71 75 65 72 79 2e 20 53 70  urrent query. Sp
14b0: 65 63 69 66 69 63 61 6c 6c 79 2c 20 61 20 71 75  ecifically, a qu
14c0: 65 72 79 20 65 71 75 69 76 61 6c 65 6e 74 20 74  ery equivalent t
14d0: 6f 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 20 2e  o:.**.**       .
14e0: 2e 2e 20 46 52 4f 4d 20 66 74 73 74 61 62 6c 65  .. FROM ftstable
14f0: 20 57 48 45 52 45 20 66 74 73 74 61 62 6c 65 20   WHERE ftstable 
1500: 4d 41 54 43 48 20 24 70 20 4f 52 44 45 52 20 42  MATCH $p ORDER B
1510: 59 20 72 6f 77 69 64 0a 2a 2a 0a 2a 2a 20 20 20  Y rowid.**.**   
1520: 77 69 74 68 20 24 70 20 73 65 74 20 74 6f 20 61  with $p set to a
1530: 20 70 68 72 61 73 65 20 65 71 75 69 76 61 6c 65   phrase equivale
1540: 6e 74 20 74 6f 20 74 68 65 20 70 68 72 61 73 65  nt to the phrase
1550: 20 69 50 68 72 61 73 65 20 6f 66 20 74 68 65 0a   iPhrase of the.
1560: 2a 2a 20 20 20 63 75 72 72 65 6e 74 20 71 75 65  **   current que
1570: 72 79 20 69 73 20 65 78 65 63 75 74 65 64 2e 20  ry is executed. 
1580: 41 6e 79 20 63 6f 6c 75 6d 6e 20 66 69 6c 74 65  Any column filte
1590: 72 20 74 68 61 74 20 61 70 70 6c 69 65 73 20 74  r that applies t
15a0: 6f 0a 2a 2a 20 20 20 70 68 72 61 73 65 20 69 50  o.**   phrase iP
15b0: 68 72 61 73 65 20 6f 66 20 74 68 65 20 63 75 72  hrase of the cur
15c0: 72 65 6e 74 20 71 75 65 72 79 20 69 73 20 69 6e  rent query is in
15d0: 63 6c 75 64 65 64 20 69 6e 20 24 70 2e 20 46 6f  cluded in $p. Fo
15e0: 72 20 65 61 63 68 20 0a 2a 2a 20 20 20 72 6f 77  r each .**   row
15f0: 20 76 69 73 69 74 65 64 2c 20 74 68 65 20 63 61   visited, the ca
1600: 6c 6c 62 61 63 6b 20 66 75 6e 63 74 69 6f 6e 20  llback function 
1610: 70 61 73 73 65 64 20 61 73 20 74 68 65 20 66 6f  passed as the fo
1620: 75 72 74 68 20 61 72 67 75 6d 65 6e 74 20 0a 2a  urth argument .*
1630: 2a 20 20 20 69 73 20 69 6e 76 6f 6b 65 64 2e 20  *   is invoked. 
1640: 54 68 65 20 63 6f 6e 74 65 78 74 20 61 6e 64 20  The context and 
1650: 41 50 49 20 6f 62 6a 65 63 74 73 20 70 61 73 73  API objects pass
1660: 65 64 20 74 6f 20 74 68 65 20 63 61 6c 6c 62 61  ed to the callba
1670: 63 6b 20 0a 2a 2a 20 20 20 66 75 6e 63 74 69 6f  ck .**   functio
1680: 6e 20 6d 61 79 20 62 65 20 75 73 65 64 20 74 6f  n may be used to
1690: 20 61 63 63 65 73 73 20 74 68 65 20 70 72 6f 70   access the prop
16a0: 65 72 74 69 65 73 20 6f 66 20 65 61 63 68 20 6d  erties of each m
16b0: 61 74 63 68 65 64 20 72 6f 77 2e 0a 2a 2a 20 20  atched row..**  
16c0: 20 49 6e 76 6f 6b 69 6e 67 20 41 70 69 2e 78 55   Invoking Api.xU
16d0: 73 65 72 44 61 74 61 28 29 20 72 65 74 75 72 6e  serData() return
16e0: 73 20 61 20 63 6f 70 79 20 6f 66 20 74 68 65 20  s a copy of the 
16f0: 70 6f 69 6e 74 65 72 20 70 61 73 73 65 64 20 61  pointer passed a
1700: 73 20 0a 2a 2a 20 20 20 74 68 65 20 74 68 69 72  s .**   the thir
1710: 64 20 61 72 67 75 6d 65 6e 74 20 74 6f 20 70 55  d argument to pU
1720: 73 65 72 44 61 74 61 2e 0a 2a 2a 0a 2a 2a 20 20  serData..**.**  
1730: 20 49 66 20 74 68 65 20 63 61 6c 6c 62 61 63 6b   If the callback
1740: 20 66 75 6e 63 74 69 6f 6e 20 72 65 74 75 72 6e   function return
1750: 73 20 61 6e 79 20 76 61 6c 75 65 20 6f 74 68 65  s any value othe
1760: 72 20 74 68 61 6e 20 53 51 4c 49 54 45 5f 4f 4b  r than SQLITE_OK
1770: 2c 20 74 68 65 0a 2a 2a 20 20 20 71 75 65 72 79  , the.**   query
1780: 20 69 73 20 61 62 61 6e 64 6f 6e 65 64 20 61 6e   is abandoned an
1790: 64 20 74 68 65 20 78 51 75 65 72 79 50 68 72 61  d the xQueryPhra
17a0: 73 65 20 66 75 6e 63 74 69 6f 6e 20 72 65 74 75  se function retu
17b0: 72 6e 73 20 69 6d 6d 65 64 69 61 74 65 6c 79 2e  rns immediately.
17c0: 0a 2a 2a 20 20 20 49 66 20 74 68 65 20 72 65 74  .**   If the ret
17d0: 75 72 6e 65 64 20 76 61 6c 75 65 20 69 73 20 53  urned value is S
17e0: 51 4c 49 54 45 5f 44 4f 4e 45 2c 20 78 51 75 65  QLITE_DONE, xQue
17f0: 72 79 50 68 72 61 73 65 20 72 65 74 75 72 6e 73  ryPhrase returns
1800: 20 53 51 4c 49 54 45 5f 4f 4b 2e 0a 2a 2a 20 20   SQLITE_OK..**  
1810: 20 4f 74 68 65 72 77 69 73 65 2c 20 74 68 65 20   Otherwise, the 
1820: 65 72 72 6f 72 20 63 6f 64 65 20 69 73 20 70 72  error code is pr
1830: 6f 70 61 67 61 74 65 64 20 75 70 77 61 72 64 73  opagated upwards
1840: 2e 0a 2a 2a 0a 2a 2a 20 20 20 49 66 20 74 68 65  ..**.**   If the
1850: 20 71 75 65 72 79 20 72 75 6e 73 20 74 6f 20 63   query runs to c
1860: 6f 6d 70 6c 65 74 69 6f 6e 20 77 69 74 68 6f 75  ompletion withou
1870: 74 20 69 6e 63 69 64 65 6e 74 2c 20 53 51 4c 49  t incident, SQLI
1880: 54 45 5f 4f 4b 20 69 73 20 72 65 74 75 72 6e 65  TE_OK is returne
1890: 64 2e 0a 2a 2a 20 20 20 4f 72 2c 20 69 66 20 73  d..**   Or, if s
18a0: 6f 6d 65 20 65 72 72 6f 72 20 6f 63 63 75 72 73  ome error occurs
18b0: 20 62 65 66 6f 72 65 20 74 68 65 20 71 75 65 72   before the quer
18c0: 79 20 63 6f 6d 70 6c 65 74 65 73 20 6f 72 20 69  y completes or i
18d0: 73 20 61 62 6f 72 74 65 64 20 62 79 0a 2a 2a 20  s aborted by.** 
18e0: 20 20 74 68 65 20 63 61 6c 6c 62 61 63 6b 2c 20    the callback, 
18f0: 61 6e 20 53 51 4c 69 74 65 20 65 72 72 6f 72 20  an SQLite error 
1900: 63 6f 64 65 20 69 73 20 72 65 74 75 72 6e 65 64  code is returned
1910: 2e 0a 2a 2a 0a 2a 2a 0a 2a 2a 20 78 53 65 74 41  ..**.**.** xSetA
1920: 75 78 64 61 74 61 28 70 46 74 73 35 2c 20 70 41  uxdata(pFts5, pA
1930: 75 78 2c 20 78 44 65 6c 65 74 65 29 0a 2a 2a 0a  ux, xDelete).**.
1940: 2a 2a 20 20 20 53 61 76 65 20 74 68 65 20 70 6f  **   Save the po
1950: 69 6e 74 65 72 20 70 61 73 73 65 64 20 61 73 20  inter passed as 
1960: 74 68 65 20 73 65 63 6f 6e 64 20 61 72 67 75 6d  the second argum
1970: 65 6e 74 20 61 73 20 74 68 65 20 65 78 74 65 6e  ent as the exten
1980: 73 69 6f 6e 20 66 75 6e 63 74 69 6f 6e 73 20 0a  sion functions .
1990: 2a 2a 20 20 20 22 61 75 78 69 6c 69 61 72 79 20  **   "auxiliary 
19a0: 64 61 74 61 22 2e 20 54 68 65 20 70 6f 69 6e 74  data". The point
19b0: 65 72 20 6d 61 79 20 74 68 65 6e 20 62 65 20 72  er may then be r
19c0: 65 74 72 69 65 76 65 64 20 62 79 20 74 68 65 20  etrieved by the 
19d0: 63 75 72 72 65 6e 74 20 6f 72 20 61 6e 79 0a 2a  current or any.*
19e0: 2a 20 20 20 66 75 74 75 72 65 20 69 6e 76 6f 63  *   future invoc
19f0: 61 74 69 6f 6e 20 6f 66 20 74 68 65 20 73 61 6d  ation of the sam
1a00: 65 20 66 74 73 35 20 65 78 74 65 6e 73 69 6f 6e  e fts5 extension
1a10: 20 66 75 6e 63 74 69 6f 6e 20 6d 61 64 65 20 61   function made a
1a20: 73 20 70 61 72 74 20 6f 66 0a 2a 2a 20 20 20 6f  s part of.**   o
1a30: 66 20 74 68 65 20 73 61 6d 65 20 4d 41 54 43 48  f the same MATCH
1a40: 20 71 75 65 72 79 20 75 73 69 6e 67 20 74 68 65   query using the
1a50: 20 78 47 65 74 41 75 78 64 61 74 61 28 29 20 41   xGetAuxdata() A
1a60: 50 49 2e 0a 2a 2a 0a 2a 2a 20 20 20 45 61 63 68  PI..**.**   Each
1a70: 20 65 78 74 65 6e 73 69 6f 6e 20 66 75 6e 63 74   extension funct
1a80: 69 6f 6e 20 69 73 20 61 6c 6c 6f 63 61 74 65 64  ion is allocated
1a90: 20 61 20 73 69 6e 67 6c 65 20 61 75 78 69 6c 69   a single auxili
1aa0: 61 72 79 20 64 61 74 61 20 73 6c 6f 74 20 66 6f  ary data slot fo
1ab0: 72 0a 2a 2a 20 20 20 65 61 63 68 20 46 54 53 20  r.**   each FTS 
1ac0: 71 75 65 72 79 20 28 4d 41 54 43 48 20 65 78 70  query (MATCH exp
1ad0: 72 65 73 73 69 6f 6e 29 2e 20 49 66 20 74 68 65  ression). If the
1ae0: 20 65 78 74 65 6e 73 69 6f 6e 20 66 75 6e 63 74   extension funct
1af0: 69 6f 6e 20 69 73 20 69 6e 76 6f 6b 65 64 20 0a  ion is invoked .
1b00: 2a 2a 20 20 20 6d 6f 72 65 20 74 68 61 6e 20 6f  **   more than o
1b10: 6e 63 65 20 66 6f 72 20 61 20 73 69 6e 67 6c 65  nce for a single
1b20: 20 46 54 53 20 71 75 65 72 79 2c 20 74 68 65 6e   FTS query, then
1b30: 20 61 6c 6c 20 69 6e 76 6f 63 61 74 69 6f 6e 73   all invocations
1b40: 20 73 68 61 72 65 20 61 20 0a 2a 2a 20 20 20 73   share a .**   s
1b50: 69 6e 67 6c 65 20 61 75 78 69 6c 69 61 72 79 20  ingle auxiliary 
1b60: 64 61 74 61 20 63 6f 6e 74 65 78 74 2e 0a 2a 2a  data context..**
1b70: 0a 2a 2a 20 20 20 49 66 20 74 68 65 72 65 20 69  .**   If there i
1b80: 73 20 61 6c 72 65 61 64 79 20 61 6e 20 61 75 78  s already an aux
1b90: 69 6c 69 61 72 79 20 64 61 74 61 20 70 6f 69 6e  iliary data poin
1ba0: 74 65 72 20 77 68 65 6e 20 74 68 69 73 20 66 75  ter when this fu
1bb0: 6e 63 74 69 6f 6e 20 69 73 0a 2a 2a 20 20 20 69  nction is.**   i
1bc0: 6e 76 6f 6b 65 64 2c 20 74 68 65 6e 20 69 74 20  nvoked, then it 
1bd0: 69 73 20 72 65 70 6c 61 63 65 64 20 62 79 20 74  is replaced by t
1be0: 68 65 20 6e 65 77 20 70 6f 69 6e 74 65 72 2e 20  he new pointer. 
1bf0: 49 66 20 61 6e 20 78 44 65 6c 65 74 65 20 63 61  If an xDelete ca
1c00: 6c 6c 62 61 63 6b 0a 2a 2a 20 20 20 77 61 73 20  llback.**   was 
1c10: 73 70 65 63 69 66 69 65 64 20 61 6c 6f 6e 67 20  specified along 
1c20: 77 69 74 68 20 74 68 65 20 6f 72 69 67 69 6e 61  with the origina
1c30: 6c 20 70 6f 69 6e 74 65 72 2c 20 69 74 20 69 73  l pointer, it is
1c40: 20 69 6e 76 6f 6b 65 64 20 61 74 20 74 68 69 73   invoked at this
1c50: 0a 2a 2a 20 20 20 70 6f 69 6e 74 2e 0a 2a 2a 0a  .**   point..**.
1c60: 2a 2a 20 20 20 54 68 65 20 78 44 65 6c 65 74 65  **   The xDelete
1c70: 20 63 61 6c 6c 62 61 63 6b 2c 20 69 66 20 6f 6e   callback, if on
1c80: 65 20 69 73 20 73 70 65 63 69 66 69 65 64 2c 20  e is specified, 
1c90: 69 73 20 61 6c 73 6f 20 69 6e 76 6f 6b 65 64 20  is also invoked 
1ca0: 6f 6e 20 74 68 65 0a 2a 2a 20 20 20 61 75 78 69  on the.**   auxi
1cb0: 6c 69 61 72 79 20 64 61 74 61 20 70 6f 69 6e 74  liary data point
1cc0: 65 72 20 61 66 74 65 72 20 74 68 65 20 46 54 53  er after the FTS
1cd0: 35 20 71 75 65 72 79 20 68 61 73 20 66 69 6e 69  5 query has fini
1ce0: 73 68 65 64 2e 0a 2a 2a 0a 2a 2a 20 20 20 49 66  shed..**.**   If
1cf0: 20 61 6e 20 65 72 72 6f 72 20 28 65 2e 67 2e 20   an error (e.g. 
1d00: 61 6e 20 4f 4f 4d 20 63 6f 6e 64 69 74 69 6f 6e  an OOM condition
1d10: 29 20 6f 63 63 75 72 73 20 77 69 74 68 69 6e 20  ) occurs within 
1d20: 74 68 69 73 20 66 75 6e 63 74 69 6f 6e 2c 20 61  this function, a
1d30: 6e 0a 2a 2a 20 20 20 74 68 65 20 61 75 78 69 6c  n.**   the auxil
1d40: 69 61 72 79 20 64 61 74 61 20 69 73 20 73 65 74  iary data is set
1d50: 20 74 6f 20 4e 55 4c 4c 20 61 6e 64 20 61 6e 20   to NULL and an 
1d60: 65 72 72 6f 72 20 63 6f 64 65 20 72 65 74 75 72  error code retur
1d70: 6e 65 64 2e 20 49 66 20 74 68 65 0a 2a 2a 20 20  ned. If the.**  
1d80: 20 78 44 65 6c 65 74 65 20 70 61 72 61 6d 65 74   xDelete paramet
1d90: 65 72 20 77 61 73 20 6e 6f 74 20 4e 55 4c 4c 2c  er was not NULL,
1da0: 20 69 74 20 69 73 20 69 6e 76 6f 6b 65 64 20 6f   it is invoked o
1db0: 6e 20 74 68 65 20 61 75 78 69 6c 69 61 72 79 20  n the auxiliary 
1dc0: 64 61 74 61 0a 2a 2a 20 20 20 70 6f 69 6e 74 65  data.**   pointe
1dd0: 72 20 62 65 66 6f 72 65 20 72 65 74 75 72 6e 69  r before returni
1de0: 6e 67 2e 0a 2a 2a 0a 2a 2a 0a 2a 2a 20 78 47 65  ng..**.**.** xGe
1df0: 74 41 75 78 64 61 74 61 28 70 46 74 73 35 2c 20  tAuxdata(pFts5, 
1e00: 62 43 6c 65 61 72 29 0a 2a 2a 0a 2a 2a 20 20 20  bClear).**.**   
1e10: 52 65 74 75 72 6e 73 20 74 68 65 20 63 75 72 72  Returns the curr
1e20: 65 6e 74 20 61 75 78 69 6c 69 61 72 79 20 64 61  ent auxiliary da
1e30: 74 61 20 70 6f 69 6e 74 65 72 20 66 6f 72 20 74  ta pointer for t
1e40: 68 65 20 66 74 73 35 20 65 78 74 65 6e 73 69 6f  he fts5 extensio
1e50: 6e 20 0a 2a 2a 20 20 20 66 75 6e 63 74 69 6f 6e  n .**   function
1e60: 2e 20 53 65 65 20 74 68 65 20 78 53 65 74 41 75  . See the xSetAu
1e70: 78 64 61 74 61 28 29 20 6d 65 74 68 6f 64 20 66  xdata() method f
1e80: 6f 72 20 64 65 74 61 69 6c 73 2e 0a 2a 2a 0a 2a  or details..**.*
1e90: 2a 20 20 20 49 66 20 74 68 65 20 62 43 6c 65 61  *   If the bClea
1ea0: 72 20 61 72 67 75 6d 65 6e 74 20 69 73 20 6e 6f  r argument is no
1eb0: 6e 2d 7a 65 72 6f 2c 20 74 68 65 6e 20 74 68 65  n-zero, then the
1ec0: 20 61 75 78 69 6c 69 61 72 79 20 64 61 74 61 20   auxiliary data 
1ed0: 69 73 20 63 6c 65 61 72 65 64 0a 2a 2a 20 20 20  is cleared.**   
1ee0: 28 73 65 74 20 74 6f 20 4e 55 4c 4c 29 20 62 65  (set to NULL) be
1ef0: 66 6f 72 65 20 74 68 69 73 20 66 75 6e 63 74 69  fore this functi
1f00: 6f 6e 20 72 65 74 75 72 6e 73 2e 20 49 6e 20 74  on returns. In t
1f10: 68 69 73 20 63 61 73 65 20 74 68 65 20 78 44 65  his case the xDe
1f20: 6c 65 74 65 2c 0a 2a 2a 20 20 20 69 66 20 61 6e  lete,.**   if an
1f30: 79 2c 20 69 73 20 6e 6f 74 20 69 6e 76 6f 6b 65  y, is not invoke
1f40: 64 2e 0a 2a 2a 0a 2a 2a 0a 2a 2a 20 78 52 6f 77  d..**.**.** xRow
1f50: 43 6f 75 6e 74 28 70 46 74 73 35 2c 20 70 6e 52  Count(pFts5, pnR
1f60: 6f 77 29 0a 2a 2a 0a 2a 2a 20 20 20 54 68 69 73  ow).**.**   This
1f70: 20 66 75 6e 63 74 69 6f 6e 20 69 73 20 75 73 65   function is use
1f80: 64 20 74 6f 20 72 65 74 72 69 65 76 65 20 74 68  d to retrieve th
1f90: 65 20 74 6f 74 61 6c 20 6e 75 6d 62 65 72 20 6f  e total number o
1fa0: 66 20 72 6f 77 73 20 69 6e 20 74 68 65 20 74 61  f rows in the ta
1fb0: 62 6c 65 2e 0a 2a 2a 20 20 20 49 6e 20 6f 74 68  ble..**   In oth
1fc0: 65 72 20 77 6f 72 64 73 2c 20 74 68 65 20 73 61  er words, the sa
1fd0: 6d 65 20 76 61 6c 75 65 20 74 68 61 74 20 77 6f  me value that wo
1fe0: 75 6c 64 20 62 65 20 72 65 74 75 72 6e 65 64 20  uld be returned 
1ff0: 62 79 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 20  by:.**.**       
2000: 20 53 45 4c 45 43 54 20 63 6f 75 6e 74 28 2a 29   SELECT count(*)
2010: 20 46 52 4f 4d 20 66 74 73 74 61 62 6c 65 3b 0a   FROM ftstable;.
2020: 2a 2a 0a 2a 2a 20 78 50 68 72 61 73 65 46 69 72  **.** xPhraseFir
2030: 73 74 28 29 0a 2a 2a 20 20 20 54 68 69 73 20 66  st().**   This f
2040: 75 6e 63 74 69 6f 6e 20 69 73 20 75 73 65 64 2c  unction is used,
2050: 20 61 6c 6f 6e 67 20 77 69 74 68 20 74 79 70 65   along with type
2060: 20 46 74 73 35 50 68 72 61 73 65 49 74 65 72 20   Fts5PhraseIter 
2070: 61 6e 64 20 74 68 65 20 78 50 68 72 61 73 65 4e  and the xPhraseN
2080: 65 78 74 0a 2a 2a 20 20 20 6d 65 74 68 6f 64 2c  ext.**   method,
2090: 20 74 6f 20 69 74 65 72 61 74 65 20 74 68 72 6f   to iterate thro
20a0: 75 67 68 20 61 6c 6c 20 69 6e 73 74 61 6e 63 65  ugh all instance
20b0: 73 20 6f 66 20 61 20 73 69 6e 67 6c 65 20 71 75  s of a single qu
20c0: 65 72 79 20 70 68 72 61 73 65 20 77 69 74 68 69  ery phrase withi
20d0: 6e 0a 2a 2a 20 20 20 74 68 65 20 63 75 72 72 65  n.**   the curre
20e0: 6e 74 20 72 6f 77 2e 20 54 68 69 73 20 69 73 20  nt row. This is 
20f0: 74 68 65 20 73 61 6d 65 20 69 6e 66 6f 72 6d 61  the same informa
2100: 74 69 6f 6e 20 61 73 20 69 73 20 61 63 63 65 73  tion as is acces
2110: 73 69 62 6c 65 20 76 69 61 20 74 68 65 0a 2a 2a  sible via the.**
2120: 20 20 20 78 49 6e 73 74 43 6f 75 6e 74 2f 78 49     xInstCount/xI
2130: 6e 73 74 20 41 50 49 73 2e 20 57 68 69 6c 65 20  nst APIs. While 
2140: 74 68 65 20 78 49 6e 73 74 43 6f 75 6e 74 2f 78  the xInstCount/x
2150: 49 6e 73 74 20 41 50 49 73 20 61 72 65 20 6d 6f  Inst APIs are mo
2160: 72 65 20 63 6f 6e 76 65 6e 69 65 6e 74 0a 2a 2a  re convenient.**
2170: 20 20 20 74 6f 20 75 73 65 2c 20 74 68 69 73 20     to use, this 
2180: 41 50 49 20 6d 61 79 20 62 65 20 66 61 73 74 65  API may be faste
2190: 72 20 75 6e 64 65 72 20 73 6f 6d 65 20 63 69 72  r under some cir
21a0: 63 75 6d 73 74 61 6e 63 65 73 2e 20 54 6f 20 69  cumstances. To i
21b0: 74 65 72 61 74 65 20 0a 2a 2a 20 20 20 74 68 72  terate .**   thr
21c0: 6f 75 67 68 20 69 6e 73 74 61 6e 63 65 73 20 6f  ough instances o
21d0: 66 20 70 68 72 61 73 65 20 69 50 68 72 61 73 65  f phrase iPhrase
21e0: 2c 20 75 73 65 20 74 68 65 20 66 6f 6c 6c 6f 77  , use the follow
21f0: 69 6e 67 20 63 6f 64 65 3a 0a 2a 2a 0a 2a 2a 20  ing code:.**.** 
2200: 20 20 20 20 20 20 46 74 73 35 50 68 72 61 73 65        Fts5Phrase
2210: 49 74 65 72 20 69 74 65 72 3b 0a 2a 2a 20 20 20  Iter iter;.**   
2220: 20 20 20 20 69 6e 74 20 69 43 6f 6c 2c 20 69 4f      int iCol, iO
2230: 66 66 3b 0a 2a 2a 20 20 20 20 20 20 20 66 6f 72  ff;.**       for
2240: 28 70 41 70 69 2d 3e 78 50 68 72 61 73 65 46 69  (pApi->xPhraseFi
2250: 72 73 74 28 70 46 74 73 2c 20 69 50 68 72 61 73  rst(pFts, iPhras
2260: 65 2c 20 26 69 74 65 72 2c 20 26 69 43 6f 6c 2c  e, &iter, &iCol,
2270: 20 26 69 4f 66 66 29 3b 0a 2a 2a 20 20 20 20 20   &iOff);.**     
2280: 20 20 20 20 20 20 69 43 6f 6c 3e 3d 30 3b 0a 2a        iCol>=0;.*
2290: 2a 20 20 20 20 20 20 20 20 20 20 20 70 41 70 69  *           pApi
22a0: 2d 3e 78 50 68 72 61 73 65 4e 65 78 74 28 70 46  ->xPhraseNext(pF
22b0: 74 73 2c 20 26 69 74 65 72 2c 20 26 69 43 6f 6c  ts, &iter, &iCol
22c0: 2c 20 26 69 4f 66 66 29 0a 2a 2a 20 20 20 20 20  , &iOff).**     
22d0: 20 20 29 7b 0a 2a 2a 20 20 20 20 20 20 20 20 20    ){.**         
22e0: 2f 2f 20 41 6e 20 69 6e 73 74 61 6e 63 65 20 6f  // An instance o
22f0: 66 20 70 68 72 61 73 65 20 69 50 68 72 61 73 65  f phrase iPhrase
2300: 20 61 74 20 6f 66 66 73 65 74 20 69 4f 66 66 20   at offset iOff 
2310: 6f 66 20 63 6f 6c 75 6d 6e 20 69 43 6f 6c 0a 2a  of column iCol.*
2320: 2a 20 20 20 20 20 20 20 7d 0a 2a 2a 0a 2a 2a 20  *       }.**.** 
2330: 20 20 54 68 65 20 46 74 73 35 50 68 72 61 73 65    The Fts5Phrase
2340: 49 74 65 72 20 73 74 72 75 63 74 75 72 65 20 69  Iter structure i
2350: 73 20 64 65 66 69 6e 65 64 20 61 62 6f 76 65 2e  s defined above.
2360: 20 41 70 70 6c 69 63 61 74 69 6f 6e 73 20 73 68   Applications sh
2370: 6f 75 6c 64 20 6e 6f 74 0a 2a 2a 20 20 20 6d 6f  ould not.**   mo
2380: 64 69 66 79 20 74 68 69 73 20 73 74 72 75 63 74  dify this struct
2390: 75 72 65 20 64 69 72 65 63 74 6c 79 20 2d 20 69  ure directly - i
23a0: 74 20 73 68 6f 75 6c 64 20 6f 6e 6c 79 20 62 65  t should only be
23b0: 20 75 73 65 64 20 61 73 20 73 68 6f 77 6e 20 61   used as shown a
23c0: 62 6f 76 65 0a 2a 2a 20 20 20 77 69 74 68 20 74  bove.**   with t
23d0: 68 65 20 78 50 68 72 61 73 65 46 69 72 73 74 28  he xPhraseFirst(
23e0: 29 20 61 6e 64 20 78 50 68 72 61 73 65 4e 65 78  ) and xPhraseNex
23f0: 74 28 29 20 41 50 49 20 6d 65 74 68 6f 64 73 20  t() API methods 
2400: 28 61 6e 64 20 62 79 0a 2a 2a 20 20 20 78 50 68  (and by.**   xPh
2410: 72 61 73 65 46 69 72 73 74 43 6f 6c 75 6d 6e 28  raseFirstColumn(
2420: 29 20 61 6e 64 20 78 50 68 72 61 73 65 4e 65 78  ) and xPhraseNex
2430: 74 43 6f 6c 75 6d 6e 28 29 20 61 73 20 69 6c 6c  tColumn() as ill
2440: 75 73 74 72 61 74 65 64 20 62 65 6c 6f 77 29 2e  ustrated below).
2450: 0a 2a 2a 0a 2a 2a 20 20 20 54 68 69 73 20 41 50  .**.**   This AP
2460: 49 20 63 61 6e 20 62 65 20 71 75 69 74 65 20 73  I can be quite s
2470: 6c 6f 77 20 69 66 20 75 73 65 64 20 77 69 74 68  low if used with
2480: 20 61 6e 20 46 54 53 35 20 74 61 62 6c 65 20 63   an FTS5 table c
2490: 72 65 61 74 65 64 20 77 69 74 68 20 74 68 65 0a  reated with the.
24a0: 2a 2a 20 20 20 22 64 65 74 61 69 6c 3d 6e 6f 6e  **   "detail=non
24b0: 65 22 20 6f 72 20 22 64 65 74 61 69 6c 3d 63 6f  e" or "detail=co
24c0: 6c 75 6d 6e 22 20 6f 70 74 69 6f 6e 2e 20 49 66  lumn" option. If
24d0: 20 74 68 65 20 46 54 53 35 20 74 61 62 6c 65 20   the FTS5 table 
24e0: 69 73 20 63 72 65 61 74 65 64 20 0a 2a 2a 20 20  is created .**  
24f0: 20 77 69 74 68 20 65 69 74 68 65 72 20 22 64 65   with either "de
2500: 74 61 69 6c 3d 6e 6f 6e 65 22 20 6f 72 20 22 64  tail=none" or "d
2510: 65 74 61 69 6c 3d 63 6f 6c 75 6d 6e 22 20 61 6e  etail=column" an
2520: 64 20 22 63 6f 6e 74 65 6e 74 3d 22 20 6f 70 74  d "content=" opt
2530: 69 6f 6e 20 0a 2a 2a 20 20 20 28 69 2e 65 2e 20  ion .**   (i.e. 
2540: 69 66 20 69 74 20 69 73 20 61 20 63 6f 6e 74 65  if it is a conte
2550: 6e 74 6c 65 73 73 20 74 61 62 6c 65 29 2c 20 74  ntless table), t
2560: 68 65 6e 20 74 68 69 73 20 41 50 49 20 61 6c 77  hen this API alw
2570: 61 79 73 20 69 74 65 72 61 74 65 73 0a 2a 2a 20  ays iterates.** 
2580: 20 20 74 68 72 6f 75 67 68 20 61 6e 20 65 6d 70    through an emp
2590: 74 79 20 73 65 74 20 28 61 6c 6c 20 63 61 6c 6c  ty set (all call
25a0: 73 20 74 6f 20 78 50 68 72 61 73 65 46 69 72 73  s to xPhraseFirs
25b0: 74 28 29 20 73 65 74 20 69 43 6f 6c 20 74 6f 20  t() set iCol to 
25c0: 2d 31 29 2e 0a 2a 2a 0a 2a 2a 20 78 50 68 72 61  -1)..**.** xPhra
25d0: 73 65 4e 65 78 74 28 29 0a 2a 2a 20 20 20 53 65  seNext().**   Se
25e0: 65 20 78 50 68 72 61 73 65 46 69 72 73 74 20 61  e xPhraseFirst a
25f0: 62 6f 76 65 2e 0a 2a 2a 0a 2a 2a 20 78 50 68 72  bove..**.** xPhr
2600: 61 73 65 46 69 72 73 74 43 6f 6c 75 6d 6e 28 29  aseFirstColumn()
2610: 0a 2a 2a 20 20 20 54 68 69 73 20 66 75 6e 63 74  .**   This funct
2620: 69 6f 6e 20 61 6e 64 20 78 50 68 72 61 73 65 4e  ion and xPhraseN
2630: 65 78 74 43 6f 6c 75 6d 6e 28 29 20 61 72 65 20  extColumn() are 
2640: 73 69 6d 69 6c 61 72 20 74 6f 20 74 68 65 20 78  similar to the x
2650: 50 68 72 61 73 65 46 69 72 73 74 28 29 0a 2a 2a  PhraseFirst().**
2660: 20 20 20 61 6e 64 20 78 50 68 72 61 73 65 4e 65     and xPhraseNe
2670: 78 74 28 29 20 41 50 49 73 20 64 65 73 63 72 69  xt() APIs descri
2680: 62 65 64 20 61 62 6f 76 65 2e 20 54 68 65 20 64  bed above. The d
2690: 69 66 66 65 72 65 6e 63 65 20 69 73 20 74 68 61  ifference is tha
26a0: 74 20 69 6e 73 74 65 61 64 0a 2a 2a 20 20 20 6f  t instead.**   o
26b0: 66 20 69 74 65 72 61 74 69 6e 67 20 74 68 72 6f  f iterating thro
26c0: 75 67 68 20 61 6c 6c 20 69 6e 73 74 61 6e 63 65  ugh all instance
26d0: 73 20 6f 66 20 61 20 70 68 72 61 73 65 20 69 6e  s of a phrase in
26e0: 20 74 68 65 20 63 75 72 72 65 6e 74 20 72 6f 77   the current row
26f0: 2c 20 74 68 65 73 65 0a 2a 2a 20 20 20 41 50 49  , these.**   API
2700: 73 20 61 72 65 20 75 73 65 64 20 74 6f 20 69 74  s are used to it
2710: 65 72 61 74 65 20 74 68 72 6f 75 67 68 20 74 68  erate through th
2720: 65 20 73 65 74 20 6f 66 20 63 6f 6c 75 6d 6e 73  e set of columns
2730: 20 69 6e 20 74 68 65 20 63 75 72 72 65 6e 74 20   in the current 
2740: 72 6f 77 0a 2a 2a 20 20 20 74 68 61 74 20 63 6f  row.**   that co
2750: 6e 74 61 69 6e 20 6f 6e 65 20 6f 72 20 6d 6f 72  ntain one or mor
2760: 65 20 69 6e 73 74 61 6e 63 65 73 20 6f 66 20 61  e instances of a
2770: 20 73 70 65 63 69 66 69 65 64 20 70 68 72 61 73   specified phras
2780: 65 2e 20 46 6f 72 20 65 78 61 6d 70 6c 65 3a 0a  e. For example:.
2790: 2a 2a 0a 2a 2a 20 20 20 20 20 20 20 46 74 73 35  **.**       Fts5
27a0: 50 68 72 61 73 65 49 74 65 72 20 69 74 65 72 3b  PhraseIter iter;
27b0: 0a 2a 2a 20 20 20 20 20 20 20 69 6e 74 20 69 43  .**       int iC
27c0: 6f 6c 3b 0a 2a 2a 20 20 20 20 20 20 20 66 6f 72  ol;.**       for
27d0: 28 70 41 70 69 2d 3e 78 50 68 72 61 73 65 46 69  (pApi->xPhraseFi
27e0: 72 73 74 43 6f 6c 75 6d 6e 28 70 46 74 73 2c 20  rstColumn(pFts, 
27f0: 69 50 68 72 61 73 65 2c 20 26 69 74 65 72 2c 20  iPhrase, &iter, 
2800: 26 69 43 6f 6c 29 3b 0a 2a 2a 20 20 20 20 20 20  &iCol);.**      
2810: 20 20 20 20 20 69 43 6f 6c 3e 3d 30 3b 0a 2a 2a       iCol>=0;.**
2820: 20 20 20 20 20 20 20 20 20 20 20 70 41 70 69 2d             pApi-
2830: 3e 78 50 68 72 61 73 65 4e 65 78 74 43 6f 6c 75  >xPhraseNextColu
2840: 6d 6e 28 70 46 74 73 2c 20 26 69 74 65 72 2c 20  mn(pFts, &iter, 
2850: 26 69 43 6f 6c 29 0a 2a 2a 20 20 20 20 20 20 20  &iCol).**       
2860: 29 7b 0a 2a 2a 20 20 20 20 20 20 20 20 20 2f 2f  ){.**         //
2870: 20 43 6f 6c 75 6d 6e 20 69 43 6f 6c 20 63 6f 6e   Column iCol con
2880: 74 61 69 6e 73 20 61 74 20 6c 65 61 73 74 20 6f  tains at least o
2890: 6e 65 20 69 6e 73 74 61 6e 63 65 20 6f 66 20 70  ne instance of p
28a0: 68 72 61 73 65 20 69 50 68 72 61 73 65 0a 2a 2a  hrase iPhrase.**
28b0: 20 20 20 20 20 20 20 7d 0a 2a 2a 0a 2a 2a 20 20         }.**.**  
28c0: 20 54 68 69 73 20 41 50 49 20 63 61 6e 20 62 65   This API can be
28d0: 20 71 75 69 74 65 20 73 6c 6f 77 20 69 66 20 75   quite slow if u
28e0: 73 65 64 20 77 69 74 68 20 61 6e 20 46 54 53 35  sed with an FTS5
28f0: 20 74 61 62 6c 65 20 63 72 65 61 74 65 64 20 77   table created w
2900: 69 74 68 20 74 68 65 0a 2a 2a 20 20 20 22 64 65  ith the.**   "de
2910: 74 61 69 6c 3d 6e 6f 6e 65 22 20 6f 70 74 69 6f  tail=none" optio
2920: 6e 2e 20 49 66 20 74 68 65 20 46 54 53 35 20 74  n. If the FTS5 t
2930: 61 62 6c 65 20 69 73 20 63 72 65 61 74 65 64 20  able is created 
2940: 77 69 74 68 20 65 69 74 68 65 72 20 0a 2a 2a 20  with either .** 
2950: 20 20 22 64 65 74 61 69 6c 3d 6e 6f 6e 65 22 20    "detail=none" 
2960: 22 63 6f 6e 74 65 6e 74 3d 22 20 6f 70 74 69 6f  "content=" optio
2970: 6e 20 28 69 2e 65 2e 20 69 66 20 69 74 20 69 73  n (i.e. if it is
2980: 20 61 20 63 6f 6e 74 65 6e 74 6c 65 73 73 20 74   a contentless t
2990: 61 62 6c 65 29 2c 20 0a 2a 2a 20 20 20 74 68 65  able), .**   the
29a0: 6e 20 74 68 69 73 20 41 50 49 20 61 6c 77 61 79  n this API alway
29b0: 73 20 69 74 65 72 61 74 65 73 20 74 68 72 6f 75  s iterates throu
29c0: 67 68 20 61 6e 20 65 6d 70 74 79 20 73 65 74 20  gh an empty set 
29d0: 28 61 6c 6c 20 63 61 6c 6c 73 20 74 6f 20 0a 2a  (all calls to .*
29e0: 2a 20 20 20 78 50 68 72 61 73 65 46 69 72 73 74  *   xPhraseFirst
29f0: 43 6f 6c 75 6d 6e 28 29 20 73 65 74 20 69 43 6f  Column() set iCo
2a00: 6c 20 74 6f 20 2d 31 29 2e 0a 2a 2a 0a 2a 2a 20  l to -1)..**.** 
2a10: 20 20 54 68 65 20 69 6e 66 6f 72 6d 61 74 69 6f    The informatio
2a20: 6e 20 61 63 63 65 73 73 65 64 20 75 73 69 6e 67  n accessed using
2a30: 20 74 68 69 73 20 41 50 49 20 61 6e 64 20 69 74   this API and it
2a40: 73 20 63 6f 6d 70 61 6e 69 6f 6e 0a 2a 2a 20 20  s companion.**  
2a50: 20 78 50 68 72 61 73 65 46 69 72 73 74 43 6f 6c   xPhraseFirstCol
2a60: 75 6d 6e 28 29 20 6d 61 79 20 61 6c 73 6f 20 62  umn() may also b
2a70: 65 20 6f 62 74 61 69 6e 65 64 20 75 73 69 6e 67  e obtained using
2a80: 20 78 50 68 72 61 73 65 46 69 72 73 74 2f 78 50   xPhraseFirst/xP
2a90: 68 72 61 73 65 4e 65 78 74 0a 2a 2a 20 20 20 28  hraseNext.**   (
2aa0: 6f 72 20 78 49 6e 73 74 2f 78 49 6e 73 74 43 6f  or xInst/xInstCo
2ab0: 75 6e 74 29 2e 20 54 68 65 20 63 68 69 65 66 20  unt). The chief 
2ac0: 61 64 76 61 6e 74 61 67 65 20 6f 66 20 74 68 69  advantage of thi
2ad0: 73 20 41 50 49 20 69 73 20 74 68 61 74 20 69 74  s API is that it
2ae0: 20 69 73 0a 2a 2a 20 20 20 73 69 67 6e 69 66 69   is.**   signifi
2af0: 63 61 6e 74 6c 79 20 6d 6f 72 65 20 65 66 66 69  cantly more effi
2b00: 63 69 65 6e 74 20 74 68 61 6e 20 74 68 6f 73 65  cient than those
2b10: 20 61 6c 74 65 72 6e 61 74 69 76 65 73 20 77 68   alternatives wh
2b20: 65 6e 20 75 73 65 64 20 77 69 74 68 0a 2a 2a 20  en used with.** 
2b30: 20 20 22 64 65 74 61 69 6c 3d 63 6f 6c 75 6d 6e    "detail=column
2b40: 22 20 74 61 62 6c 65 73 2e 20 20 0a 2a 2a 0a 2a  " tables.  .**.*
2b50: 2a 20 78 50 68 72 61 73 65 4e 65 78 74 43 6f 6c  * xPhraseNextCol
2b60: 75 6d 6e 28 29 0a 2a 2a 20 20 20 53 65 65 20 78  umn().**   See x
2b70: 50 68 72 61 73 65 46 69 72 73 74 43 6f 6c 75 6d  PhraseFirstColum
2b80: 6e 20 61 62 6f 76 65 2e 0a 2a 2f 0a 73 74 72 75  n above..*/.stru
2b90: 63 74 20 46 74 73 35 45 78 74 65 6e 73 69 6f 6e  ct Fts5Extension
2ba0: 41 70 69 20 7b 0a 20 20 69 6e 74 20 69 56 65 72  Api {.  int iVer
2bb0: 73 69 6f 6e 3b 20 20 20 20 20 20 20 20 20 20 20  sion;           
2bc0: 20 20 20 20 20 20 20 20 2f 2a 20 43 75 72 72 65          /* Curre
2bd0: 6e 74 6c 79 20 61 6c 77 61 79 73 20 73 65 74 20  ntly always set 
2be0: 74 6f 20 33 20 2a 2f 0a 0a 20 20 76 6f 69 64 20  to 3 */..  void 
2bf0: 2a 28 2a 78 55 73 65 72 44 61 74 61 29 28 46 74  *(*xUserData)(Ft
2c00: 73 35 43 6f 6e 74 65 78 74 2a 29 3b 0a 0a 20 20  s5Context*);..  
2c10: 69 6e 74 20 28 2a 78 43 6f 6c 75 6d 6e 43 6f 75  int (*xColumnCou
2c20: 6e 74 29 28 46 74 73 35 43 6f 6e 74 65 78 74 2a  nt)(Fts5Context*
2c30: 29 3b 0a 20 20 69 6e 74 20 28 2a 78 52 6f 77 43  );.  int (*xRowC
2c40: 6f 75 6e 74 29 28 46 74 73 35 43 6f 6e 74 65 78  ount)(Fts5Contex
2c50: 74 2a 2c 20 73 71 6c 69 74 65 33 5f 69 6e 74 36  t*, sqlite3_int6
2c60: 34 20 2a 70 6e 52 6f 77 29 3b 0a 20 20 69 6e 74  4 *pnRow);.  int
2c70: 20 28 2a 78 43 6f 6c 75 6d 6e 54 6f 74 61 6c 53   (*xColumnTotalS
2c80: 69 7a 65 29 28 46 74 73 35 43 6f 6e 74 65 78 74  ize)(Fts5Context
2c90: 2a 2c 20 69 6e 74 20 69 43 6f 6c 2c 20 73 71 6c  *, int iCol, sql
2ca0: 69 74 65 33 5f 69 6e 74 36 34 20 2a 70 6e 54 6f  ite3_int64 *pnTo
2cb0: 6b 65 6e 29 3b 0a 0a 20 20 69 6e 74 20 28 2a 78  ken);..  int (*x
2cc0: 54 6f 6b 65 6e 69 7a 65 29 28 46 74 73 35 43 6f  Tokenize)(Fts5Co
2cd0: 6e 74 65 78 74 2a 2c 20 0a 20 20 20 20 63 6f 6e  ntext*, .    con
2ce0: 73 74 20 63 68 61 72 20 2a 70 54 65 78 74 2c 20  st char *pText, 
2cf0: 69 6e 74 20 6e 54 65 78 74 2c 20 2f 2a 20 54 65  int nText, /* Te
2d00: 78 74 20 74 6f 20 74 6f 6b 65 6e 69 7a 65 20 2a  xt to tokenize *
2d10: 2f 0a 20 20 20 20 76 6f 69 64 20 2a 70 43 74 78  /.    void *pCtx
2d20: 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ,               
2d30: 20 20 20 20 2f 2a 20 43 6f 6e 74 65 78 74 20 70      /* Context p
2d40: 61 73 73 65 64 20 74 6f 20 78 54 6f 6b 65 6e 28  assed to xToken(
2d50: 29 20 2a 2f 0a 20 20 20 20 69 6e 74 20 28 2a 78  ) */.    int (*x
2d60: 54 6f 6b 65 6e 29 28 76 6f 69 64 2a 2c 20 69 6e  Token)(void*, in
2d70: 74 2c 20 63 6f 6e 73 74 20 63 68 61 72 2a 2c 20  t, const char*, 
2d80: 69 6e 74 2c 20 69 6e 74 2c 20 69 6e 74 29 20 20  int, int, int)  
2d90: 20 20 20 20 20 2f 2a 20 43 61 6c 6c 62 61 63 6b       /* Callback
2da0: 20 2a 2f 0a 20 20 29 3b 0a 0a 20 20 69 6e 74 20   */.  );..  int 
2db0: 28 2a 78 50 68 72 61 73 65 43 6f 75 6e 74 29 28  (*xPhraseCount)(
2dc0: 46 74 73 35 43 6f 6e 74 65 78 74 2a 29 3b 0a 20  Fts5Context*);. 
2dd0: 20 69 6e 74 20 28 2a 78 50 68 72 61 73 65 53 69   int (*xPhraseSi
2de0: 7a 65 29 28 46 74 73 35 43 6f 6e 74 65 78 74 2a  ze)(Fts5Context*
2df0: 2c 20 69 6e 74 20 69 50 68 72 61 73 65 29 3b 0a  , int iPhrase);.
2e00: 0a 20 20 69 6e 74 20 28 2a 78 49 6e 73 74 43 6f  .  int (*xInstCo
2e10: 75 6e 74 29 28 46 74 73 35 43 6f 6e 74 65 78 74  unt)(Fts5Context
2e20: 2a 2c 20 69 6e 74 20 2a 70 6e 49 6e 73 74 29 3b  *, int *pnInst);
2e30: 0a 20 20 69 6e 74 20 28 2a 78 49 6e 73 74 29 28  .  int (*xInst)(
2e40: 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20 69 6e  Fts5Context*, in
2e50: 74 20 69 49 64 78 2c 20 69 6e 74 20 2a 70 69 50  t iIdx, int *piP
2e60: 68 72 61 73 65 2c 20 69 6e 74 20 2a 70 69 43 6f  hrase, int *piCo
2e70: 6c 2c 20 69 6e 74 20 2a 70 69 4f 66 66 29 3b 0a  l, int *piOff);.
2e80: 0a 20 20 73 71 6c 69 74 65 33 5f 69 6e 74 36 34  .  sqlite3_int64
2e90: 20 28 2a 78 52 6f 77 69 64 29 28 46 74 73 35 43   (*xRowid)(Fts5C
2ea0: 6f 6e 74 65 78 74 2a 29 3b 0a 20 20 69 6e 74 20  ontext*);.  int 
2eb0: 28 2a 78 43 6f 6c 75 6d 6e 54 65 78 74 29 28 46  (*xColumnText)(F
2ec0: 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20 69 6e 74  ts5Context*, int
2ed0: 20 69 43 6f 6c 2c 20 63 6f 6e 73 74 20 63 68 61   iCol, const cha
2ee0: 72 20 2a 2a 70 7a 2c 20 69 6e 74 20 2a 70 6e 29  r **pz, int *pn)
2ef0: 3b 0a 20 20 69 6e 74 20 28 2a 78 43 6f 6c 75 6d  ;.  int (*xColum
2f00: 6e 53 69 7a 65 29 28 46 74 73 35 43 6f 6e 74 65  nSize)(Fts5Conte
2f10: 78 74 2a 2c 20 69 6e 74 20 69 43 6f 6c 2c 20 69  xt*, int iCol, i
2f20: 6e 74 20 2a 70 6e 54 6f 6b 65 6e 29 3b 0a 0a 20  nt *pnToken);.. 
2f30: 20 69 6e 74 20 28 2a 78 51 75 65 72 79 50 68 72   int (*xQueryPhr
2f40: 61 73 65 29 28 46 74 73 35 43 6f 6e 74 65 78 74  ase)(Fts5Context
2f50: 2a 2c 20 69 6e 74 20 69 50 68 72 61 73 65 2c 20  *, int iPhrase, 
2f60: 76 6f 69 64 20 2a 70 55 73 65 72 44 61 74 61 2c  void *pUserData,
2f70: 0a 20 20 20 20 69 6e 74 28 2a 29 28 63 6f 6e 73  .    int(*)(cons
2f80: 74 20 46 74 73 35 45 78 74 65 6e 73 69 6f 6e 41  t Fts5ExtensionA
2f90: 70 69 2a 2c 46 74 73 35 43 6f 6e 74 65 78 74 2a  pi*,Fts5Context*
2fa0: 2c 76 6f 69 64 2a 29 0a 20 20 29 3b 0a 20 20 69  ,void*).  );.  i
2fb0: 6e 74 20 28 2a 78 53 65 74 41 75 78 64 61 74 61  nt (*xSetAuxdata
2fc0: 29 28 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20  )(Fts5Context*, 
2fd0: 76 6f 69 64 20 2a 70 41 75 78 2c 20 76 6f 69 64  void *pAux, void
2fe0: 28 2a 78 44 65 6c 65 74 65 29 28 76 6f 69 64 2a  (*xDelete)(void*
2ff0: 29 29 3b 0a 20 20 76 6f 69 64 20 2a 28 2a 78 47  ));.  void *(*xG
3000: 65 74 41 75 78 64 61 74 61 29 28 46 74 73 35 43  etAuxdata)(Fts5C
3010: 6f 6e 74 65 78 74 2a 2c 20 69 6e 74 20 62 43 6c  ontext*, int bCl
3020: 65 61 72 29 3b 0a 0a 20 20 69 6e 74 20 28 2a 78  ear);..  int (*x
3030: 50 68 72 61 73 65 46 69 72 73 74 29 28 46 74 73  PhraseFirst)(Fts
3040: 35 43 6f 6e 74 65 78 74 2a 2c 20 69 6e 74 20 69  5Context*, int i
3050: 50 68 72 61 73 65 2c 20 46 74 73 35 50 68 72 61  Phrase, Fts5Phra
3060: 73 65 49 74 65 72 2a 2c 20 69 6e 74 2a 2c 20 69  seIter*, int*, i
3070: 6e 74 2a 29 3b 0a 20 20 76 6f 69 64 20 28 2a 78  nt*);.  void (*x
3080: 50 68 72 61 73 65 4e 65 78 74 29 28 46 74 73 35  PhraseNext)(Fts5
3090: 43 6f 6e 74 65 78 74 2a 2c 20 46 74 73 35 50 68  Context*, Fts5Ph
30a0: 72 61 73 65 49 74 65 72 2a 2c 20 69 6e 74 20 2a  raseIter*, int *
30b0: 70 69 43 6f 6c 2c 20 69 6e 74 20 2a 70 69 4f 66  piCol, int *piOf
30c0: 66 29 3b 0a 0a 20 20 69 6e 74 20 28 2a 78 50 68  f);..  int (*xPh
30d0: 72 61 73 65 46 69 72 73 74 43 6f 6c 75 6d 6e 29  raseFirstColumn)
30e0: 28 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20 69  (Fts5Context*, i
30f0: 6e 74 20 69 50 68 72 61 73 65 2c 20 46 74 73 35  nt iPhrase, Fts5
3100: 50 68 72 61 73 65 49 74 65 72 2a 2c 20 69 6e 74  PhraseIter*, int
3110: 2a 29 3b 0a 20 20 76 6f 69 64 20 28 2a 78 50 68  *);.  void (*xPh
3120: 72 61 73 65 4e 65 78 74 43 6f 6c 75 6d 6e 29 28  raseNextColumn)(
3130: 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20 46 74  Fts5Context*, Ft
3140: 73 35 50 68 72 61 73 65 49 74 65 72 2a 2c 20 69  s5PhraseIter*, i
3150: 6e 74 20 2a 70 69 43 6f 6c 29 3b 0a 7d 3b 0a 0a  nt *piCol);.};..
3160: 2f 2a 20 0a 2a 2a 20 43 55 53 54 4f 4d 20 41 55  /* .** CUSTOM AU
3170: 58 49 4c 49 41 52 59 20 46 55 4e 43 54 49 4f 4e  XILIARY FUNCTION
3180: 53 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  S.**************
3190: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
31a0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
31b0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
31c0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f 0a 0a 2f 2a  ***********/../*
31d0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
31e0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
31f0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3200: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3210: 2a 2a 2a 2a 2a 2a 2a 2a 0a 2a 2a 20 43 55 53 54  ********.** CUST
3220: 4f 4d 20 54 4f 4b 45 4e 49 5a 45 52 53 0a 2a 2a  OM TOKENIZERS.**
3230: 0a 2a 2a 20 41 70 70 6c 69 63 61 74 69 6f 6e 73  .** Applications
3240: 20 6d 61 79 20 61 6c 73 6f 20 72 65 67 69 73 74   may also regist
3250: 65 72 20 63 75 73 74 6f 6d 20 74 6f 6b 65 6e 69  er custom tokeni
3260: 7a 65 72 20 74 79 70 65 73 2e 20 41 20 74 6f 6b  zer types. A tok
3270: 65 6e 69 7a 65 72 20 0a 2a 2a 20 69 73 20 72 65  enizer .** is re
3280: 67 69 73 74 65 72 65 64 20 62 79 20 70 72 6f 76  gistered by prov
3290: 69 64 69 6e 67 20 66 74 73 35 20 77 69 74 68 20  iding fts5 with 
32a0: 61 20 70 6f 70 75 6c 61 74 65 64 20 69 6e 73 74  a populated inst
32b0: 61 6e 63 65 20 6f 66 20 74 68 65 20 0a 2a 2a 20  ance of the .** 
32c0: 66 6f 6c 6c 6f 77 69 6e 67 20 73 74 72 75 63 74  following struct
32d0: 75 72 65 2e 20 41 6c 6c 20 73 74 72 75 63 74 75  ure. All structu
32e0: 72 65 20 6d 65 74 68 6f 64 73 20 6d 75 73 74 20  re methods must 
32f0: 62 65 20 64 65 66 69 6e 65 64 2c 20 73 65 74 74  be defined, sett
3300: 69 6e 67 0a 2a 2a 20 61 6e 79 20 6d 65 6d 62 65  ing.** any membe
3310: 72 20 6f 66 20 74 68 65 20 66 74 73 35 5f 74 6f  r of the fts5_to
3320: 6b 65 6e 69 7a 65 72 20 73 74 72 75 63 74 20 74  kenizer struct t
3330: 6f 20 4e 55 4c 4c 20 6c 65 61 64 73 20 74 6f 20  o NULL leads to 
3340: 75 6e 64 65 66 69 6e 65 64 0a 2a 2a 20 62 65 68  undefined.** beh
3350: 61 76 69 6f 75 72 2e 20 54 68 65 20 73 74 72 75  aviour. The stru
3360: 63 74 75 72 65 20 6d 65 74 68 6f 64 73 20 61 72  cture methods ar
3370: 65 20 65 78 70 65 63 74 65 64 20 74 6f 20 66 75  e expected to fu
3380: 6e 63 74 69 6f 6e 20 61 73 20 66 6f 6c 6c 6f 77  nction as follow
3390: 73 3a 0a 2a 2a 0a 2a 2a 20 78 43 72 65 61 74 65  s:.**.** xCreate
33a0: 3a 0a 2a 2a 20 20 20 54 68 69 73 20 66 75 6e 63  :.**   This func
33b0: 74 69 6f 6e 20 69 73 20 75 73 65 64 20 74 6f 20  tion is used to 
33c0: 61 6c 6c 6f 63 61 74 65 20 61 6e 64 20 69 6e 69  allocate and ini
33d0: 74 69 61 6c 69 7a 65 20 61 20 74 6f 6b 65 6e 69  tialize a tokeni
33e0: 7a 65 72 20 69 6e 73 74 61 6e 63 65 2e 0a 2a 2a  zer instance..**
33f0: 20 20 20 41 20 74 6f 6b 65 6e 69 7a 65 72 20 69     A tokenizer i
3400: 6e 73 74 61 6e 63 65 20 69 73 20 72 65 71 75 69  nstance is requi
3410: 72 65 64 20 74 6f 20 61 63 74 75 61 6c 6c 79 20  red to actually 
3420: 74 6f 6b 65 6e 69 7a 65 20 74 65 78 74 2e 0a 2a  tokenize text..*
3430: 2a 0a 2a 2a 20 20 20 54 68 65 20 66 69 72 73 74  *.**   The first
3440: 20 61 72 67 75 6d 65 6e 74 20 70 61 73 73 65 64   argument passed
3450: 20 74 6f 20 74 68 69 73 20 66 75 6e 63 74 69 6f   to this functio
3460: 6e 20 69 73 20 61 20 63 6f 70 79 20 6f 66 20 74  n is a copy of t
3470: 68 65 20 28 76 6f 69 64 2a 29 0a 2a 2a 20 20 20  he (void*).**   
3480: 70 6f 69 6e 74 65 72 20 70 72 6f 76 69 64 65 64  pointer provided
3490: 20 62 79 20 74 68 65 20 61 70 70 6c 69 63 61 74   by the applicat
34a0: 69 6f 6e 20 77 68 65 6e 20 74 68 65 20 66 74 73  ion when the fts
34b0: 35 5f 74 6f 6b 65 6e 69 7a 65 72 20 6f 62 6a 65  5_tokenizer obje
34c0: 63 74 0a 2a 2a 20 20 20 77 61 73 20 72 65 67 69  ct.**   was regi
34d0: 73 74 65 72 65 64 20 77 69 74 68 20 46 54 53 35  stered with FTS5
34e0: 20 28 74 68 65 20 74 68 69 72 64 20 61 72 67 75   (the third argu
34f0: 6d 65 6e 74 20 74 6f 20 78 43 72 65 61 74 65 54  ment to xCreateT
3500: 6f 6b 65 6e 69 7a 65 72 28 29 29 2e 20 0a 2a 2a  okenizer()). .**
3510: 20 20 20 54 68 65 20 73 65 63 6f 6e 64 20 61 6e     The second an
3520: 64 20 74 68 69 72 64 20 61 72 67 75 6d 65 6e 74  d third argument
3530: 73 20 61 72 65 20 61 6e 20 61 72 72 61 79 20 6f  s are an array o
3540: 66 20 6e 75 6c 2d 74 65 72 6d 69 6e 61 74 65 64  f nul-terminated
3550: 20 73 74 72 69 6e 67 73 0a 2a 2a 20 20 20 63 6f   strings.**   co
3560: 6e 74 61 69 6e 69 6e 67 20 74 68 65 20 74 6f 6b  ntaining the tok
3570: 65 6e 69 7a 65 72 20 61 72 67 75 6d 65 6e 74 73  enizer arguments
3580: 2c 20 69 66 20 61 6e 79 2c 20 73 70 65 63 69 66  , if any, specif
3590: 69 65 64 20 66 6f 6c 6c 6f 77 69 6e 67 20 74 68  ied following th
35a0: 65 0a 2a 2a 20 20 20 74 6f 6b 65 6e 69 7a 65 72  e.**   tokenizer
35b0: 20 6e 61 6d 65 20 61 73 20 70 61 72 74 20 6f 66   name as part of
35c0: 20 74 68 65 20 43 52 45 41 54 45 20 56 49 52 54   the CREATE VIRT
35d0: 55 41 4c 20 54 41 42 4c 45 20 73 74 61 74 65 6d  UAL TABLE statem
35e0: 65 6e 74 20 75 73 65 64 0a 2a 2a 20 20 20 74 6f  ent used.**   to
35f0: 20 63 72 65 61 74 65 20 74 68 65 20 46 54 53 35   create the FTS5
3600: 20 74 61 62 6c 65 2e 0a 2a 2a 0a 2a 2a 20 20 20   table..**.**   
3610: 54 68 65 20 66 69 6e 61 6c 20 61 72 67 75 6d 65  The final argume
3620: 6e 74 20 69 73 20 61 6e 20 6f 75 74 70 75 74 20  nt is an output 
3630: 76 61 72 69 61 62 6c 65 2e 20 49 66 20 73 75 63  variable. If suc
3640: 63 65 73 73 66 75 6c 2c 20 28 2a 70 70 4f 75 74  cessful, (*ppOut
3650: 29 20 0a 2a 2a 20 20 20 73 68 6f 75 6c 64 20 62  ) .**   should b
3660: 65 20 73 65 74 20 74 6f 20 70 6f 69 6e 74 20 74  e set to point t
3670: 6f 20 74 68 65 20 6e 65 77 20 74 6f 6b 65 6e 69  o the new tokeni
3680: 7a 65 72 20 68 61 6e 64 6c 65 20 61 6e 64 20 53  zer handle and S
3690: 51 4c 49 54 45 5f 4f 4b 0a 2a 2a 20 20 20 72 65  QLITE_OK.**   re
36a0: 74 75 72 6e 65 64 2e 20 49 66 20 61 6e 20 65 72  turned. If an er
36b0: 72 6f 72 20 6f 63 63 75 72 73 2c 20 73 6f 6d 65  ror occurs, some
36c0: 20 76 61 6c 75 65 20 6f 74 68 65 72 20 74 68 61   value other tha
36d0: 6e 20 53 51 4c 49 54 45 5f 4f 4b 20 73 68 6f 75  n SQLITE_OK shou
36e0: 6c 64 0a 2a 2a 20 20 20 62 65 20 72 65 74 75 72  ld.**   be retur
36f0: 6e 65 64 2e 20 49 6e 20 74 68 69 73 20 63 61 73  ned. In this cas
3700: 65 2c 20 66 74 73 35 20 61 73 73 75 6d 65 73 20  e, fts5 assumes 
3710: 74 68 61 74 20 74 68 65 20 66 69 6e 61 6c 20 76  that the final v
3720: 61 6c 75 65 20 6f 66 20 2a 70 70 4f 75 74 20 0a  alue of *ppOut .
3730: 2a 2a 20 20 20 69 73 20 75 6e 64 65 66 69 6e 65  **   is undefine
3740: 64 2e 0a 2a 2a 0a 2a 2a 20 78 44 65 6c 65 74 65  d..**.** xDelete
3750: 3a 0a 2a 2a 20 20 20 54 68 69 73 20 66 75 6e 63  :.**   This func
3760: 74 69 6f 6e 20 69 73 20 69 6e 76 6f 6b 65 64 20  tion is invoked 
3770: 74 6f 20 64 65 6c 65 74 65 20 61 20 74 6f 6b 65  to delete a toke
3780: 6e 69 7a 65 72 20 68 61 6e 64 6c 65 20 70 72 65  nizer handle pre
3790: 76 69 6f 75 73 6c 79 0a 2a 2a 20 20 20 61 6c 6c  viously.**   all
37a0: 6f 63 61 74 65 64 20 75 73 69 6e 67 20 78 43 72  ocated using xCr
37b0: 65 61 74 65 28 29 2e 20 46 74 73 35 20 67 75 61  eate(). Fts5 gua
37c0: 72 61 6e 74 65 65 73 20 74 68 61 74 20 74 68 69  rantees that thi
37d0: 73 20 66 75 6e 63 74 69 6f 6e 20 77 69 6c 6c 0a  s function will.
37e0: 2a 2a 20 20 20 62 65 20 69 6e 76 6f 6b 65 64 20  **   be invoked 
37f0: 65 78 61 63 74 6c 79 20 6f 6e 63 65 20 66 6f 72  exactly once for
3800: 20 65 61 63 68 20 73 75 63 63 65 73 73 66 75 6c   each successful
3810: 20 63 61 6c 6c 20 74 6f 20 78 43 72 65 61 74 65   call to xCreate
3820: 28 29 2e 0a 2a 2a 0a 2a 2a 20 78 54 6f 6b 65 6e  ()..**.** xToken
3830: 69 7a 65 3a 0a 2a 2a 20 20 20 54 68 69 73 20 66  ize:.**   This f
3840: 75 6e 63 74 69 6f 6e 20 69 73 20 65 78 70 65 63  unction is expec
3850: 74 65 64 20 74 6f 20 74 6f 6b 65 6e 69 7a 65 20  ted to tokenize 
3860: 74 68 65 20 6e 54 65 78 74 20 62 79 74 65 20 73  the nText byte s
3870: 74 72 69 6e 67 20 69 6e 64 69 63 61 74 65 64 20  tring indicated 
3880: 0a 2a 2a 20 20 20 62 79 20 61 72 67 75 6d 65 6e  .**   by argumen
3890: 74 20 70 54 65 78 74 2e 20 70 54 65 78 74 20 6d  t pText. pText m
38a0: 61 79 20 6f 72 20 6d 61 79 20 6e 6f 74 20 62 65  ay or may not be
38b0: 20 6e 75 6c 2d 74 65 72 6d 69 6e 61 74 65 64 2e   nul-terminated.
38c0: 20 54 68 65 20 66 69 72 73 74 0a 2a 2a 20 20 20   The first.**   
38d0: 61 72 67 75 6d 65 6e 74 20 70 61 73 73 65 64 20  argument passed 
38e0: 74 6f 20 74 68 69 73 20 66 75 6e 63 74 69 6f 6e  to this function
38f0: 20 69 73 20 61 20 70 6f 69 6e 74 65 72 20 74 6f   is a pointer to
3900: 20 61 6e 20 46 74 73 35 54 6f 6b 65 6e 69 7a 65   an Fts5Tokenize
3910: 72 20 6f 62 6a 65 63 74 0a 2a 2a 20 20 20 72 65  r object.**   re
3920: 74 75 72 6e 65 64 20 62 79 20 61 6e 20 65 61 72  turned by an ear
3930: 6c 69 65 72 20 63 61 6c 6c 20 74 6f 20 78 43 72  lier call to xCr
3940: 65 61 74 65 28 29 2e 0a 2a 2a 0a 2a 2a 20 20 20  eate()..**.**   
3950: 54 68 65 20 73 65 63 6f 6e 64 20 61 72 67 75 6d  The second argum
3960: 65 6e 74 20 69 6e 64 69 63 61 74 65 73 20 74 68  ent indicates th
3970: 65 20 72 65 61 73 6f 6e 20 74 68 61 74 20 46 54  e reason that FT
3980: 53 35 20 69 73 20 72 65 71 75 65 73 74 69 6e 67  S5 is requesting
3990: 0a 2a 2a 20 20 20 74 6f 6b 65 6e 69 7a 61 74 69  .**   tokenizati
39a0: 6f 6e 20 6f 66 20 74 68 65 20 73 75 70 70 6c 69  on of the suppli
39b0: 65 64 20 74 65 78 74 2e 20 54 68 69 73 20 69 73  ed text. This is
39c0: 20 61 6c 77 61 79 73 20 6f 6e 65 20 6f 66 20 74   always one of t
39d0: 68 65 20 66 6f 6c 6c 6f 77 69 6e 67 0a 2a 2a 20  he following.** 
39e0: 20 20 66 6f 75 72 20 76 61 6c 75 65 73 3a 0a 2a    four values:.*
39f0: 2a 0a 2a 2a 20 20 20 3c 75 6c 3e 3c 6c 69 3e 20  *.**   <ul><li> 
3a00: 3c 62 3e 46 54 53 35 5f 54 4f 4b 45 4e 49 5a 45  <b>FTS5_TOKENIZE
3a10: 5f 44 4f 43 55 4d 45 4e 54 3c 2f 62 3e 20 2d 20  _DOCUMENT</b> - 
3a20: 41 20 64 6f 63 75 6d 65 6e 74 20 69 73 20 62 65  A document is be
3a30: 69 6e 67 20 69 6e 73 65 72 74 65 64 20 69 6e 74  ing inserted int
3a40: 6f 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20  o.**            
3a50: 6f 72 20 72 65 6d 6f 76 65 64 20 66 72 6f 6d 20  or removed from 
3a60: 74 68 65 20 46 54 53 20 74 61 62 6c 65 2e 20 54  the FTS table. T
3a70: 68 65 20 74 6f 6b 65 6e 69 7a 65 72 20 69 73 20  he tokenizer is 
3a80: 62 65 69 6e 67 20 69 6e 76 6f 6b 65 64 20 74 6f  being invoked to
3a90: 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 64  .**            d
3aa0: 65 74 65 72 6d 69 6e 65 20 74 68 65 20 73 65 74  etermine the set
3ab0: 20 6f 66 20 74 6f 6b 65 6e 73 20 74 6f 20 61 64   of tokens to ad
3ac0: 64 20 74 6f 20 28 6f 72 20 64 65 6c 65 74 65 20  d to (or delete 
3ad0: 66 72 6f 6d 29 20 74 68 65 0a 2a 2a 20 20 20 20  from) the.**    
3ae0: 20 20 20 20 20 20 20 20 46 54 53 20 69 6e 64 65          FTS inde
3af0: 78 2e 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 20 3c  x..**.**       <
3b00: 6c 69 3e 20 3c 62 3e 46 54 53 35 5f 54 4f 4b 45  li> <b>FTS5_TOKE
3b10: 4e 49 5a 45 5f 51 55 45 52 59 3c 2f 62 3e 20 2d  NIZE_QUERY</b> -
3b20: 20 41 20 4d 41 54 43 48 20 71 75 65 72 79 20 69   A MATCH query i
3b30: 73 20 62 65 69 6e 67 20 65 78 65 63 75 74 65 64  s being executed
3b40: 20 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20   .**            
3b50: 61 67 61 69 6e 73 74 20 74 68 65 20 46 54 53 20  against the FTS 
3b60: 69 6e 64 65 78 2e 20 54 68 65 20 74 6f 6b 65 6e  index. The token
3b70: 69 7a 65 72 20 69 73 20 62 65 69 6e 67 20 63 61  izer is being ca
3b80: 6c 6c 65 64 20 74 6f 20 74 6f 6b 65 6e 69 7a 65  lled to tokenize
3b90: 20 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20   .**            
3ba0: 61 20 62 61 72 65 77 6f 72 64 20 6f 72 20 71 75  a bareword or qu
3bb0: 6f 74 65 64 20 73 74 72 69 6e 67 20 73 70 65 63  oted string spec
3bc0: 69 66 69 65 64 20 61 73 20 70 61 72 74 20 6f 66  ified as part of
3bd0: 20 74 68 65 20 71 75 65 72 79 2e 0a 2a 2a 0a 2a   the query..**.*
3be0: 2a 20 20 20 20 20 20 20 3c 6c 69 3e 20 3c 62 3e  *       <li> <b>
3bf0: 28 46 54 53 35 5f 54 4f 4b 45 4e 49 5a 45 5f 51  (FTS5_TOKENIZE_Q
3c00: 55 45 52 59 20 7c 20 46 54 53 35 5f 54 4f 4b 45  UERY | FTS5_TOKE
3c10: 4e 49 5a 45 5f 50 52 45 46 49 58 29 3c 2f 62 3e  NIZE_PREFIX)</b>
3c20: 20 2d 20 53 61 6d 65 20 61 73 0a 2a 2a 20 20 20   - Same as.**   
3c30: 20 20 20 20 20 20 20 20 20 46 54 53 35 5f 54 4f           FTS5_TO
3c40: 4b 45 4e 49 5a 45 5f 51 55 45 52 59 2c 20 65 78  KENIZE_QUERY, ex
3c50: 63 65 70 74 20 74 68 61 74 20 74 68 65 20 62 61  cept that the ba
3c60: 72 65 77 6f 72 64 20 6f 72 20 71 75 6f 74 65 64  reword or quoted
3c70: 20 73 74 72 69 6e 67 20 69 73 0a 2a 2a 20 20 20   string is.**   
3c80: 20 20 20 20 20 20 20 20 20 66 6f 6c 6c 6f 77 65           followe
3c90: 64 20 62 79 20 61 20 22 2a 22 20 63 68 61 72 61  d by a "*" chara
3ca0: 63 74 65 72 2c 20 69 6e 64 69 63 61 74 69 6e 67  cter, indicating
3cb0: 20 74 68 61 74 20 74 68 65 20 6c 61 73 74 20 74   that the last t
3cc0: 6f 6b 65 6e 0a 2a 2a 20 20 20 20 20 20 20 20 20  oken.**         
3cd0: 20 20 20 72 65 74 75 72 6e 65 64 20 62 79 20 74     returned by t
3ce0: 68 65 20 74 6f 6b 65 6e 69 7a 65 72 20 77 69 6c  he tokenizer wil
3cf0: 6c 20 62 65 20 74 72 65 61 74 65 64 20 61 73 20  l be treated as 
3d00: 61 20 74 6f 6b 65 6e 20 70 72 65 66 69 78 2e 0a  a token prefix..
3d10: 2a 2a 0a 2a 2a 20 20 20 20 20 20 20 3c 6c 69 3e  **.**       <li>
3d20: 20 3c 62 3e 46 54 53 35 5f 54 4f 4b 45 4e 49 5a   <b>FTS5_TOKENIZ
3d30: 45 5f 41 55 58 3c 2f 62 3e 20 2d 20 54 68 65 20  E_AUX</b> - The 
3d40: 74 6f 6b 65 6e 69 7a 65 72 20 69 73 20 62 65 69  tokenizer is bei
3d50: 6e 67 20 69 6e 76 6f 6b 65 64 20 74 6f 20 0a 2a  ng invoked to .*
3d60: 2a 20 20 20 20 20 20 20 20 20 20 20 20 73 61 74  *            sat
3d70: 69 73 66 79 20 61 6e 20 66 74 73 35 5f 61 70 69  isfy an fts5_api
3d80: 2e 78 54 6f 6b 65 6e 69 7a 65 28 29 20 72 65 71  .xTokenize() req
3d90: 75 65 73 74 20 6d 61 64 65 20 62 79 20 61 6e 20  uest made by an 
3da0: 61 75 78 69 6c 69 61 72 79 0a 2a 2a 20 20 20 20  auxiliary.**    
3db0: 20 20 20 20 20 20 20 20 66 75 6e 63 74 69 6f 6e          function
3dc0: 2e 20 4f 72 20 61 6e 20 66 74 73 35 5f 61 70 69  . Or an fts5_api
3dd0: 2e 78 43 6f 6c 75 6d 6e 53 69 7a 65 28 29 20 72  .xColumnSize() r
3de0: 65 71 75 65 73 74 20 6d 61 64 65 20 62 79 20 74  equest made by t
3df0: 68 65 20 73 61 6d 65 0a 2a 2a 20 20 20 20 20 20  he same.**      
3e00: 20 20 20 20 20 20 6f 6e 20 61 20 63 6f 6c 75 6d        on a colum
3e10: 6e 73 69 7a 65 3d 30 20 64 61 74 61 62 61 73 65  nsize=0 database
3e20: 2e 20 20 0a 2a 2a 20 20 20 3c 2f 75 6c 3e 0a 2a  .  .**   </ul>.*
3e30: 2a 0a 2a 2a 20 20 20 46 6f 72 20 65 61 63 68 20  *.**   For each 
3e40: 74 6f 6b 65 6e 20 69 6e 20 74 68 65 20 69 6e 70  token in the inp
3e50: 75 74 20 73 74 72 69 6e 67 2c 20 74 68 65 20 73  ut string, the s
3e60: 75 70 70 6c 69 65 64 20 63 61 6c 6c 62 61 63 6b  upplied callback
3e70: 20 78 54 6f 6b 65 6e 28 29 20 6d 75 73 74 0a 2a   xToken() must.*
3e80: 2a 20 20 20 62 65 20 69 6e 76 6f 6b 65 64 2e 20  *   be invoked. 
3e90: 54 68 65 20 66 69 72 73 74 20 61 72 67 75 6d 65  The first argume
3ea0: 6e 74 20 74 6f 20 69 74 20 73 68 6f 75 6c 64 20  nt to it should 
3eb0: 62 65 20 61 20 63 6f 70 79 20 6f 66 20 74 68 65  be a copy of the
3ec0: 20 70 6f 69 6e 74 65 72 0a 2a 2a 20 20 20 70 61   pointer.**   pa
3ed0: 73 73 65 64 20 61 73 20 74 68 65 20 73 65 63 6f  ssed as the seco
3ee0: 6e 64 20 61 72 67 75 6d 65 6e 74 20 74 6f 20 78  nd argument to x
3ef0: 54 6f 6b 65 6e 69 7a 65 28 29 2e 20 54 68 65 20  Tokenize(). The 
3f00: 74 68 69 72 64 20 61 6e 64 20 66 6f 75 72 74 68  third and fourth
3f10: 0a 2a 2a 20 20 20 61 72 67 75 6d 65 6e 74 73 20  .**   arguments 
3f20: 61 72 65 20 61 20 70 6f 69 6e 74 65 72 20 74 6f  are a pointer to
3f30: 20 61 20 62 75 66 66 65 72 20 63 6f 6e 74 61 69   a buffer contai
3f40: 6e 69 6e 67 20 74 68 65 20 74 6f 6b 65 6e 20 74  ning the token t
3f50: 65 78 74 2c 20 61 6e 64 20 74 68 65 0a 2a 2a 20  ext, and the.** 
3f60: 20 20 73 69 7a 65 20 6f 66 20 74 68 65 20 74 6f    size of the to
3f70: 6b 65 6e 20 69 6e 20 62 79 74 65 73 2e 20 54 68  ken in bytes. Th
3f80: 65 20 34 74 68 20 61 6e 64 20 35 74 68 20 61 72  e 4th and 5th ar
3f90: 67 75 6d 65 6e 74 73 20 61 72 65 20 74 68 65 20  guments are the 
3fa0: 62 79 74 65 20 6f 66 66 73 65 74 73 0a 2a 2a 20  byte offsets.** 
3fb0: 20 20 6f 66 20 74 68 65 20 66 69 72 73 74 20 62    of the first b
3fc0: 79 74 65 20 6f 66 20 61 6e 64 20 66 69 72 73 74  yte of and first
3fd0: 20 62 79 74 65 20 69 6d 6d 65 64 69 61 74 65 6c   byte immediatel
3fe0: 79 20 66 6f 6c 6c 6f 77 69 6e 67 20 74 68 65 20  y following the 
3ff0: 74 65 78 74 20 66 72 6f 6d 0a 2a 2a 20 20 20 77  text from.**   w
4000: 68 69 63 68 20 74 68 65 20 74 6f 6b 65 6e 20 69  hich the token i
4010: 73 20 64 65 72 69 76 65 64 20 77 69 74 68 69 6e  s derived within
4020: 20 74 68 65 20 69 6e 70 75 74 2e 0a 2a 2a 0a 2a   the input..**.*
4030: 2a 20 20 20 54 68 65 20 73 65 63 6f 6e 64 20 61  *   The second a
4040: 72 67 75 6d 65 6e 74 20 70 61 73 73 65 64 20 74  rgument passed t
4050: 6f 20 74 68 65 20 78 54 6f 6b 65 6e 28 29 20 63  o the xToken() c
4060: 61 6c 6c 62 61 63 6b 20 28 22 74 66 6c 61 67 73  allback ("tflags
4070: 22 29 20 73 68 6f 75 6c 64 0a 2a 2a 20 20 20 6e  ") should.**   n
4080: 6f 72 6d 61 6c 6c 79 20 62 65 20 73 65 74 20 74  ormally be set t
4090: 6f 20 30 2e 20 54 68 65 20 65 78 63 65 70 74 69  o 0. The excepti
40a0: 6f 6e 20 69 73 20 69 66 20 74 68 65 20 74 6f 6b  on is if the tok
40b0: 65 6e 69 7a 65 72 20 73 75 70 70 6f 72 74 73 20  enizer supports 
40c0: 0a 2a 2a 20 20 20 73 79 6e 6f 6e 79 6d 73 2e 20  .**   synonyms. 
40d0: 49 6e 20 74 68 69 73 20 63 61 73 65 20 73 65 65  In this case see
40e0: 20 74 68 65 20 64 69 73 63 75 73 73 69 6f 6e 20   the discussion 
40f0: 62 65 6c 6f 77 20 66 6f 72 20 64 65 74 61 69 6c  below for detail
4100: 73 2e 0a 2a 2a 0a 2a 2a 20 20 20 46 54 53 35 20  s..**.**   FTS5 
4110: 61 73 73 75 6d 65 73 20 74 68 65 20 78 54 6f 6b  assumes the xTok
4120: 65 6e 28 29 20 63 61 6c 6c 62 61 63 6b 20 69 73  en() callback is
4130: 20 69 6e 76 6f 6b 65 64 20 66 6f 72 20 65 61 63   invoked for eac
4140: 68 20 74 6f 6b 65 6e 20 69 6e 20 74 68 65 20 0a  h token in the .
4150: 2a 2a 20 20 20 6f 72 64 65 72 20 74 68 61 74 20  **   order that 
4160: 74 68 65 79 20 6f 63 63 75 72 20 77 69 74 68 69  they occur withi
4170: 6e 20 74 68 65 20 69 6e 70 75 74 20 74 65 78 74  n the input text
4180: 2e 0a 2a 2a 0a 2a 2a 20 20 20 49 66 20 61 6e 20  ..**.**   If an 
4190: 78 54 6f 6b 65 6e 28 29 20 63 61 6c 6c 62 61 63  xToken() callbac
41a0: 6b 20 72 65 74 75 72 6e 73 20 61 6e 79 20 76 61  k returns any va
41b0: 6c 75 65 20 6f 74 68 65 72 20 74 68 61 6e 20 53  lue other than S
41c0: 51 4c 49 54 45 5f 4f 4b 2c 20 74 68 65 6e 0a 2a  QLITE_OK, then.*
41d0: 2a 20 20 20 74 68 65 20 74 6f 6b 65 6e 69 7a 61  *   the tokeniza
41e0: 74 69 6f 6e 20 73 68 6f 75 6c 64 20 62 65 20 61  tion should be a
41f0: 62 61 6e 64 6f 6e 65 64 20 61 6e 64 20 74 68 65  bandoned and the
4200: 20 78 54 6f 6b 65 6e 69 7a 65 28 29 20 6d 65 74   xTokenize() met
4210: 68 6f 64 20 73 68 6f 75 6c 64 0a 2a 2a 20 20 20  hod should.**   
4220: 69 6d 6d 65 64 69 61 74 65 6c 79 20 72 65 74 75  immediately retu
4230: 72 6e 20 61 20 63 6f 70 79 20 6f 66 20 74 68 65  rn a copy of the
4240: 20 78 54 6f 6b 65 6e 28 29 20 72 65 74 75 72 6e   xToken() return
4250: 20 76 61 6c 75 65 2e 20 4f 72 2c 20 69 66 20 74   value. Or, if t
4260: 68 65 0a 2a 2a 20 20 20 69 6e 70 75 74 20 62 75  he.**   input bu
4270: 66 66 65 72 20 69 73 20 65 78 68 61 75 73 74 65  ffer is exhauste
4280: 64 2c 20 78 54 6f 6b 65 6e 69 7a 65 28 29 20 73  d, xTokenize() s
4290: 68 6f 75 6c 64 20 72 65 74 75 72 6e 20 53 51 4c  hould return SQL
42a0: 49 54 45 5f 4f 4b 2e 20 46 69 6e 61 6c 6c 79 2c  ITE_OK. Finally,
42b0: 0a 2a 2a 20 20 20 69 66 20 61 6e 20 65 72 72 6f  .**   if an erro
42c0: 72 20 6f 63 63 75 72 73 20 77 69 74 68 20 74 68  r occurs with th
42d0: 65 20 78 54 6f 6b 65 6e 69 7a 65 28 29 20 69 6d  e xTokenize() im
42e0: 70 6c 65 6d 65 6e 74 61 74 69 6f 6e 20 69 74 73  plementation its
42f0: 65 6c 66 2c 20 69 74 0a 2a 2a 20 20 20 6d 61 79  elf, it.**   may
4300: 20 61 62 61 6e 64 6f 6e 20 74 68 65 20 74 6f 6b   abandon the tok
4310: 65 6e 69 7a 61 74 69 6f 6e 20 61 6e 64 20 72 65  enization and re
4320: 74 75 72 6e 20 61 6e 79 20 65 72 72 6f 72 20 63  turn any error c
4330: 6f 64 65 20 6f 74 68 65 72 20 74 68 61 6e 0a 2a  ode other than.*
4340: 2a 20 20 20 53 51 4c 49 54 45 5f 4f 4b 20 6f 72  *   SQLITE_OK or
4350: 20 53 51 4c 49 54 45 5f 44 4f 4e 45 2e 0a 2a 2a   SQLITE_DONE..**
4360: 0a 2a 2a 20 53 59 4e 4f 4e 59 4d 20 53 55 50 50  .** SYNONYM SUPP
4370: 4f 52 54 0a 2a 2a 0a 2a 2a 20 20 20 43 75 73 74  ORT.**.**   Cust
4380: 6f 6d 20 74 6f 6b 65 6e 69 7a 65 72 73 20 6d 61  om tokenizers ma
4390: 79 20 61 6c 73 6f 20 73 75 70 70 6f 72 74 20 73  y also support s
43a0: 79 6e 6f 6e 79 6d 73 2e 20 43 6f 6e 73 69 64 65  ynonyms. Conside
43b0: 72 20 61 20 63 61 73 65 20 69 6e 20 77 68 69 63  r a case in whic
43c0: 68 20 61 0a 2a 2a 20 20 20 75 73 65 72 20 77 69  h a.**   user wi
43d0: 73 68 65 73 20 74 6f 20 71 75 65 72 79 20 66 6f  shes to query fo
43e0: 72 20 61 20 70 68 72 61 73 65 20 73 75 63 68 20  r a phrase such 
43f0: 61 73 20 22 66 69 72 73 74 20 70 6c 61 63 65 22  as "first place"
4400: 2e 20 55 73 69 6e 67 20 74 68 65 20 0a 2a 2a 20  . Using the .** 
4410: 20 20 62 75 69 6c 74 2d 69 6e 20 74 6f 6b 65 6e    built-in token
4420: 69 7a 65 72 73 2c 20 74 68 65 20 46 54 53 35 20  izers, the FTS5 
4430: 71 75 65 72 79 20 27 66 69 72 73 74 20 2b 20 70  query 'first + p
4440: 6c 61 63 65 27 20 77 69 6c 6c 20 6d 61 74 63 68  lace' will match
4450: 20 69 6e 73 74 61 6e 63 65 73 0a 2a 2a 20 20 20   instances.**   
4460: 6f 66 20 22 66 69 72 73 74 20 70 6c 61 63 65 22  of "first place"
4470: 20 77 69 74 68 69 6e 20 74 68 65 20 64 6f 63 75   within the docu
4480: 6d 65 6e 74 20 73 65 74 2c 20 62 75 74 20 6e 6f  ment set, but no
4490: 74 20 61 6c 74 65 72 6e 61 74 69 76 65 20 66 6f  t alternative fo
44a0: 72 6d 73 0a 2a 2a 20 20 20 73 75 63 68 20 61 73  rms.**   such as
44b0: 20 22 31 73 74 20 70 6c 61 63 65 22 2e 20 49 6e   "1st place". In
44c0: 20 73 6f 6d 65 20 61 70 70 6c 69 63 61 74 69 6f   some applicatio
44d0: 6e 73 2c 20 69 74 20 77 6f 75 6c 64 20 62 65 20  ns, it would be 
44e0: 62 65 74 74 65 72 20 74 6f 20 6d 61 74 63 68 0a  better to match.
44f0: 2a 2a 20 20 20 61 6c 6c 20 69 6e 73 74 61 6e 63  **   all instanc
4500: 65 73 20 6f 66 20 22 66 69 72 73 74 20 70 6c 61  es of "first pla
4510: 63 65 22 20 6f 72 20 22 31 73 74 20 70 6c 61 63  ce" or "1st plac
4520: 65 22 20 72 65 67 61 72 64 6c 65 73 73 20 6f 66  e" regardless of
4530: 20 77 68 69 63 68 20 66 6f 72 6d 0a 2a 2a 20 20   which form.**  
4540: 20 74 68 65 20 75 73 65 72 20 73 70 65 63 69 66   the user specif
4550: 69 65 64 20 69 6e 20 74 68 65 20 4d 41 54 43 48  ied in the MATCH
4560: 20 71 75 65 72 79 20 74 65 78 74 2e 0a 2a 2a 0a   query text..**.
4570: 2a 2a 20 20 20 54 68 65 72 65 20 61 72 65 20 73  **   There are s
4580: 65 76 65 72 61 6c 20 77 61 79 73 20 74 6f 20 61  everal ways to a
4590: 70 70 72 6f 61 63 68 20 74 68 69 73 20 69 6e 20  pproach this in 
45a0: 46 54 53 35 3a 0a 2a 2a 0a 2a 2a 20 20 20 3c 6f  FTS5:.**.**   <o
45b0: 6c 3e 3c 6c 69 3e 20 42 79 20 6d 61 70 70 69 6e  l><li> By mappin
45c0: 67 20 61 6c 6c 20 73 79 6e 6f 6e 79 6d 73 20 74  g all synonyms t
45d0: 6f 20 61 20 73 69 6e 67 6c 65 20 74 6f 6b 65 6e  o a single token
45e0: 2e 20 49 6e 20 74 68 69 73 20 63 61 73 65 2c 20  . In this case, 
45f0: 74 68 65 20 0a 2a 2a 20 20 20 20 20 20 20 20 20  the .**         
4600: 20 20 20 49 6e 20 74 68 65 20 61 62 6f 76 65 20     In the above 
4610: 65 78 61 6d 70 6c 65 2c 20 74 68 69 73 20 6d 65  example, this me
4620: 61 6e 73 20 74 68 61 74 20 74 68 65 20 74 6f 6b  ans that the tok
4630: 65 6e 69 7a 65 72 20 72 65 74 75 72 6e 73 20 74  enizer returns t
4640: 68 65 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20  he.**           
4650: 20 73 61 6d 65 20 74 6f 6b 65 6e 20 66 6f 72 20   same token for 
4660: 69 6e 70 75 74 73 20 22 66 69 72 73 74 22 20 61  inputs "first" a
4670: 6e 64 20 22 31 73 74 22 2e 20 53 61 79 20 74 68  nd "1st". Say th
4680: 61 74 20 74 6f 6b 65 6e 20 69 73 20 69 6e 0a 2a  at token is in.*
4690: 2a 20 20 20 20 20 20 20 20 20 20 20 20 66 61 63  *            fac
46a0: 74 20 22 66 69 72 73 74 22 2c 20 73 6f 20 74 68  t "first", so th
46b0: 61 74 20 77 68 65 6e 20 74 68 65 20 75 73 65 72  at when the user
46c0: 20 69 6e 73 65 72 74 73 20 74 68 65 20 64 6f 63   inserts the doc
46d0: 75 6d 65 6e 74 20 22 49 20 77 6f 6e 0a 2a 2a 20  ument "I won.** 
46e0: 20 20 20 20 20 20 20 20 20 20 20 31 73 74 20 70             1st p
46f0: 6c 61 63 65 22 20 65 6e 74 72 69 65 73 20 61 72  lace" entries ar
4700: 65 20 61 64 64 65 64 20 74 6f 20 74 68 65 20 69  e added to the i
4710: 6e 64 65 78 20 66 6f 72 20 74 6f 6b 65 6e 73 20  ndex for tokens 
4720: 22 69 22 2c 20 22 77 6f 6e 22 2c 0a 2a 2a 20 20  "i", "won",.**  
4730: 20 20 20 20 20 20 20 20 20 20 22 66 69 72 73 74            "first
4740: 22 20 61 6e 64 20 22 70 6c 61 63 65 22 2e 20 49  " and "place". I
4750: 66 20 74 68 65 20 75 73 65 72 20 74 68 65 6e 20  f the user then 
4760: 71 75 65 72 69 65 73 20 66 6f 72 20 27 31 73 74  queries for '1st
4770: 20 2b 20 70 6c 61 63 65 27 2c 0a 2a 2a 20 20 20   + place',.**   
4780: 20 20 20 20 20 20 20 20 20 74 68 65 20 74 6f 6b           the tok
4790: 65 6e 69 7a 65 72 20 73 75 62 73 74 69 74 75 74  enizer substitut
47a0: 65 73 20 22 66 69 72 73 74 22 20 66 6f 72 20 22  es "first" for "
47b0: 31 73 74 22 20 61 6e 64 20 74 68 65 20 71 75 65  1st" and the que
47c0: 72 79 20 77 6f 72 6b 73 0a 2a 2a 20 20 20 20 20  ry works.**     
47d0: 20 20 20 20 20 20 20 61 73 20 65 78 70 65 63 74         as expect
47e0: 65 64 2e 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 20  ed..**.**       
47f0: 3c 6c 69 3e 20 42 79 20 61 64 64 69 6e 67 20 6d  <li> By adding m
4800: 75 6c 74 69 70 6c 65 20 73 79 6e 6f 6e 79 6d 73  ultiple synonyms
4810: 20 66 6f 72 20 61 20 73 69 6e 67 6c 65 20 74 65   for a single te
4820: 72 6d 20 74 6f 20 74 68 65 20 46 54 53 20 69 6e  rm to the FTS in
4830: 64 65 78 2e 0a 2a 2a 20 20 20 20 20 20 20 20 20  dex..**         
4840: 20 20 20 49 6e 20 74 68 69 73 20 63 61 73 65 2c     In this case,
4850: 20 77 68 65 6e 20 74 6f 6b 65 6e 69 7a 69 6e 67   when tokenizing
4860: 20 71 75 65 72 79 20 74 65 78 74 2c 20 74 68 65   query text, the
4870: 20 74 6f 6b 65 6e 69 7a 65 72 20 6d 61 79 20 0a   tokenizer may .
4880: 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 70 72  **            pr
4890: 6f 76 69 64 65 20 6d 75 6c 74 69 70 6c 65 20 73  ovide multiple s
48a0: 79 6e 6f 6e 79 6d 73 20 66 6f 72 20 61 20 73 69  ynonyms for a si
48b0: 6e 67 6c 65 20 74 65 72 6d 20 77 69 74 68 69 6e  ngle term within
48c0: 20 74 68 65 20 64 6f 63 75 6d 65 6e 74 2e 0a 2a   the document..*
48d0: 2a 20 20 20 20 20 20 20 20 20 20 20 20 46 54 53  *            FTS
48e0: 35 20 74 68 65 6e 20 71 75 65 72 69 65 73 20 74  5 then queries t
48f0: 68 65 20 69 6e 64 65 78 20 66 6f 72 20 65 61 63  he index for eac
4900: 68 20 73 79 6e 6f 6e 79 6d 20 69 6e 64 69 76 69  h synonym indivi
4910: 64 75 61 6c 6c 79 2e 20 46 6f 72 0a 2a 2a 20 20  dually. For.**  
4920: 20 20 20 20 20 20 20 20 20 20 65 78 61 6d 70 6c            exampl
4930: 65 2c 20 66 61 63 65 64 20 77 69 74 68 20 74 68  e, faced with th
4940: 65 20 71 75 65 72 79 3a 0a 2a 2a 0a 2a 2a 20 20  e query:.**.**  
4950: 20 3c 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2a 2a 20   <codeblock>.** 
4960: 20 20 20 20 2e 2e 2e 20 4d 41 54 43 48 20 27 66      ... MATCH 'f
4970: 69 72 73 74 20 70 6c 61 63 65 27 3c 2f 63 6f 64  irst place'</cod
4980: 65 62 6c 6f 63 6b 3e 0a 2a 2a 0a 2a 2a 20 20 20  eblock>.**.**   
4990: 20 20 20 20 20 20 20 20 20 74 68 65 20 74 6f 6b           the tok
49a0: 65 6e 69 7a 65 72 20 6f 66 66 65 72 73 20 62 6f  enizer offers bo
49b0: 74 68 20 22 31 73 74 22 20 61 6e 64 20 22 66 69  th "1st" and "fi
49c0: 72 73 74 22 20 61 73 20 73 79 6e 6f 6e 79 6d 73  rst" as synonyms
49d0: 20 66 6f 72 20 74 68 65 0a 2a 2a 20 20 20 20 20   for the.**     
49e0: 20 20 20 20 20 20 20 66 69 72 73 74 20 74 6f 6b         first tok
49f0: 65 6e 20 69 6e 20 74 68 65 20 4d 41 54 43 48 20  en in the MATCH 
4a00: 71 75 65 72 79 20 61 6e 64 20 46 54 53 35 20 65  query and FTS5 e
4a10: 66 66 65 63 74 69 76 65 6c 79 20 72 75 6e 73 20  ffectively runs 
4a20: 61 20 71 75 65 72 79 20 0a 2a 2a 20 20 20 20 20  a query .**     
4a30: 20 20 20 20 20 20 20 73 69 6d 69 6c 61 72 20 74         similar t
4a40: 6f 3a 0a 2a 2a 0a 2a 2a 20 20 20 3c 63 6f 64 65  o:.**.**   <code
4a50: 62 6c 6f 63 6b 3e 0a 2a 2a 20 20 20 20 20 2e 2e  block>.**     ..
4a60: 2e 20 4d 41 54 43 48 20 27 28 66 69 72 73 74 20  . MATCH '(first 
4a70: 4f 52 20 31 73 74 29 20 70 6c 61 63 65 27 3c 2f  OR 1st) place'</
4a80: 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2a 2a 0a 2a 2a  codeblock>.**.**
4a90: 20 20 20 20 20 20 20 20 20 20 20 20 65 78 63 65              exce
4aa0: 70 74 20 74 68 61 74 2c 20 66 6f 72 20 74 68 65  pt that, for the
4ab0: 20 70 75 72 70 6f 73 65 73 20 6f 66 20 61 75 78   purposes of aux
4ac0: 69 6c 69 61 72 79 20 66 75 6e 63 74 69 6f 6e 73  iliary functions
4ad0: 2c 20 74 68 65 20 71 75 65 72 79 0a 2a 2a 20 20  , the query.**  
4ae0: 20 20 20 20 20 20 20 20 20 20 73 74 69 6c 6c 20            still 
4af0: 61 70 70 65 61 72 73 20 74 6f 20 63 6f 6e 74 61  appears to conta
4b00: 69 6e 20 6a 75 73 74 20 74 77 6f 20 70 68 72 61  in just two phra
4b10: 73 65 73 20 2d 20 22 28 66 69 72 73 74 20 4f 52  ses - "(first OR
4b20: 20 31 73 74 29 22 20 0a 2a 2a 20 20 20 20 20 20   1st)" .**      
4b30: 20 20 20 20 20 20 62 65 69 6e 67 20 74 72 65 61        being trea
4b40: 74 65 64 20 61 73 20 61 20 73 69 6e 67 6c 65 20  ted as a single 
4b50: 70 68 72 61 73 65 2e 0a 2a 2a 0a 2a 2a 20 20 20  phrase..**.**   
4b60: 20 20 20 20 3c 6c 69 3e 20 42 79 20 61 64 64 69      <li> By addi
4b70: 6e 67 20 6d 75 6c 74 69 70 6c 65 20 73 79 6e 6f  ng multiple syno
4b80: 6e 79 6d 73 20 66 6f 72 20 61 20 73 69 6e 67 6c  nyms for a singl
4b90: 65 20 74 65 72 6d 20 74 6f 20 74 68 65 20 46 54  e term to the FT
4ba0: 53 20 69 6e 64 65 78 2e 0a 2a 2a 20 20 20 20 20  S index..**     
4bb0: 20 20 20 20 20 20 20 55 73 69 6e 67 20 74 68 69         Using thi
4bc0: 73 20 6d 65 74 68 6f 64 2c 20 77 68 65 6e 20 74  s method, when t
4bd0: 6f 6b 65 6e 69 7a 69 6e 67 20 64 6f 63 75 6d 65  okenizing docume
4be0: 6e 74 20 74 65 78 74 2c 20 74 68 65 20 74 6f 6b  nt text, the tok
4bf0: 65 6e 69 7a 65 72 0a 2a 2a 20 20 20 20 20 20 20  enizer.**       
4c00: 20 20 20 20 20 70 72 6f 76 69 64 65 73 20 6d 75       provides mu
4c10: 6c 74 69 70 6c 65 20 73 79 6e 6f 6e 79 6d 73 20  ltiple synonyms 
4c20: 66 6f 72 20 65 61 63 68 20 74 6f 6b 65 6e 2e 20  for each token. 
4c30: 53 6f 20 74 68 61 74 20 77 68 65 6e 20 61 20 0a  So that when a .
4c40: 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 64 6f  **            do
4c50: 63 75 6d 65 6e 74 20 73 75 63 68 20 61 73 20 22  cument such as "
4c60: 49 20 77 6f 6e 20 66 69 72 73 74 20 70 6c 61 63  I won first plac
4c70: 65 22 20 69 73 20 74 6f 6b 65 6e 69 7a 65 64 2c  e" is tokenized,
4c80: 20 65 6e 74 72 69 65 73 20 61 72 65 0a 2a 2a 20   entries are.** 
4c90: 20 20 20 20 20 20 20 20 20 20 20 61 64 64 65 64             added
4ca0: 20 74 6f 20 74 68 65 20 46 54 53 20 69 6e 64 65   to the FTS inde
4cb0: 78 20 66 6f 72 20 22 69 22 2c 20 22 77 6f 6e 22  x for "i", "won"
4cc0: 2c 20 22 66 69 72 73 74 22 2c 20 22 31 73 74 22  , "first", "1st"
4cd0: 20 61 6e 64 0a 2a 2a 20 20 20 20 20 20 20 20 20   and.**         
4ce0: 20 20 20 22 70 6c 61 63 65 22 2e 0a 2a 2a 0a 2a     "place"..**.*
4cf0: 2a 20 20 20 20 20 20 20 20 20 20 20 20 54 68 69  *            Thi
4d00: 73 20 77 61 79 2c 20 65 76 65 6e 20 69 66 20 74  s way, even if t
4d10: 68 65 20 74 6f 6b 65 6e 69 7a 65 72 20 64 6f 65  he tokenizer doe
4d20: 73 20 6e 6f 74 20 70 72 6f 76 69 64 65 20 73 79  s not provide sy
4d30: 6e 6f 6e 79 6d 73 0a 2a 2a 20 20 20 20 20 20 20  nonyms.**       
4d40: 20 20 20 20 20 77 68 65 6e 20 74 6f 6b 65 6e 69       when tokeni
4d50: 7a 69 6e 67 20 71 75 65 72 79 20 74 65 78 74 20  zing query text 
4d60: 28 69 74 20 73 68 6f 75 6c 64 20 6e 6f 74 20 2d  (it should not -
4d70: 20 74 6f 20 64 6f 20 77 6f 75 6c 64 20 62 65 0a   to do would be.
4d80: 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 69 6e  **            in
4d90: 65 66 66 69 63 69 65 6e 74 29 2c 20 69 74 20 64  efficient), it d
4da0: 6f 65 73 6e 27 74 20 6d 61 74 74 65 72 20 69 66  oesn't matter if
4db0: 20 74 68 65 20 75 73 65 72 20 71 75 65 72 69 65   the user querie
4dc0: 73 20 66 6f 72 20 0a 2a 2a 20 20 20 20 20 20 20  s for .**       
4dd0: 20 20 20 20 20 27 66 69 72 73 74 20 2b 20 70 6c       'first + pl
4de0: 61 63 65 27 20 6f 72 20 27 31 73 74 20 2b 20 70  ace' or '1st + p
4df0: 6c 61 63 65 27 2c 20 61 73 20 74 68 65 72 65 20  lace', as there 
4e00: 61 72 65 20 65 6e 74 69 72 65 73 20 69 6e 20 74  are entires in t
4e10: 68 65 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20  he.**           
4e20: 20 46 54 53 20 69 6e 64 65 78 20 63 6f 72 72 65   FTS index corre
4e30: 73 70 6f 6e 64 69 6e 67 20 74 6f 20 62 6f 74 68  sponding to both
4e40: 20 66 6f 72 6d 73 20 6f 66 20 74 68 65 20 66 69   forms of the fi
4e50: 72 73 74 20 74 6f 6b 65 6e 2e 0a 2a 2a 20 20 20  rst token..**   
4e60: 3c 2f 6f 6c 3e 0a 2a 2a 0a 2a 2a 20 20 20 57 68  </ol>.**.**   Wh
4e70: 65 74 68 65 72 20 69 74 20 69 73 20 70 61 72 73  ether it is pars
4e80: 69 6e 67 20 64 6f 63 75 6d 65 6e 74 20 6f 72 20  ing document or 
4e90: 71 75 65 72 79 20 74 65 78 74 2c 20 61 6e 79 20  query text, any 
4ea0: 63 61 6c 6c 20 74 6f 20 78 54 6f 6b 65 6e 20 74  call to xToken t
4eb0: 68 61 74 0a 2a 2a 20 20 20 73 70 65 63 69 66 69  hat.**   specifi
4ec0: 65 73 20 61 20 3c 69 3e 74 66 6c 61 67 73 3c 2f  es a <i>tflags</
4ed0: 69 3e 20 61 72 67 75 6d 65 6e 74 20 77 69 74 68  i> argument with
4ee0: 20 74 68 65 20 46 54 53 35 5f 54 4f 4b 45 4e 5f   the FTS5_TOKEN_
4ef0: 43 4f 4c 4f 43 41 54 45 44 20 62 69 74 0a 2a 2a  COLOCATED bit.**
4f00: 20 20 20 69 73 20 63 6f 6e 73 69 64 65 72 65 64     is considered
4f10: 20 74 6f 20 73 75 70 70 6c 79 20 61 20 73 79 6e   to supply a syn
4f20: 6f 6e 79 6d 20 66 6f 72 20 74 68 65 20 70 72 65  onym for the pre
4f30: 76 69 6f 75 73 20 74 6f 6b 65 6e 2e 20 46 6f 72  vious token. For
4f40: 20 65 78 61 6d 70 6c 65 2c 0a 2a 2a 20 20 20 77   example,.**   w
4f50: 68 65 6e 20 70 61 72 73 69 6e 67 20 74 68 65 20  hen parsing the 
4f60: 64 6f 63 75 6d 65 6e 74 20 22 49 20 77 6f 6e 20  document "I won 
4f70: 66 69 72 73 74 20 70 6c 61 63 65 22 2c 20 61 20  first place", a 
4f80: 74 6f 6b 65 6e 69 7a 65 72 20 74 68 61 74 20 73  tokenizer that s
4f90: 75 70 70 6f 72 74 73 0a 2a 2a 20 20 20 73 79 6e  upports.**   syn
4fa0: 6f 6e 79 6d 73 20 77 6f 75 6c 64 20 63 61 6c 6c  onyms would call
4fb0: 20 78 54 6f 6b 65 6e 28 29 20 35 20 74 69 6d 65   xToken() 5 time
4fc0: 73 2c 20 61 73 20 66 6f 6c 6c 6f 77 73 3a 0a 2a  s, as follows:.*
4fd0: 2a 0a 2a 2a 20 20 20 3c 63 6f 64 65 62 6c 6f 63  *.**   <codebloc
4fe0: 6b 3e 0a 2a 2a 20 20 20 20 20 20 20 78 54 6f 6b  k>.**       xTok
4ff0: 65 6e 28 70 43 74 78 2c 20 30 2c 20 22 69 22 2c  en(pCtx, 0, "i",
5000: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5010: 20 20 20 20 20 20 31 2c 20 20 30 2c 20 20 31 29        1,  0,  1)
5020: 3b 0a 2a 2a 20 20 20 20 20 20 20 78 54 6f 6b 65  ;.**       xToke
5030: 6e 28 70 43 74 78 2c 20 30 2c 20 22 77 6f 6e 22  n(pCtx, 0, "won"
5040: 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ,               
5050: 20 20 20 20 20 33 2c 20 20 32 2c 20 20 35 29 3b       3,  2,  5);
5060: 0a 2a 2a 20 20 20 20 20 20 20 78 54 6f 6b 65 6e  .**       xToken
5070: 28 70 43 74 78 2c 20 30 2c 20 22 66 69 72 73 74  (pCtx, 0, "first
5080: 22 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ",              
5090: 20 20 20 20 35 2c 20 20 36 2c 20 31 31 29 3b 0a      5,  6, 11);.
50a0: 2a 2a 20 20 20 20 20 20 20 78 54 6f 6b 65 6e 28  **       xToken(
50b0: 70 43 74 78 2c 20 46 54 53 35 5f 54 4f 4b 45 4e  pCtx, FTS5_TOKEN
50c0: 5f 43 4f 4c 4f 43 41 54 45 44 2c 20 22 31 73 74  _COLOCATED, "1st
50d0: 22 2c 20 33 2c 20 20 36 2c 20 31 31 29 3b 0a 2a  ", 3,  6, 11);.*
50e0: 2a 20 20 20 20 20 20 20 78 54 6f 6b 65 6e 28 70  *       xToken(p
50f0: 43 74 78 2c 20 30 2c 20 22 70 6c 61 63 65 22 2c  Ctx, 0, "place",
5100: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5110: 20 20 35 2c 20 31 32 2c 20 31 37 29 3b 0a 2a 2a    5, 12, 17);.**
5120: 3c 2f 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2a 2a 0a  </codeblock>.**.
5130: 2a 2a 20 20 20 49 74 20 69 73 20 61 6e 20 65 72  **   It is an er
5140: 72 6f 72 20 74 6f 20 73 70 65 63 69 66 79 20 74  ror to specify t
5150: 68 65 20 46 54 53 35 5f 54 4f 4b 45 4e 5f 43 4f  he FTS5_TOKEN_CO
5160: 4c 4f 43 41 54 45 44 20 66 6c 61 67 20 74 68 65  LOCATED flag the
5170: 20 66 69 72 73 74 20 74 69 6d 65 0a 2a 2a 20 20   first time.**  
5180: 20 78 54 6f 6b 65 6e 28 29 20 69 73 20 63 61 6c   xToken() is cal
5190: 6c 65 64 2e 20 4d 75 6c 74 69 70 6c 65 20 73 79  led. Multiple sy
51a0: 6e 6f 6e 79 6d 73 20 6d 61 79 20 62 65 20 73 70  nonyms may be sp
51b0: 65 63 69 66 69 65 64 20 66 6f 72 20 61 20 73 69  ecified for a si
51c0: 6e 67 6c 65 20 74 6f 6b 65 6e 0a 2a 2a 20 20 20  ngle token.**   
51d0: 62 79 20 6d 61 6b 69 6e 67 20 6d 75 6c 74 69 70  by making multip
51e0: 6c 65 20 63 61 6c 6c 73 20 74 6f 20 78 54 6f 6b  le calls to xTok
51f0: 65 6e 28 46 54 53 35 5f 54 4f 4b 45 4e 5f 43 4f  en(FTS5_TOKEN_CO
5200: 4c 4f 43 41 54 45 44 29 20 69 6e 20 73 65 71 75  LOCATED) in sequ
5210: 65 6e 63 65 2e 20 0a 2a 2a 20 20 20 54 68 65 72  ence. .**   Ther
5220: 65 20 69 73 20 6e 6f 20 6c 69 6d 69 74 20 74 6f  e is no limit to
5230: 20 74 68 65 20 6e 75 6d 62 65 72 20 6f 66 20 73   the number of s
5240: 79 6e 6f 6e 79 6d 73 20 74 68 61 74 20 6d 61 79  ynonyms that may
5250: 20 62 65 20 70 72 6f 76 69 64 65 64 20 66 6f 72   be provided for
5260: 20 61 0a 2a 2a 20 20 20 73 69 6e 67 6c 65 20 74   a.**   single t
5270: 6f 6b 65 6e 2e 0a 2a 2a 0a 2a 2a 20 20 20 49 6e  oken..**.**   In
5280: 20 6d 61 6e 79 20 63 61 73 65 73 2c 20 6d 65 74   many cases, met
5290: 68 6f 64 20 28 31 29 20 61 62 6f 76 65 20 69 73  hod (1) above is
52a0: 20 74 68 65 20 62 65 73 74 20 61 70 70 72 6f 61   the best approa
52b0: 63 68 2e 20 49 74 20 64 6f 65 73 20 6e 6f 74 20  ch. It does not 
52c0: 61 64 64 20 0a 2a 2a 20 20 20 65 78 74 72 61 20  add .**   extra 
52d0: 64 61 74 61 20 74 6f 20 74 68 65 20 46 54 53 20  data to the FTS 
52e0: 69 6e 64 65 78 20 6f 72 20 72 65 71 75 69 72 65  index or require
52f0: 20 46 54 53 35 20 74 6f 20 71 75 65 72 79 20 66   FTS5 to query f
5300: 6f 72 20 6d 75 6c 74 69 70 6c 65 20 74 65 72 6d  or multiple term
5310: 73 2c 0a 2a 2a 20 20 20 73 6f 20 69 74 20 69 73  s,.**   so it is
5320: 20 65 66 66 69 63 69 65 6e 74 20 69 6e 20 74 65   efficient in te
5330: 72 6d 73 20 6f 66 20 64 69 73 6b 20 73 70 61 63  rms of disk spac
5340: 65 20 61 6e 64 20 71 75 65 72 79 20 73 70 65 65  e and query spee
5350: 64 2e 20 48 6f 77 65 76 65 72 2c 20 69 74 0a 2a  d. However, it.*
5360: 2a 20 20 20 64 6f 65 73 20 6e 6f 74 20 73 75 70  *   does not sup
5370: 70 6f 72 74 20 70 72 65 66 69 78 20 71 75 65 72  port prefix quer
5380: 69 65 73 20 76 65 72 79 20 77 65 6c 6c 2e 20 49  ies very well. I
5390: 66 2c 20 61 73 20 73 75 67 67 65 73 74 65 64 20  f, as suggested 
53a0: 61 62 6f 76 65 2c 20 74 68 65 0a 2a 2a 20 20 20  above, the.**   
53b0: 74 6f 6b 65 6e 20 22 66 69 72 73 74 22 20 69 73  token "first" is
53c0: 20 73 75 62 73 69 74 75 74 65 64 20 66 6f 72 20   subsituted for 
53d0: 22 31 73 74 22 20 62 79 20 74 68 65 20 74 6f 6b  "1st" by the tok
53e0: 65 6e 69 7a 65 72 2c 20 74 68 65 6e 20 74 68 65  enizer, then the
53f0: 20 71 75 65 72 79 3a 0a 2a 2a 0a 2a 2a 20 20 20   query:.**.**   
5400: 3c 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2a 2a 20 20  <codeblock>.**  
5410: 20 20 20 2e 2e 2e 20 4d 41 54 43 48 20 27 31 73     ... MATCH '1s
5420: 2a 27 3c 2f 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2a  *'</codeblock>.*
5430: 2a 0a 2a 2a 20 20 20 77 69 6c 6c 20 6e 6f 74 20  *.**   will not 
5440: 6d 61 74 63 68 20 64 6f 63 75 6d 65 6e 74 73 20  match documents 
5450: 74 68 61 74 20 63 6f 6e 74 61 69 6e 20 74 68 65  that contain the
5460: 20 74 6f 6b 65 6e 20 22 31 73 74 22 20 28 61 73   token "1st" (as
5470: 20 74 68 65 20 74 6f 6b 65 6e 69 7a 65 72 0a 2a   the tokenizer.*
5480: 2a 20 20 20 77 69 6c 6c 20 70 72 6f 62 61 62 6c  *   will probabl
5490: 79 20 6e 6f 74 20 6d 61 70 20 22 31 73 22 20 74  y not map "1s" t
54a0: 6f 20 61 6e 79 20 70 72 65 66 69 78 20 6f 66 20  o any prefix of 
54b0: 22 66 69 72 73 74 22 29 2e 0a 2a 2a 0a 2a 2a 20  "first")..**.** 
54c0: 20 20 46 6f 72 20 66 75 6c 6c 20 70 72 65 66 69    For full prefi
54d0: 78 20 73 75 70 70 6f 72 74 2c 20 6d 65 74 68 6f  x support, metho
54e0: 64 20 28 33 29 20 6d 61 79 20 62 65 20 70 72 65  d (3) may be pre
54f0: 66 65 72 72 65 64 2e 20 49 6e 20 74 68 69 73 20  ferred. In this 
5500: 63 61 73 65 2c 20 0a 2a 2a 20 20 20 62 65 63 61  case, .**   beca
5510: 75 73 65 20 74 68 65 20 69 6e 64 65 78 20 63 6f  use the index co
5520: 6e 74 61 69 6e 73 20 65 6e 74 72 69 65 73 20 66  ntains entries f
5530: 6f 72 20 62 6f 74 68 20 22 66 69 72 73 74 22 20  or both "first" 
5540: 61 6e 64 20 22 31 73 74 22 2c 20 70 72 65 66 69  and "1st", prefi
5550: 78 0a 2a 2a 20 20 20 71 75 65 72 69 65 73 20 73  x.**   queries s
5560: 75 63 68 20 61 73 20 27 66 69 2a 27 20 6f 72 20  uch as 'fi*' or 
5570: 27 31 73 2a 27 20 77 69 6c 6c 20 6d 61 74 63 68  '1s*' will match
5580: 20 63 6f 72 72 65 63 74 6c 79 2e 20 48 6f 77 65   correctly. Howe
5590: 76 65 72 2c 20 62 65 63 61 75 73 65 0a 2a 2a 20  ver, because.** 
55a0: 20 20 65 78 74 72 61 20 65 6e 74 72 69 65 73 20    extra entries 
55b0: 61 72 65 20 61 64 64 65 64 20 74 6f 20 74 68 65  are added to the
55c0: 20 46 54 53 20 69 6e 64 65 78 2c 20 74 68 69 73   FTS index, this
55d0: 20 6d 65 74 68 6f 64 20 75 73 65 73 20 6d 6f 72   method uses mor
55e0: 65 20 73 70 61 63 65 0a 2a 2a 20 20 20 77 69 74  e space.**   wit
55f0: 68 69 6e 20 74 68 65 20 64 61 74 61 62 61 73 65  hin the database
5600: 2e 0a 2a 2a 0a 2a 2a 20 20 20 4d 65 74 68 6f 64  ..**.**   Method
5610: 20 28 32 29 20 6f 66 66 65 72 73 20 61 20 6d 69   (2) offers a mi
5620: 64 70 6f 69 6e 74 20 62 65 74 77 65 65 6e 20 28  dpoint between (
5630: 31 29 20 61 6e 64 20 28 33 29 2e 20 55 73 69 6e  1) and (3). Usin
5640: 67 20 74 68 69 73 20 6d 65 74 68 6f 64 2c 0a 2a  g this method,.*
5650: 2a 20 20 20 61 20 71 75 65 72 79 20 73 75 63 68  *   a query such
5660: 20 61 73 20 27 31 73 2a 27 20 77 69 6c 6c 20 6d   as '1s*' will m
5670: 61 74 63 68 20 64 6f 63 75 6d 65 6e 74 73 20 74  atch documents t
5680: 68 61 74 20 63 6f 6e 74 61 69 6e 20 74 68 65 20  hat contain the 
5690: 6c 69 74 65 72 61 6c 20 0a 2a 2a 20 20 20 74 6f  literal .**   to
56a0: 6b 65 6e 20 22 31 73 74 22 2c 20 62 75 74 20 6e  ken "1st", but n
56b0: 6f 74 20 22 66 69 72 73 74 22 20 28 61 73 73 75  ot "first" (assu
56c0: 6d 69 6e 67 20 74 68 65 20 74 6f 6b 65 6e 69 7a  ming the tokeniz
56d0: 65 72 20 69 73 20 6e 6f 74 20 61 62 6c 65 20 74  er is not able t
56e0: 6f 0a 2a 2a 20 20 20 70 72 6f 76 69 64 65 20 73  o.**   provide s
56f0: 79 6e 6f 6e 79 6d 73 20 66 6f 72 20 70 72 65 66  ynonyms for pref
5700: 69 78 65 73 29 2e 20 48 6f 77 65 76 65 72 2c 20  ixes). However, 
5710: 61 20 6e 6f 6e 2d 70 72 65 66 69 78 20 71 75 65  a non-prefix que
5720: 72 79 20 6c 69 6b 65 20 27 31 73 74 27 0a 2a 2a  ry like '1st'.**
5730: 20 20 20 77 69 6c 6c 20 6d 61 74 63 68 20 61 67     will match ag
5740: 61 69 6e 73 74 20 22 31 73 74 22 20 61 6e 64 20  ainst "1st" and 
5750: 22 66 69 72 73 74 22 2e 20 54 68 69 73 20 6d 65  "first". This me
5760: 74 68 6f 64 20 64 6f 65 73 20 6e 6f 74 20 72 65  thod does not re
5770: 71 75 69 72 65 0a 2a 2a 20 20 20 65 78 74 72 61  quire.**   extra
5780: 20 64 69 73 6b 20 73 70 61 63 65 2c 20 61 73 20   disk space, as 
5790: 6e 6f 20 65 78 74 72 61 20 65 6e 74 72 69 65 73  no extra entries
57a0: 20 61 72 65 20 61 64 64 65 64 20 74 6f 20 74 68   are added to th
57b0: 65 20 46 54 53 20 69 6e 64 65 78 2e 20 0a 2a 2a  e FTS index. .**
57c0: 20 20 20 4f 6e 20 74 68 65 20 6f 74 68 65 72 20     On the other 
57d0: 68 61 6e 64 2c 20 69 74 20 6d 61 79 20 72 65 71  hand, it may req
57e0: 75 69 72 65 20 6d 6f 72 65 20 43 50 55 20 63 79  uire more CPU cy
57f0: 63 6c 65 73 20 74 6f 20 72 75 6e 20 4d 41 54 43  cles to run MATC
5800: 48 20 71 75 65 72 69 65 73 2c 0a 2a 2a 20 20 20  H queries,.**   
5810: 61 73 20 73 65 70 61 72 61 74 65 20 71 75 65 72  as separate quer
5820: 69 65 73 20 6f 66 20 74 68 65 20 46 54 53 20 69  ies of the FTS i
5830: 6e 64 65 78 20 61 72 65 20 72 65 71 75 69 72 65  ndex are require
5840: 64 20 66 6f 72 20 65 61 63 68 20 73 79 6e 6f 6e  d for each synon
5850: 79 6d 2e 0a 2a 2a 0a 2a 2a 20 20 20 57 68 65 6e  ym..**.**   When
5860: 20 75 73 69 6e 67 20 6d 65 74 68 6f 64 73 20 28   using methods (
5870: 32 29 20 6f 72 20 28 33 29 2c 20 69 74 20 69 73  2) or (3), it is
5880: 20 69 6d 70 6f 72 74 61 6e 74 20 74 68 61 74 20   important that 
5890: 74 68 65 20 74 6f 6b 65 6e 69 7a 65 72 20 6f 6e  the tokenizer on
58a0: 6c 79 0a 2a 2a 20 20 20 70 72 6f 76 69 64 65 20  ly.**   provide 
58b0: 73 79 6e 6f 6e 79 6d 73 20 77 68 65 6e 20 74 6f  synonyms when to
58c0: 6b 65 6e 69 7a 69 6e 67 20 64 6f 63 75 6d 65 6e  kenizing documen
58d0: 74 20 74 65 78 74 20 28 6d 65 74 68 6f 64 20 28  t text (method (
58e0: 32 29 29 20 6f 72 20 71 75 65 72 79 0a 2a 2a 20  2)) or query.** 
58f0: 20 20 74 65 78 74 20 28 6d 65 74 68 6f 64 20 28    text (method (
5900: 33 29 29 2c 20 6e 6f 74 20 62 6f 74 68 2e 20 44  3)), not both. D
5910: 6f 69 6e 67 20 73 6f 20 77 69 6c 6c 20 6e 6f 74  oing so will not
5920: 20 63 61 75 73 65 20 61 6e 79 20 65 72 72 6f 72   cause any error
5930: 73 2c 20 62 75 74 20 69 73 0a 2a 2a 20 20 20 69  s, but is.**   i
5940: 6e 65 66 66 69 63 69 65 6e 74 2e 0a 2a 2f 0a 74  nefficient..*/.t
5950: 79 70 65 64 65 66 20 73 74 72 75 63 74 20 46 74  ypedef struct Ft
5960: 73 35 54 6f 6b 65 6e 69 7a 65 72 20 46 74 73 35  s5Tokenizer Fts5
5970: 54 6f 6b 65 6e 69 7a 65 72 3b 0a 74 79 70 65 64  Tokenizer;.typed
5980: 65 66 20 73 74 72 75 63 74 20 66 74 73 35 5f 74  ef struct fts5_t
5990: 6f 6b 65 6e 69 7a 65 72 20 66 74 73 35 5f 74 6f  okenizer fts5_to
59a0: 6b 65 6e 69 7a 65 72 3b 0a 73 74 72 75 63 74 20  kenizer;.struct 
59b0: 66 74 73 35 5f 74 6f 6b 65 6e 69 7a 65 72 20 7b  fts5_tokenizer {
59c0: 0a 20 20 69 6e 74 20 28 2a 78 43 72 65 61 74 65  .  int (*xCreate
59d0: 29 28 76 6f 69 64 2a 2c 20 63 6f 6e 73 74 20 63  )(void*, const c
59e0: 68 61 72 20 2a 2a 61 7a 41 72 67 2c 20 69 6e 74  har **azArg, int
59f0: 20 6e 41 72 67 2c 20 46 74 73 35 54 6f 6b 65 6e   nArg, Fts5Token
5a00: 69 7a 65 72 20 2a 2a 70 70 4f 75 74 29 3b 0a 20  izer **ppOut);. 
5a10: 20 76 6f 69 64 20 28 2a 78 44 65 6c 65 74 65 29   void (*xDelete)
5a20: 28 46 74 73 35 54 6f 6b 65 6e 69 7a 65 72 2a 29  (Fts5Tokenizer*)
5a30: 3b 0a 20 20 69 6e 74 20 28 2a 78 54 6f 6b 65 6e  ;.  int (*xToken
5a40: 69 7a 65 29 28 46 74 73 35 54 6f 6b 65 6e 69 7a  ize)(Fts5Tokeniz
5a50: 65 72 2a 2c 20 0a 20 20 20 20 20 20 76 6f 69 64  er*, .      void
5a60: 20 2a 70 43 74 78 2c 0a 20 20 20 20 20 20 69 6e   *pCtx,.      in
5a70: 74 20 66 6c 61 67 73 2c 20 20 20 20 20 20 20 20  t flags,        
5a80: 20 20 20 20 2f 2a 20 4d 61 73 6b 20 6f 66 20 46      /* Mask of F
5a90: 54 53 35 5f 54 4f 4b 45 4e 49 5a 45 5f 2a 20 66  TS5_TOKENIZE_* f
5aa0: 6c 61 67 73 20 2a 2f 0a 20 20 20 20 20 20 63 6f  lags */.      co
5ab0: 6e 73 74 20 63 68 61 72 20 2a 70 54 65 78 74 2c  nst char *pText,
5ac0: 20 69 6e 74 20 6e 54 65 78 74 2c 20 0a 20 20 20   int nText, .   
5ad0: 20 20 20 69 6e 74 20 28 2a 78 54 6f 6b 65 6e 29     int (*xToken)
5ae0: 28 0a 20 20 20 20 20 20 20 20 76 6f 69 64 20 2a  (.        void *
5af0: 70 43 74 78 2c 20 20 20 20 20 20 20 20 20 2f 2a  pCtx,         /*
5b00: 20 43 6f 70 79 20 6f 66 20 32 6e 64 20 61 72 67   Copy of 2nd arg
5b10: 75 6d 65 6e 74 20 74 6f 20 78 54 6f 6b 65 6e 69  ument to xTokeni
5b20: 7a 65 28 29 20 2a 2f 0a 20 20 20 20 20 20 20 20  ze() */.        
5b30: 69 6e 74 20 74 66 6c 61 67 73 2c 20 20 20 20 20  int tflags,     
5b40: 20 20 20 20 2f 2a 20 4d 61 73 6b 20 6f 66 20 46      /* Mask of F
5b50: 54 53 35 5f 54 4f 4b 45 4e 5f 2a 20 66 6c 61 67  TS5_TOKEN_* flag
5b60: 73 20 2a 2f 0a 20 20 20 20 20 20 20 20 63 6f 6e  s */.        con
5b70: 73 74 20 63 68 61 72 20 2a 70 54 6f 6b 65 6e 2c  st char *pToken,
5b80: 20 2f 2a 20 50 6f 69 6e 74 65 72 20 74 6f 20 62   /* Pointer to b
5b90: 75 66 66 65 72 20 63 6f 6e 74 61 69 6e 69 6e 67  uffer containing
5ba0: 20 74 6f 6b 65 6e 20 2a 2f 0a 20 20 20 20 20 20   token */.      
5bb0: 20 20 69 6e 74 20 6e 54 6f 6b 65 6e 2c 20 20 20    int nToken,   
5bc0: 20 20 20 20 20 20 2f 2a 20 53 69 7a 65 20 6f 66        /* Size of
5bd0: 20 74 6f 6b 65 6e 20 69 6e 20 62 79 74 65 73 20   token in bytes 
5be0: 2a 2f 0a 20 20 20 20 20 20 20 20 69 6e 74 20 69  */.        int i
5bf0: 53 74 61 72 74 2c 20 20 20 20 20 20 20 20 20 2f  Start,         /
5c00: 2a 20 42 79 74 65 20 6f 66 66 73 65 74 20 6f 66  * Byte offset of
5c10: 20 74 6f 6b 65 6e 20 77 69 74 68 69 6e 20 69 6e   token within in
5c20: 70 75 74 20 74 65 78 74 20 2a 2f 0a 20 20 20 20  put text */.    
5c30: 20 20 20 20 69 6e 74 20 69 45 6e 64 20 20 20 20      int iEnd    
5c40: 20 20 20 20 20 20 20 20 2f 2a 20 42 79 74 65 20          /* Byte 
5c50: 6f 66 66 73 65 74 20 6f 66 20 65 6e 64 20 6f 66  offset of end of
5c60: 20 74 6f 6b 65 6e 20 77 69 74 68 69 6e 20 69 6e   token within in
5c70: 70 75 74 20 74 65 78 74 20 2a 2f 0a 20 20 20 20  put text */.    
5c80: 20 20 29 0a 20 20 29 3b 0a 7d 3b 0a 0a 2f 2a 20    ).  );.};../* 
5c90: 46 6c 61 67 73 20 74 68 61 74 20 6d 61 79 20 62  Flags that may b
5ca0: 65 20 70 61 73 73 65 64 20 61 73 20 74 68 65 20  e passed as the 
5cb0: 74 68 69 72 64 20 61 72 67 75 6d 65 6e 74 20 74  third argument t
5cc0: 6f 20 78 54 6f 6b 65 6e 69 7a 65 28 29 20 2a 2f  o xTokenize() */
5cd0: 0a 23 64 65 66 69 6e 65 20 46 54 53 35 5f 54 4f  .#define FTS5_TO
5ce0: 4b 45 4e 49 5a 45 5f 51 55 45 52 59 20 20 20 20  KENIZE_QUERY    
5cf0: 20 30 78 30 30 30 31 0a 23 64 65 66 69 6e 65 20   0x0001.#define 
5d00: 46 54 53 35 5f 54 4f 4b 45 4e 49 5a 45 5f 50 52  FTS5_TOKENIZE_PR
5d10: 45 46 49 58 20 20 20 20 30 78 30 30 30 32 0a 23  EFIX    0x0002.#
5d20: 64 65 66 69 6e 65 20 46 54 53 35 5f 54 4f 4b 45  define FTS5_TOKE
5d30: 4e 49 5a 45 5f 44 4f 43 55 4d 45 4e 54 20 20 30  NIZE_DOCUMENT  0
5d40: 78 30 30 30 34 0a 23 64 65 66 69 6e 65 20 46 54  x0004.#define FT
5d50: 53 35 5f 54 4f 4b 45 4e 49 5a 45 5f 41 55 58 20  S5_TOKENIZE_AUX 
5d60: 20 20 20 20 20 20 30 78 30 30 30 38 0a 0a 2f 2a        0x0008../*
5d70: 20 46 6c 61 67 73 20 74 68 61 74 20 6d 61 79 20   Flags that may 
5d80: 62 65 20 70 61 73 73 65 64 20 62 79 20 74 68 65  be passed by the
5d90: 20 74 6f 6b 65 6e 69 7a 65 72 20 69 6d 70 6c 65   tokenizer imple
5da0: 6d 65 6e 74 61 74 69 6f 6e 20 62 61 63 6b 20 74  mentation back t
5db0: 6f 20 46 54 53 35 0a 2a 2a 20 61 73 20 74 68 65  o FTS5.** as the
5dc0: 20 74 68 69 72 64 20 61 72 67 75 6d 65 6e 74 20   third argument 
5dd0: 74 6f 20 74 68 65 20 73 75 70 70 6c 69 65 64 20  to the supplied 
5de0: 78 54 6f 6b 65 6e 20 63 61 6c 6c 62 61 63 6b 2e  xToken callback.
5df0: 20 2a 2f 0a 23 64 65 66 69 6e 65 20 46 54 53 35   */.#define FTS5
5e00: 5f 54 4f 4b 45 4e 5f 43 4f 4c 4f 43 41 54 45 44  _TOKEN_COLOCATED
5e10: 20 20 20 20 30 78 30 30 30 31 20 20 20 20 20 20      0x0001      
5e20: 2f 2a 20 53 61 6d 65 20 70 6f 73 69 74 69 6f 6e  /* Same position
5e30: 20 61 73 20 70 72 65 76 2e 20 74 6f 6b 65 6e 20   as prev. token 
5e40: 2a 2f 0a 0a 2f 2a 0a 2a 2a 20 45 4e 44 20 4f 46  */../*.** END OF
5e50: 20 43 55 53 54 4f 4d 20 54 4f 4b 45 4e 49 5a 45   CUSTOM TOKENIZE
5e60: 52 53 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  RS.*************
5e70: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5e80: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5e90: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5ea0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f 0a 0a 2f  ************/../
5eb0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5ec0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5ed0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5ee0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5ef0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a 2a 2a 20 46 54 53  *********.** FTS
5f00: 35 20 45 58 54 45 4e 53 49 4f 4e 20 52 45 47 49  5 EXTENSION REGI
5f10: 53 54 52 41 54 49 4f 4e 20 41 50 49 0a 2a 2f 0a  STRATION API.*/.
5f20: 74 79 70 65 64 65 66 20 73 74 72 75 63 74 20 66  typedef struct f
5f30: 74 73 35 5f 61 70 69 20 66 74 73 35 5f 61 70 69  ts5_api fts5_api
5f40: 3b 0a 73 74 72 75 63 74 20 66 74 73 35 5f 61 70  ;.struct fts5_ap
5f50: 69 20 7b 0a 20 20 69 6e 74 20 69 56 65 72 73 69  i {.  int iVersi
5f60: 6f 6e 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  on;             
5f70: 20 20 20 20 20 20 2f 2a 20 43 75 72 72 65 6e 74        /* Current
5f80: 6c 79 20 61 6c 77 61 79 73 20 73 65 74 20 74 6f  ly always set to
5f90: 20 32 20 2a 2f 0a 0a 20 20 2f 2a 20 43 72 65 61   2 */..  /* Crea
5fa0: 74 65 20 61 20 6e 65 77 20 74 6f 6b 65 6e 69 7a  te a new tokeniz
5fb0: 65 72 20 2a 2f 0a 20 20 69 6e 74 20 28 2a 78 43  er */.  int (*xC
5fc0: 72 65 61 74 65 54 6f 6b 65 6e 69 7a 65 72 29 28  reateTokenizer)(
5fd0: 0a 20 20 20 20 66 74 73 35 5f 61 70 69 20 2a 70  .    fts5_api *p
5fe0: 41 70 69 2c 0a 20 20 20 20 63 6f 6e 73 74 20 63  Api,.    const c
5ff0: 68 61 72 20 2a 7a 4e 61 6d 65 2c 0a 20 20 20 20  har *zName,.    
6000: 76 6f 69 64 20 2a 70 43 6f 6e 74 65 78 74 2c 0a  void *pContext,.
6010: 20 20 20 20 66 74 73 35 5f 74 6f 6b 65 6e 69 7a      fts5_tokeniz
6020: 65 72 20 2a 70 54 6f 6b 65 6e 69 7a 65 72 2c 0a  er *pTokenizer,.
6030: 20 20 20 20 76 6f 69 64 20 28 2a 78 44 65 73 74      void (*xDest
6040: 72 6f 79 29 28 76 6f 69 64 2a 29 0a 20 20 29 3b  roy)(void*).  );
6050: 0a 0a 20 20 2f 2a 20 46 69 6e 64 20 61 6e 20 65  ..  /* Find an e
6060: 78 69 73 74 69 6e 67 20 74 6f 6b 65 6e 69 7a 65  xisting tokenize
6070: 72 20 2a 2f 0a 20 20 69 6e 74 20 28 2a 78 46 69  r */.  int (*xFi
6080: 6e 64 54 6f 6b 65 6e 69 7a 65 72 29 28 0a 20 20  ndTokenizer)(.  
6090: 20 20 66 74 73 35 5f 61 70 69 20 2a 70 41 70 69    fts5_api *pApi
60a0: 2c 0a 20 20 20 20 63 6f 6e 73 74 20 63 68 61 72  ,.    const char
60b0: 20 2a 7a 4e 61 6d 65 2c 0a 20 20 20 20 76 6f 69   *zName,.    voi
60c0: 64 20 2a 2a 70 70 43 6f 6e 74 65 78 74 2c 0a 20  d **ppContext,. 
60d0: 20 20 20 66 74 73 35 5f 74 6f 6b 65 6e 69 7a 65     fts5_tokenize
60e0: 72 20 2a 70 54 6f 6b 65 6e 69 7a 65 72 0a 20 20  r *pTokenizer.  
60f0: 29 3b 0a 0a 20 20 2f 2a 20 43 72 65 61 74 65 20  );..  /* Create 
6100: 61 20 6e 65 77 20 61 75 78 69 6c 69 61 72 79 20  a new auxiliary 
6110: 66 75 6e 63 74 69 6f 6e 20 2a 2f 0a 20 20 69 6e  function */.  in
6120: 74 20 28 2a 78 43 72 65 61 74 65 46 75 6e 63 74  t (*xCreateFunct
6130: 69 6f 6e 29 28 0a 20 20 20 20 66 74 73 35 5f 61  ion)(.    fts5_a
6140: 70 69 20 2a 70 41 70 69 2c 0a 20 20 20 20 63 6f  pi *pApi,.    co
6150: 6e 73 74 20 63 68 61 72 20 2a 7a 4e 61 6d 65 2c  nst char *zName,
6160: 0a 20 20 20 20 76 6f 69 64 20 2a 70 43 6f 6e 74  .    void *pCont
6170: 65 78 74 2c 0a 20 20 20 20 66 74 73 35 5f 65 78  ext,.    fts5_ex
6180: 74 65 6e 73 69 6f 6e 5f 66 75 6e 63 74 69 6f 6e  tension_function
6190: 20 78 46 75 6e 63 74 69 6f 6e 2c 0a 20 20 20 20   xFunction,.    
61a0: 76 6f 69 64 20 28 2a 78 44 65 73 74 72 6f 79 29  void (*xDestroy)
61b0: 28 76 6f 69 64 2a 29 0a 20 20 29 3b 0a 7d 3b 0a  (void*).  );.};.
61c0: 0a 2f 2a 0a 2a 2a 20 45 4e 44 20 4f 46 20 52 45  ./*.** END OF RE
61d0: 47 49 53 54 52 41 54 49 4f 4e 20 41 50 49 0a 2a  GISTRATION API.*
61e0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
61f0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
6200: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
6210: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
6220: 2a 2a 2a 2a 2a 2a 2a 2a 2f 0a 0a 23 69 66 64 65  ********/..#ifde
6230: 66 20 5f 5f 63 70 6c 75 73 70 6c 75 73 0a 7d 20  f __cplusplus.} 
6240: 20 2f 2a 20 65 6e 64 20 6f 66 20 74 68 65 20 27   /* end of the '
6250: 65 78 74 65 72 6e 20 22 43 22 27 20 62 6c 6f 63  extern "C"' bloc
6260: 6b 20 2a 2f 0a 23 65 6e 64 69 66 0a 0a 23 65 6e  k */.#endif..#en
6270: 64 69 66 20 2f 2a 20 5f 46 54 53 35 5f 48 20 2a  dif /* _FTS5_H *
6280: 2f 0a                                            /.