/ Hex Artifact Content
Login

Artifact e676f8f0c472cfbb3194febf0eadc1cea6ff0d0c:


0000: 2f 2a 0a 2a 2a 20 32 30 30 37 20 4a 75 6e 65 20  /*.** 2007 June 
0010: 32 32 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74  22.**.** The aut
0020: 68 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f  hor disclaims co
0030: 70 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20  pyright to this 
0040: 73 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e  source code.  In
0050: 20 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c   place of.** a l
0060: 65 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72  egal notice, her
0070: 65 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a  e is a blessing:
0080: 0a 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f  .**.**    May yo
0090: 75 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f  u do good and no
00a0: 74 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61  t evil..**    Ma
00b0: 79 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69  y you find forgi
00c0: 76 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73  veness for yours
00d0: 65 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20  elf and forgive 
00e0: 6f 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61  others..**    Ma
00f0: 79 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65  y you share free
0100: 6c 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67  ly, never taking
0110: 20 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67   more than you g
0120: 69 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a  ive..**.********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 0a 2a 2a 20 54 68 69 73 20 66 69 6c 65 20 69  *.** This file i
0180: 6d 70 6c 65 6d 65 6e 74 73 20 61 20 74 6f 6b 65  mplements a toke
0190: 6e 69 7a 65 72 20 66 6f 72 20 66 74 73 33 20 62  nizer for fts3 b
01a0: 61 73 65 64 20 6f 6e 20 74 68 65 20 49 43 55 20  ased on the ICU 
01b0: 6c 69 62 72 61 72 79 2e 0a 2a 2a 20 0a 2a 2a 20  library..** .** 
01c0: 24 49 64 3a 20 66 74 73 33 5f 69 63 75 2e 63 2c  $Id: fts3_icu.c,
01d0: 76 20 31 2e 32 20 32 30 30 37 2f 31 30 2f 32 34  v 1.2 2007/10/24
01e0: 20 32 31 3a 35 32 3a 33 37 20 73 68 65 73 73 20   21:52:37 shess 
01f0: 45 78 70 20 24 0a 2a 2f 0a 0a 23 69 66 20 21 64  Exp $.*/..#if !d
0200: 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f 43 4f  efined(SQLITE_CO
0210: 52 45 29 20 7c 7c 20 64 65 66 69 6e 65 64 28 53  RE) || defined(S
0220: 51 4c 49 54 45 5f 45 4e 41 42 4c 45 5f 46 54 53  QLITE_ENABLE_FTS
0230: 33 29 0a 23 69 66 64 65 66 20 53 51 4c 49 54 45  3).#ifdef SQLITE
0240: 5f 45 4e 41 42 4c 45 5f 49 43 55 0a 0a 23 69 6e  _ENABLE_ICU..#in
0250: 63 6c 75 64 65 20 3c 61 73 73 65 72 74 2e 68 3e  clude <assert.h>
0260: 0a 23 69 6e 63 6c 75 64 65 20 3c 73 74 72 69 6e  .#include <strin
0270: 67 2e 68 3e 0a 23 69 6e 63 6c 75 64 65 20 22 66  g.h>.#include "f
0280: 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72 2e 68 22  ts3_tokenizer.h"
0290: 0a 0a 23 69 6e 63 6c 75 64 65 20 3c 75 6e 69 63  ..#include <unic
02a0: 6f 64 65 2f 75 62 72 6b 2e 68 3e 0a 23 69 6e 63  ode/ubrk.h>.#inc
02b0: 6c 75 64 65 20 3c 75 6e 69 63 6f 64 65 2f 75 63  lude <unicode/uc
02c0: 6f 6c 2e 68 3e 0a 23 69 6e 63 6c 75 64 65 20 3c  ol.h>.#include <
02d0: 75 6e 69 63 6f 64 65 2f 75 73 74 72 69 6e 67 2e  unicode/ustring.
02e0: 68 3e 0a 23 69 6e 63 6c 75 64 65 20 3c 75 6e 69  h>.#include <uni
02f0: 63 6f 64 65 2f 75 74 66 31 36 2e 68 3e 0a 0a 74  code/utf16.h>..t
0300: 79 70 65 64 65 66 20 73 74 72 75 63 74 20 49 63  ypedef struct Ic
0310: 75 54 6f 6b 65 6e 69 7a 65 72 20 49 63 75 54 6f  uTokenizer IcuTo
0320: 6b 65 6e 69 7a 65 72 3b 0a 74 79 70 65 64 65 66  kenizer;.typedef
0330: 20 73 74 72 75 63 74 20 49 63 75 43 75 72 73 6f   struct IcuCurso
0340: 72 20 49 63 75 43 75 72 73 6f 72 3b 0a 0a 73 74  r IcuCursor;..st
0350: 72 75 63 74 20 49 63 75 54 6f 6b 65 6e 69 7a 65  ruct IcuTokenize
0360: 72 20 7b 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f  r {.  sqlite3_to
0370: 6b 65 6e 69 7a 65 72 20 62 61 73 65 3b 0a 20 20  kenizer base;.  
0380: 63 68 61 72 20 2a 7a 4c 6f 63 61 6c 65 3b 0a 7d  char *zLocale;.}
0390: 3b 0a 0a 73 74 72 75 63 74 20 49 63 75 43 75 72  ;..struct IcuCur
03a0: 73 6f 72 20 7b 0a 20 20 73 71 6c 69 74 65 33 5f  sor {.  sqlite3_
03b0: 74 6f 6b 65 6e 69 7a 65 72 5f 63 75 72 73 6f 72  tokenizer_cursor
03c0: 20 62 61 73 65 3b 0a 0a 20 20 55 42 72 65 61 6b   base;..  UBreak
03d0: 49 74 65 72 61 74 6f 72 20 2a 70 49 74 65 72 3b  Iterator *pIter;
03e0: 20 20 20 20 20 20 2f 2a 20 49 43 55 20 62 72 65        /* ICU bre
03f0: 61 6b 2d 69 74 65 72 61 74 6f 72 20 6f 62 6a 65  ak-iterator obje
0400: 63 74 20 2a 2f 0a 20 20 69 6e 74 20 6e 43 68 61  ct */.  int nCha
0410: 72 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  r;              
0420: 20 20 20 20 2f 2a 20 4e 75 6d 62 65 72 20 6f 66      /* Number of
0430: 20 55 43 68 61 72 20 65 6c 65 6d 65 6e 74 73 20   UChar elements 
0440: 69 6e 20 70 49 6e 70 75 74 20 2a 2f 0a 20 20 55  in pInput */.  U
0450: 43 68 61 72 20 2a 61 43 68 61 72 3b 20 20 20 20  Char *aChar;    
0460: 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 43 6f             /* Co
0470: 70 79 20 6f 66 20 69 6e 70 75 74 20 75 73 69 6e  py of input usin
0480: 67 20 75 74 66 2d 31 36 20 65 6e 63 6f 64 69 6e  g utf-16 encodin
0490: 67 20 2a 2f 0a 20 20 69 6e 74 20 2a 61 4f 66 66  g */.  int *aOff
04a0: 73 65 74 3b 20 20 20 20 20 20 20 20 20 20 20 20  set;            
04b0: 20 20 20 2f 2a 20 4f 66 66 73 65 74 73 20 6f 66     /* Offsets of
04c0: 20 65 61 63 68 20 63 68 61 72 61 63 74 65 72 20   each character 
04d0: 69 6e 20 75 74 66 2d 38 20 69 6e 70 75 74 20 2a  in utf-8 input *
04e0: 2f 0a 0a 20 20 69 6e 74 20 6e 42 75 66 66 65 72  /..  int nBuffer
04f0: 3b 0a 20 20 63 68 61 72 20 2a 7a 42 75 66 66 65  ;.  char *zBuffe
0500: 72 3b 0a 0a 20 20 69 6e 74 20 69 54 6f 6b 65 6e  r;..  int iToken
0510: 3b 0a 7d 3b 0a 0a 2f 2a 0a 2a 2a 20 43 72 65 61  ;.};../*.** Crea
0520: 74 65 20 61 20 6e 65 77 20 74 6f 6b 65 6e 69 7a  te a new tokeniz
0530: 65 72 20 69 6e 73 74 61 6e 63 65 2e 0a 2a 2f 0a  er instance..*/.
0540: 73 74 61 74 69 63 20 69 6e 74 20 69 63 75 43 72  static int icuCr
0550: 65 61 74 65 28 0a 20 20 69 6e 74 20 61 72 67 63  eate(.  int argc
0560: 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ,               
0570: 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20               /* 
0580: 4e 75 6d 62 65 72 20 6f 66 20 65 6e 74 72 69 65  Number of entrie
0590: 73 20 69 6e 20 61 72 67 76 5b 5d 20 2a 2f 0a 20  s in argv[] */. 
05a0: 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 20 63 6f   const char * co
05b0: 6e 73 74 20 2a 61 72 67 76 2c 20 20 20 20 20 20  nst *argv,      
05c0: 20 20 20 20 20 20 2f 2a 20 54 6f 6b 65 6e 69 7a        /* Tokeniz
05d0: 65 72 20 63 72 65 61 74 69 6f 6e 20 61 72 67 75  er creation argu
05e0: 6d 65 6e 74 73 20 2a 2f 0a 20 20 73 71 6c 69 74  ments */.  sqlit
05f0: 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 20 2a 2a 70  e3_tokenizer **p
0600: 70 54 6f 6b 65 6e 69 7a 65 72 20 20 20 20 20 20  pTokenizer      
0610: 2f 2a 20 4f 55 54 3a 20 43 72 65 61 74 65 64 20  /* OUT: Created 
0620: 74 6f 6b 65 6e 69 7a 65 72 20 2a 2f 0a 29 7b 0a  tokenizer */.){.
0630: 20 20 49 63 75 54 6f 6b 65 6e 69 7a 65 72 20 2a    IcuTokenizer *
0640: 70 3b 0a 20 20 69 6e 74 20 6e 20 3d 20 30 3b 0a  p;.  int n = 0;.
0650: 0a 20 20 69 66 28 20 61 72 67 63 3e 30 20 29 7b  .  if( argc>0 ){
0660: 0a 20 20 20 20 6e 20 3d 20 73 74 72 6c 65 6e 28  .    n = strlen(
0670: 61 72 67 76 5b 30 5d 29 2b 31 3b 0a 20 20 7d 0a  argv[0])+1;.  }.
0680: 20 20 70 20 3d 20 28 49 63 75 54 6f 6b 65 6e 69    p = (IcuTokeni
0690: 7a 65 72 20 2a 29 73 71 6c 69 74 65 33 5f 6d 61  zer *)sqlite3_ma
06a0: 6c 6c 6f 63 28 73 69 7a 65 6f 66 28 49 63 75 54  lloc(sizeof(IcuT
06b0: 6f 6b 65 6e 69 7a 65 72 29 2b 6e 29 3b 0a 20 20  okenizer)+n);.  
06c0: 69 66 28 20 21 70 20 29 7b 0a 20 20 20 20 72 65  if( !p ){.    re
06d0: 74 75 72 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d 45  turn SQLITE_NOME
06e0: 4d 3b 0a 20 20 7d 0a 20 20 6d 65 6d 73 65 74 28  M;.  }.  memset(
06f0: 70 2c 20 30 2c 20 73 69 7a 65 6f 66 28 49 63 75  p, 0, sizeof(Icu
0700: 54 6f 6b 65 6e 69 7a 65 72 29 29 3b 0a 0a 20 20  Tokenizer));..  
0710: 69 66 28 20 6e 20 29 7b 0a 20 20 20 20 70 2d 3e  if( n ){.    p->
0720: 7a 4c 6f 63 61 6c 65 20 3d 20 28 63 68 61 72 20  zLocale = (char 
0730: 2a 29 26 70 5b 31 5d 3b 0a 20 20 20 20 6d 65 6d  *)&p[1];.    mem
0740: 63 70 79 28 70 2d 3e 7a 4c 6f 63 61 6c 65 2c 20  cpy(p->zLocale, 
0750: 61 72 67 76 5b 30 5d 2c 20 6e 29 3b 0a 20 20 7d  argv[0], n);.  }
0760: 0a 0a 20 20 2a 70 70 54 6f 6b 65 6e 69 7a 65 72  ..  *ppTokenizer
0770: 20 3d 20 28 73 71 6c 69 74 65 33 5f 74 6f 6b 65   = (sqlite3_toke
0780: 6e 69 7a 65 72 20 2a 29 70 3b 0a 0a 20 20 72 65  nizer *)p;..  re
0790: 74 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a  turn SQLITE_OK;.
07a0: 7d 0a 0a 2f 2a 0a 2a 2a 20 44 65 73 74 72 6f 79  }../*.** Destroy
07b0: 20 61 20 74 6f 6b 65 6e 69 7a 65 72 0a 2a 2f 0a   a tokenizer.*/.
07c0: 73 74 61 74 69 63 20 69 6e 74 20 69 63 75 44 65  static int icuDe
07d0: 73 74 72 6f 79 28 73 71 6c 69 74 65 33 5f 74 6f  stroy(sqlite3_to
07e0: 6b 65 6e 69 7a 65 72 20 2a 70 54 6f 6b 65 6e 69  kenizer *pTokeni
07f0: 7a 65 72 29 7b 0a 20 20 49 63 75 54 6f 6b 65 6e  zer){.  IcuToken
0800: 69 7a 65 72 20 2a 70 20 3d 20 28 49 63 75 54 6f  izer *p = (IcuTo
0810: 6b 65 6e 69 7a 65 72 20 2a 29 70 54 6f 6b 65 6e  kenizer *)pToken
0820: 69 7a 65 72 3b 0a 20 20 73 71 6c 69 74 65 33 5f  izer;.  sqlite3_
0830: 66 72 65 65 28 70 29 3b 0a 20 20 72 65 74 75 72  free(p);.  retur
0840: 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d 0a 0a  n SQLITE_OK;.}..
0850: 2f 2a 0a 2a 2a 20 50 72 65 70 61 72 65 20 74 6f  /*.** Prepare to
0860: 20 62 65 67 69 6e 20 74 6f 6b 65 6e 69 7a 69 6e   begin tokenizin
0870: 67 20 61 20 70 61 72 74 69 63 75 6c 61 72 20 73  g a particular s
0880: 74 72 69 6e 67 2e 20 20 54 68 65 20 69 6e 70 75  tring.  The inpu
0890: 74 0a 2a 2a 20 73 74 72 69 6e 67 20 74 6f 20 62  t.** string to b
08a0: 65 20 74 6f 6b 65 6e 69 7a 65 64 20 69 73 20 70  e tokenized is p
08b0: 49 6e 70 75 74 5b 30 2e 2e 6e 42 79 74 65 73 2d  Input[0..nBytes-
08c0: 31 5d 2e 20 20 41 20 63 75 72 73 6f 72 0a 2a 2a  1].  A cursor.**
08d0: 20 75 73 65 64 20 74 6f 20 69 6e 63 72 65 6d 65   used to increme
08e0: 6e 74 61 6c 6c 79 20 74 6f 6b 65 6e 69 7a 65 20  ntally tokenize 
08f0: 74 68 69 73 20 73 74 72 69 6e 67 20 69 73 20 72  this string is r
0900: 65 74 75 72 6e 65 64 20 69 6e 20 0a 2a 2a 20 2a  eturned in .** *
0910: 70 70 43 75 72 73 6f 72 2e 0a 2a 2f 0a 73 74 61  ppCursor..*/.sta
0920: 74 69 63 20 69 6e 74 20 69 63 75 4f 70 65 6e 28  tic int icuOpen(
0930: 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e  .  sqlite3_token
0940: 69 7a 65 72 20 2a 70 54 6f 6b 65 6e 69 7a 65 72  izer *pTokenizer
0950: 2c 20 20 20 20 20 20 20 20 20 2f 2a 20 54 68 65  ,         /* The
0960: 20 74 6f 6b 65 6e 69 7a 65 72 20 2a 2f 0a 20 20   tokenizer */.  
0970: 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a 49 6e 70  const char *zInp
0980: 75 74 2c 20 20 20 20 20 20 20 20 20 20 20 20 20  ut,             
0990: 20 20 20 20 20 20 20 2f 2a 20 49 6e 70 75 74 20         /* Input 
09a0: 73 74 72 69 6e 67 20 2a 2f 0a 20 20 69 6e 74 20  string */.  int 
09b0: 6e 49 6e 70 75 74 2c 20 20 20 20 20 20 20 20 20  nInput,         
09c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
09d0: 20 20 20 2f 2a 20 4c 65 6e 67 74 68 20 6f 66 20     /* Length of 
09e0: 7a 49 6e 70 75 74 20 69 6e 20 62 79 74 65 73 20  zInput in bytes 
09f0: 2a 2f 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b  */.  sqlite3_tok
0a00: 65 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a 2a  enizer_cursor **
0a10: 70 70 43 75 72 73 6f 72 20 20 20 20 2f 2a 20 4f  ppCursor    /* O
0a20: 55 54 3a 20 54 6f 6b 65 6e 69 7a 61 74 69 6f 6e  UT: Tokenization
0a30: 20 63 75 72 73 6f 72 20 2a 2f 0a 29 7b 0a 20 20   cursor */.){.  
0a40: 49 63 75 54 6f 6b 65 6e 69 7a 65 72 20 2a 70 20  IcuTokenizer *p 
0a50: 3d 20 28 49 63 75 54 6f 6b 65 6e 69 7a 65 72 20  = (IcuTokenizer 
0a60: 2a 29 70 54 6f 6b 65 6e 69 7a 65 72 3b 0a 20 20  *)pTokenizer;.  
0a70: 49 63 75 43 75 72 73 6f 72 20 2a 70 43 73 72 3b  IcuCursor *pCsr;
0a80: 0a 0a 20 20 63 6f 6e 73 74 20 69 6e 74 33 32 5f  ..  const int32_
0a90: 74 20 6f 70 74 20 3d 20 55 5f 46 4f 4c 44 5f 43  t opt = U_FOLD_C
0aa0: 41 53 45 5f 44 45 46 41 55 4c 54 3b 0a 20 20 55  ASE_DEFAULT;.  U
0ab0: 45 72 72 6f 72 43 6f 64 65 20 73 74 61 74 75 73  ErrorCode status
0ac0: 20 3d 20 55 5f 5a 45 52 4f 5f 45 52 52 4f 52 3b   = U_ZERO_ERROR;
0ad0: 0a 20 20 69 6e 74 20 6e 43 68 61 72 3b 0a 0a 20  .  int nChar;.. 
0ae0: 20 55 43 68 61 72 33 32 20 63 3b 0a 20 20 69 6e   UChar32 c;.  in
0af0: 74 20 69 49 6e 70 75 74 20 3d 20 30 3b 0a 20 20  t iInput = 0;.  
0b00: 69 6e 74 20 69 4f 75 74 20 3d 20 30 3b 0a 0a 20  int iOut = 0;.. 
0b10: 20 2a 70 70 43 75 72 73 6f 72 20 3d 20 30 3b 0a   *ppCursor = 0;.
0b20: 0a 20 20 69 66 28 20 2d 31 20 3d 3d 20 6e 49 6e  .  if( -1 == nIn
0b30: 70 75 74 20 29 20 6e 49 6e 70 75 74 20 3d 20 73  put ) nInput = s
0b40: 74 72 6c 65 6e 28 6e 49 6e 70 75 74 29 3b 0a 20  trlen(nInput);. 
0b50: 20 6e 43 68 61 72 20 3d 20 6e 49 6e 70 75 74 2b   nChar = nInput+
0b60: 31 3b 0a 20 20 70 43 73 72 20 3d 20 28 49 63 75  1;.  pCsr = (Icu
0b70: 43 75 72 73 6f 72 20 2a 29 73 71 6c 69 74 65 33  Cursor *)sqlite3
0b80: 5f 6d 61 6c 6c 6f 63 28 0a 20 20 20 20 20 20 73  _malloc(.      s
0b90: 69 7a 65 6f 66 28 49 63 75 43 75 72 73 6f 72 29  izeof(IcuCursor)
0ba0: 20 2b 20 20 20 20 20 20 20 20 20 20 20 20 20 20   +              
0bb0: 20 20 2f 2a 20 49 63 75 43 75 72 73 6f 72 20 2a    /* IcuCursor *
0bc0: 2f 0a 20 20 20 20 20 20 6e 43 68 61 72 20 2a 20  /.      nChar * 
0bd0: 73 69 7a 65 6f 66 28 55 43 68 61 72 29 20 2b 20  sizeof(UChar) + 
0be0: 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 49 63             /* Ic
0bf0: 75 43 75 72 73 6f 72 2e 61 43 68 61 72 5b 5d 20  uCursor.aChar[] 
0c00: 2a 2f 0a 20 20 20 20 20 20 28 6e 43 68 61 72 2b  */.      (nChar+
0c10: 31 29 20 2a 20 73 69 7a 65 6f 66 28 69 6e 74 29  1) * sizeof(int)
0c20: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 49              /* I
0c30: 63 75 43 75 72 73 6f 72 2e 61 4f 66 66 73 65 74  cuCursor.aOffset
0c40: 5b 5d 20 2a 2f 0a 20 20 29 3b 0a 20 20 69 66 28  [] */.  );.  if(
0c50: 20 21 70 43 73 72 20 29 7b 0a 20 20 20 20 72 65   !pCsr ){.    re
0c60: 74 75 72 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d 45  turn SQLITE_NOME
0c70: 4d 3b 0a 20 20 7d 0a 20 20 6d 65 6d 73 65 74 28  M;.  }.  memset(
0c80: 70 43 73 72 2c 20 30 2c 20 73 69 7a 65 6f 66 28  pCsr, 0, sizeof(
0c90: 49 63 75 43 75 72 73 6f 72 29 29 3b 0a 20 20 70  IcuCursor));.  p
0ca0: 43 73 72 2d 3e 61 43 68 61 72 20 3d 20 28 55 43  Csr->aChar = (UC
0cb0: 68 61 72 20 2a 29 26 70 43 73 72 5b 31 5d 3b 0a  har *)&pCsr[1];.
0cc0: 20 20 70 43 73 72 2d 3e 61 4f 66 66 73 65 74 20    pCsr->aOffset 
0cd0: 3d 20 28 69 6e 74 20 2a 29 26 70 43 73 72 2d 3e  = (int *)&pCsr->
0ce0: 61 43 68 61 72 5b 6e 43 68 61 72 5d 3b 0a 0a 20  aChar[nChar];.. 
0cf0: 20 70 43 73 72 2d 3e 61 4f 66 66 73 65 74 5b 69   pCsr->aOffset[i
0d00: 4f 75 74 5d 20 3d 20 69 49 6e 70 75 74 3b 0a 20  Out] = iInput;. 
0d10: 20 55 38 5f 4e 45 58 54 28 7a 49 6e 70 75 74 2c   U8_NEXT(zInput,
0d20: 20 69 49 6e 70 75 74 2c 20 6e 49 6e 70 75 74 2c   iInput, nInput,
0d30: 20 63 29 3b 20 0a 20 20 77 68 69 6c 65 28 20 63   c); .  while( c
0d40: 3e 30 20 29 7b 0a 20 20 20 20 69 6e 74 20 69 73  >0 ){.    int is
0d50: 45 72 72 6f 72 20 3d 20 30 3b 0a 20 20 20 20 63  Error = 0;.    c
0d60: 20 3d 20 75 5f 66 6f 6c 64 43 61 73 65 28 63 2c   = u_foldCase(c,
0d70: 20 6f 70 74 29 3b 0a 20 20 20 20 55 31 36 5f 41   opt);.    U16_A
0d80: 50 50 45 4e 44 28 70 43 73 72 2d 3e 61 43 68 61  PPEND(pCsr->aCha
0d90: 72 2c 20 69 4f 75 74 2c 20 6e 43 68 61 72 2c 20  r, iOut, nChar, 
0da0: 63 2c 20 69 73 45 72 72 6f 72 29 3b 0a 20 20 20  c, isError);.   
0db0: 20 69 66 28 20 69 73 45 72 72 6f 72 20 29 7b 0a   if( isError ){.
0dc0: 20 20 20 20 20 20 73 71 6c 69 74 65 33 5f 66 72        sqlite3_fr
0dd0: 65 65 28 70 43 73 72 29 3b 0a 20 20 20 20 20 20  ee(pCsr);.      
0de0: 72 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 45 52  return SQLITE_ER
0df0: 52 4f 52 3b 0a 20 20 20 20 7d 0a 20 20 20 20 70  ROR;.    }.    p
0e00: 43 73 72 2d 3e 61 4f 66 66 73 65 74 5b 69 4f 75  Csr->aOffset[iOu
0e10: 74 5d 20 3d 20 69 49 6e 70 75 74 3b 0a 0a 20 20  t] = iInput;..  
0e20: 20 20 69 66 28 20 69 49 6e 70 75 74 3c 6e 49 6e    if( iInput<nIn
0e30: 70 75 74 20 29 7b 0a 20 20 20 20 20 20 55 38 5f  put ){.      U8_
0e40: 4e 45 58 54 28 7a 49 6e 70 75 74 2c 20 69 49 6e  NEXT(zInput, iIn
0e50: 70 75 74 2c 20 6e 49 6e 70 75 74 2c 20 63 29 3b  put, nInput, c);
0e60: 0a 20 20 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20  .    }else{.    
0e70: 20 20 63 20 3d 20 30 3b 0a 20 20 20 20 7d 0a 20    c = 0;.    }. 
0e80: 20 7d 0a 0a 20 20 70 43 73 72 2d 3e 70 49 74 65   }..  pCsr->pIte
0e90: 72 20 3d 20 75 62 72 6b 5f 6f 70 65 6e 28 55 42  r = ubrk_open(UB
0ea0: 52 4b 5f 57 4f 52 44 2c 20 70 2d 3e 7a 4c 6f 63  RK_WORD, p->zLoc
0eb0: 61 6c 65 2c 20 70 43 73 72 2d 3e 61 43 68 61 72  ale, pCsr->aChar
0ec0: 2c 20 69 4f 75 74 2c 20 26 73 74 61 74 75 73 29  , iOut, &status)
0ed0: 3b 0a 20 20 69 66 28 20 21 55 5f 53 55 43 43 45  ;.  if( !U_SUCCE
0ee0: 53 53 28 73 74 61 74 75 73 29 20 29 7b 0a 20 20  SS(status) ){.  
0ef0: 20 20 73 71 6c 69 74 65 33 5f 66 72 65 65 28 70    sqlite3_free(p
0f00: 43 73 72 29 3b 0a 20 20 20 20 72 65 74 75 72 6e  Csr);.    return
0f10: 20 53 51 4c 49 54 45 5f 45 52 52 4f 52 3b 0a 20   SQLITE_ERROR;. 
0f20: 20 7d 0a 20 20 70 43 73 72 2d 3e 6e 43 68 61 72   }.  pCsr->nChar
0f30: 20 3d 20 69 4f 75 74 3b 0a 0a 20 20 75 62 72 6b   = iOut;..  ubrk
0f40: 5f 66 69 72 73 74 28 70 43 73 72 2d 3e 70 49 74  _first(pCsr->pIt
0f50: 65 72 29 3b 0a 20 20 2a 70 70 43 75 72 73 6f 72  er);.  *ppCursor
0f60: 20 3d 20 28 73 71 6c 69 74 65 33 5f 74 6f 6b 65   = (sqlite3_toke
0f70: 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a 29 70  nizer_cursor *)p
0f80: 43 73 72 3b 0a 20 20 72 65 74 75 72 6e 20 53 51  Csr;.  return SQ
0f90: 4c 49 54 45 5f 4f 4b 3b 0a 7d 0a 0a 2f 2a 0a 2a  LITE_OK;.}../*.*
0fa0: 2a 20 43 6c 6f 73 65 20 61 20 74 6f 6b 65 6e 69  * Close a tokeni
0fb0: 7a 61 74 69 6f 6e 20 63 75 72 73 6f 72 20 70 72  zation cursor pr
0fc0: 65 76 69 6f 75 73 6c 79 20 6f 70 65 6e 65 64 20  eviously opened 
0fd0: 62 79 20 61 20 63 61 6c 6c 20 74 6f 20 69 63 75  by a call to icu
0fe0: 4f 70 65 6e 28 29 2e 0a 2a 2f 0a 73 74 61 74 69  Open()..*/.stati
0ff0: 63 20 69 6e 74 20 69 63 75 43 6c 6f 73 65 28 73  c int icuClose(s
1000: 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72  qlite3_tokenizer
1010: 5f 63 75 72 73 6f 72 20 2a 70 43 75 72 73 6f 72  _cursor *pCursor
1020: 29 7b 0a 20 20 49 63 75 43 75 72 73 6f 72 20 2a  ){.  IcuCursor *
1030: 70 43 73 72 20 3d 20 28 49 63 75 43 75 72 73 6f  pCsr = (IcuCurso
1040: 72 20 2a 29 70 43 75 72 73 6f 72 3b 0a 20 20 75  r *)pCursor;.  u
1050: 62 72 6b 5f 63 6c 6f 73 65 28 70 43 73 72 2d 3e  brk_close(pCsr->
1060: 70 49 74 65 72 29 3b 0a 20 20 73 71 6c 69 74 65  pIter);.  sqlite
1070: 33 5f 66 72 65 65 28 70 43 73 72 2d 3e 7a 42 75  3_free(pCsr->zBu
1080: 66 66 65 72 29 3b 0a 20 20 73 71 6c 69 74 65 33  ffer);.  sqlite3
1090: 5f 66 72 65 65 28 70 43 73 72 29 3b 0a 20 20 72  _free(pCsr);.  r
10a0: 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b  eturn SQLITE_OK;
10b0: 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 45 78 74 72 61 63  .}../*.** Extrac
10c0: 74 20 74 68 65 20 6e 65 78 74 20 74 6f 6b 65 6e  t the next token
10d0: 20 66 72 6f 6d 20 61 20 74 6f 6b 65 6e 69 7a 61   from a tokeniza
10e0: 74 69 6f 6e 20 63 75 72 73 6f 72 2e 0a 2a 2f 0a  tion cursor..*/.
10f0: 73 74 61 74 69 63 20 69 6e 74 20 69 63 75 4e 65  static int icuNe
1100: 78 74 28 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f  xt(.  sqlite3_to
1110: 6b 65 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a  kenizer_cursor *
1120: 70 43 75 72 73 6f 72 2c 20 20 2f 2a 20 43 75 72  pCursor,  /* Cur
1130: 73 6f 72 20 72 65 74 75 72 6e 65 64 20 62 79 20  sor returned by 
1140: 73 69 6d 70 6c 65 4f 70 65 6e 20 2a 2f 0a 20 20  simpleOpen */.  
1150: 63 6f 6e 73 74 20 63 68 61 72 20 2a 2a 70 70 54  const char **ppT
1160: 6f 6b 65 6e 2c 20 20 20 20 20 20 20 20 20 20 20  oken,           
1170: 20 20 20 20 2f 2a 20 4f 55 54 3a 20 2a 70 70 54      /* OUT: *ppT
1180: 6f 6b 65 6e 20 69 73 20 74 68 65 20 74 6f 6b 65  oken is the toke
1190: 6e 20 74 65 78 74 20 2a 2f 0a 20 20 69 6e 74 20  n text */.  int 
11a0: 2a 70 6e 42 79 74 65 73 2c 20 20 20 20 20 20 20  *pnBytes,       
11b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
11c0: 2f 2a 20 4f 55 54 3a 20 4e 75 6d 62 65 72 20 6f  /* OUT: Number o
11d0: 66 20 62 79 74 65 73 20 69 6e 20 74 6f 6b 65 6e  f bytes in token
11e0: 20 2a 2f 0a 20 20 69 6e 74 20 2a 70 69 53 74 61   */.  int *piSta
11f0: 72 74 4f 66 66 73 65 74 2c 20 20 20 20 20 20 20  rtOffset,       
1200: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 4f 55 54            /* OUT
1210: 3a 20 53 74 61 72 74 69 6e 67 20 6f 66 66 73 65  : Starting offse
1220: 74 20 6f 66 20 74 6f 6b 65 6e 20 2a 2f 0a 20 20  t of token */.  
1230: 69 6e 74 20 2a 70 69 45 6e 64 4f 66 66 73 65 74  int *piEndOffset
1240: 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ,               
1250: 20 20 20 20 2f 2a 20 4f 55 54 3a 20 45 6e 64 69      /* OUT: Endi
1260: 6e 67 20 6f 66 66 73 65 74 20 6f 66 20 74 6f 6b  ng offset of tok
1270: 65 6e 20 2a 2f 0a 20 20 69 6e 74 20 2a 70 69 50  en */.  int *piP
1280: 6f 73 69 74 69 6f 6e 20 20 20 20 20 20 20 20 20  osition         
1290: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 4f              /* O
12a0: 55 54 3a 20 50 6f 73 69 74 69 6f 6e 20 69 6e 74  UT: Position int
12b0: 65 67 65 72 20 6f 66 20 74 6f 6b 65 6e 20 2a 2f  eger of token */
12c0: 0a 29 7b 0a 20 20 49 63 75 43 75 72 73 6f 72 20  .){.  IcuCursor 
12d0: 2a 70 43 73 72 20 3d 20 28 49 63 75 43 75 72 73  *pCsr = (IcuCurs
12e0: 6f 72 20 2a 29 70 43 75 72 73 6f 72 3b 0a 0a 20  or *)pCursor;.. 
12f0: 20 69 6e 74 20 69 53 74 61 72 74 20 3d 20 30 3b   int iStart = 0;
1300: 0a 20 20 69 6e 74 20 69 45 6e 64 20 3d 20 30 3b  .  int iEnd = 0;
1310: 0a 20 20 69 6e 74 20 6e 42 79 74 65 20 3d 20 30  .  int nByte = 0
1320: 3b 0a 0a 20 20 77 68 69 6c 65 28 20 69 53 74 61  ;..  while( iSta
1330: 72 74 3d 3d 69 45 6e 64 20 29 7b 0a 20 20 20 20  rt==iEnd ){.    
1340: 55 43 68 61 72 33 32 20 63 3b 0a 0a 20 20 20 20  UChar32 c;..    
1350: 69 53 74 61 72 74 20 3d 20 75 62 72 6b 5f 63 75  iStart = ubrk_cu
1360: 72 72 65 6e 74 28 70 43 73 72 2d 3e 70 49 74 65  rrent(pCsr->pIte
1370: 72 29 3b 0a 20 20 20 20 69 45 6e 64 20 3d 20 75  r);.    iEnd = u
1380: 62 72 6b 5f 6e 65 78 74 28 70 43 73 72 2d 3e 70  brk_next(pCsr->p
1390: 49 74 65 72 29 3b 0a 20 20 20 20 69 66 28 20 69  Iter);.    if( i
13a0: 45 6e 64 3d 3d 55 42 52 4b 5f 44 4f 4e 45 20 29  End==UBRK_DONE )
13b0: 7b 0a 20 20 20 20 20 20 72 65 74 75 72 6e 20 53  {.      return S
13c0: 51 4c 49 54 45 5f 44 4f 4e 45 3b 0a 20 20 20 20  QLITE_DONE;.    
13d0: 7d 0a 0a 20 20 20 20 77 68 69 6c 65 28 20 69 53  }..    while( iS
13e0: 74 61 72 74 3c 69 45 6e 64 20 29 7b 0a 20 20 20  tart<iEnd ){.   
13f0: 20 20 20 69 6e 74 20 69 57 68 69 74 65 20 3d 20     int iWhite = 
1400: 69 53 74 61 72 74 3b 0a 20 20 20 20 20 20 55 38  iStart;.      U8
1410: 5f 4e 45 58 54 28 70 43 73 72 2d 3e 61 43 68 61  _NEXT(pCsr->aCha
1420: 72 2c 20 69 57 68 69 74 65 2c 20 70 43 73 72 2d  r, iWhite, pCsr-
1430: 3e 6e 43 68 61 72 2c 20 63 29 3b 0a 20 20 20 20  >nChar, c);.    
1440: 20 20 69 66 28 20 75 5f 69 73 73 70 61 63 65 28    if( u_isspace(
1450: 63 29 20 29 7b 0a 20 20 20 20 20 20 20 20 69 53  c) ){.        iS
1460: 74 61 72 74 20 3d 20 69 57 68 69 74 65 3b 0a 20  tart = iWhite;. 
1470: 20 20 20 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20       }else{.    
1480: 20 20 20 20 62 72 65 61 6b 3b 0a 20 20 20 20 20      break;.     
1490: 20 7d 0a 20 20 20 20 7d 0a 20 20 20 20 61 73 73   }.    }.    ass
14a0: 65 72 74 28 69 53 74 61 72 74 3c 3d 69 45 6e 64  ert(iStart<=iEnd
14b0: 29 3b 0a 20 20 7d 0a 0a 20 20 64 6f 20 7b 0a 20  );.  }..  do {. 
14c0: 20 20 20 55 45 72 72 6f 72 43 6f 64 65 20 73 74     UErrorCode st
14d0: 61 74 75 73 20 3d 20 55 5f 5a 45 52 4f 5f 45 52  atus = U_ZERO_ER
14e0: 52 4f 52 3b 0a 20 20 20 20 69 66 28 20 6e 42 79  ROR;.    if( nBy
14f0: 74 65 20 29 7b 0a 20 20 20 20 20 20 63 68 61 72  te ){.      char
1500: 20 2a 7a 4e 65 77 20 3d 20 73 71 6c 69 74 65 33   *zNew = sqlite3
1510: 5f 72 65 61 6c 6c 6f 63 28 70 43 73 72 2d 3e 7a  _realloc(pCsr->z
1520: 42 75 66 66 65 72 2c 20 6e 42 79 74 65 29 3b 0a  Buffer, nByte);.
1530: 20 20 20 20 20 20 69 66 28 20 21 7a 4e 65 77 20        if( !zNew 
1540: 29 7b 0a 20 20 20 20 20 20 20 20 72 65 74 75 72  ){.        retur
1550: 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d 3b 0a  n SQLITE_NOMEM;.
1560: 20 20 20 20 20 20 7d 0a 20 20 20 20 20 20 70 43        }.      pC
1570: 73 72 2d 3e 7a 42 75 66 66 65 72 20 3d 20 7a 4e  sr->zBuffer = zN
1580: 65 77 3b 0a 20 20 20 20 20 20 70 43 73 72 2d 3e  ew;.      pCsr->
1590: 6e 42 75 66 66 65 72 20 3d 20 6e 42 79 74 65 3b  nBuffer = nByte;
15a0: 0a 20 20 20 20 7d 0a 0a 20 20 20 20 75 5f 73 74  .    }..    u_st
15b0: 72 54 6f 55 54 46 38 28 0a 20 20 20 20 20 20 20  rToUTF8(.       
15c0: 20 70 43 73 72 2d 3e 7a 42 75 66 66 65 72 2c 20   pCsr->zBuffer, 
15d0: 70 43 73 72 2d 3e 6e 42 75 66 66 65 72 2c 20 26  pCsr->nBuffer, &
15e0: 6e 42 79 74 65 2c 20 20 20 20 2f 2a 20 4f 75 74  nByte,    /* Out
15f0: 70 75 74 20 76 61 72 73 20 2a 2f 0a 20 20 20 20  put vars */.    
1600: 20 20 20 20 26 70 43 73 72 2d 3e 61 43 68 61 72      &pCsr->aChar
1610: 5b 69 53 74 61 72 74 5d 2c 20 69 45 6e 64 2d 69  [iStart], iEnd-i
1620: 53 74 61 72 74 2c 20 20 20 20 20 20 20 2f 2a 20  Start,       /* 
1630: 49 6e 70 75 74 20 76 61 72 73 20 2a 2f 0a 20 20  Input vars */.  
1640: 20 20 20 20 20 20 26 73 74 61 74 75 73 20 20 20        &status   
1650: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1660: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f                 /
1670: 2a 20 4f 75 74 70 75 74 20 73 75 63 63 65 73 73  * Output success
1680: 2f 66 61 69 6c 75 72 65 20 2a 2f 0a 20 20 20 20  /failure */.    
1690: 29 3b 0a 20 20 7d 20 77 68 69 6c 65 28 20 6e 42  );.  } while( nB
16a0: 79 74 65 3e 70 43 73 72 2d 3e 6e 42 75 66 66 65  yte>pCsr->nBuffe
16b0: 72 20 29 3b 0a 0a 20 20 2a 70 70 54 6f 6b 65 6e  r );..  *ppToken
16c0: 20 3d 20 70 43 73 72 2d 3e 7a 42 75 66 66 65 72   = pCsr->zBuffer
16d0: 3b 0a 20 20 2a 70 6e 42 79 74 65 73 20 3d 20 6e  ;.  *pnBytes = n
16e0: 42 79 74 65 3b 0a 20 20 2a 70 69 53 74 61 72 74  Byte;.  *piStart
16f0: 4f 66 66 73 65 74 20 3d 20 70 43 73 72 2d 3e 61  Offset = pCsr->a
1700: 4f 66 66 73 65 74 5b 69 53 74 61 72 74 5d 3b 0a  Offset[iStart];.
1710: 20 20 2a 70 69 45 6e 64 4f 66 66 73 65 74 20 3d    *piEndOffset =
1720: 20 70 43 73 72 2d 3e 61 4f 66 66 73 65 74 5b 69   pCsr->aOffset[i
1730: 45 6e 64 5d 3b 0a 20 20 2a 70 69 50 6f 73 69 74  End];.  *piPosit
1740: 69 6f 6e 20 3d 20 70 43 73 72 2d 3e 69 54 6f 6b  ion = pCsr->iTok
1750: 65 6e 2b 2b 3b 0a 0a 20 20 72 65 74 75 72 6e 20  en++;..  return 
1760: 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d 0a 0a 2f 2a  SQLITE_OK;.}../*
1770: 0a 2a 2a 20 54 68 65 20 73 65 74 20 6f 66 20 72  .** The set of r
1780: 6f 75 74 69 6e 65 73 20 74 68 61 74 20 69 6d 70  outines that imp
1790: 6c 65 6d 65 6e 74 20 74 68 65 20 73 69 6d 70 6c  lement the simpl
17a0: 65 20 74 6f 6b 65 6e 69 7a 65 72 0a 2a 2f 0a 73  e tokenizer.*/.s
17b0: 74 61 74 69 63 20 63 6f 6e 73 74 20 73 71 6c 69  tatic const sqli
17c0: 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f  te3_tokenizer_mo
17d0: 64 75 6c 65 20 69 63 75 54 6f 6b 65 6e 69 7a 65  dule icuTokenize
17e0: 72 4d 6f 64 75 6c 65 20 3d 20 7b 0a 20 20 30 2c  rModule = {.  0,
17f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1800: 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 69 56             /* iV
1810: 65 72 73 69 6f 6e 20 2a 2f 0a 20 20 69 63 75 43  ersion */.  icuC
1820: 72 65 61 74 65 2c 20 20 20 20 20 20 20 20 20 20  reate,          
1830: 20 20 20 20 20 20 20 20 20 2f 2a 20 78 43 72 65           /* xCre
1840: 61 74 65 20 20 2a 2f 0a 20 20 69 63 75 44 65 73  ate  */.  icuDes
1850: 74 72 6f 79 2c 20 20 20 20 20 20 20 20 20 20 20  troy,           
1860: 20 20 20 20 20 20 20 2f 2a 20 78 43 72 65 61 74         /* xCreat
1870: 65 20 20 2a 2f 0a 20 20 69 63 75 4f 70 65 6e 2c  e  */.  icuOpen,
1880: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1890: 20 20 20 20 20 2f 2a 20 78 4f 70 65 6e 20 20 20       /* xOpen   
18a0: 20 2a 2f 0a 20 20 69 63 75 43 6c 6f 73 65 2c 20   */.  icuClose, 
18b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
18c0: 20 20 20 2f 2a 20 78 43 6c 6f 73 65 20 20 20 2a     /* xClose   *
18d0: 2f 0a 20 20 69 63 75 4e 65 78 74 2c 20 20 20 20  /.  icuNext,    
18e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
18f0: 20 2f 2a 20 78 4e 65 78 74 20 20 20 20 2a 2f 0a   /* xNext    */.
1900: 7d 3b 0a 0a 2f 2a 0a 2a 2a 20 53 65 74 20 2a 70  };../*.** Set *p
1910: 70 4d 6f 64 75 6c 65 20 74 6f 20 70 6f 69 6e 74  pModule to point
1920: 20 61 74 20 74 68 65 20 69 6d 70 6c 65 6d 65 6e   at the implemen
1930: 74 61 74 69 6f 6e 20 6f 66 20 74 68 65 20 49 43  tation of the IC
1940: 55 20 74 6f 6b 65 6e 69 7a 65 72 2e 0a 2a 2f 0a  U tokenizer..*/.
1950: 76 6f 69 64 20 73 71 6c 69 74 65 33 46 74 73 33  void sqlite3Fts3
1960: 49 63 75 54 6f 6b 65 6e 69 7a 65 72 4d 6f 64 75  IcuTokenizerModu
1970: 6c 65 28 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f  le(.  sqlite3_to
1980: 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 63  kenizer_module c
1990: 6f 6e 73 74 2a 2a 70 70 4d 6f 64 75 6c 65 0a 29  onst**ppModule.)
19a0: 7b 0a 20 20 2a 70 70 4d 6f 64 75 6c 65 20 3d 20  {.  *ppModule = 
19b0: 26 69 63 75 54 6f 6b 65 6e 69 7a 65 72 4d 6f 64  &icuTokenizerMod
19c0: 75 6c 65 3b 0a 7d 0a 0a 23 65 6e 64 69 66 20 2f  ule;.}..#endif /
19d0: 2a 20 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45  * defined(SQLITE
19e0: 5f 45 4e 41 42 4c 45 5f 49 43 55 29 20 2a 2f 0a  _ENABLE_ICU) */.
19f0: 23 65 6e 64 69 66 20 2f 2a 20 21 64 65 66 69 6e  #endif /* !defin
1a00: 65 64 28 53 51 4c 49 54 45 5f 43 4f 52 45 29 20  ed(SQLITE_CORE) 
1a10: 7c 7c 20 64 65 66 69 6e 65 64 28 53 51 4c 49 54  || defined(SQLIT
1a20: 45 5f 45 4e 41 42 4c 45 5f 46 54 53 33 29 20 2a  E_ENABLE_FTS3) *
1a30: 2f 0a                                            /.