/ Hex Artifact Content
Login
SQLite training in Houston TX on 2019-11-05 (details)
Part of the 2019 Tcl Conference

Artifact dad16adcc0c35ef2437dca125a4b07419d361052:


0000: 2f 2a 0a 2a 2a 20 32 30 30 34 20 41 70 72 69 6c  /*.** 2004 April
0010: 20 31 33 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75   13.**.** The au
0020: 74 68 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63  thor disclaims c
0030: 6f 70 79 72 69 67 68 74 20 74 6f 20 74 68 69 73  opyright to this
0040: 20 73 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49   source code.  I
0050: 6e 20 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20  n place of.** a 
0060: 6c 65 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65  legal notice, he
0070: 72 65 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67  re is a blessing
0080: 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79  :.**.**    May y
0090: 6f 75 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e  ou do good and n
00a0: 6f 74 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d  ot evil..**    M
00b0: 61 79 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67  ay you find forg
00c0: 69 76 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72  iveness for your
00d0: 73 65 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65  self and forgive
00e0: 20 6f 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d   others..**    M
00f0: 61 79 20 79 6f 75 20 73 68 61 72 65 20 66 72 65  ay you share fre
0100: 65 6c 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e  ely, never takin
0110: 67 20 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20  g more than you 
0120: 67 69 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a  give..**.*******
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 0a 2a 2a 20 54 68 69 73 20 66 69 6c 65 20  **.** This file 
0180: 63 6f 6e 74 61 69 6e 73 20 72 6f 75 74 69 6e 65  contains routine
0190: 73 20 75 73 65 64 20 74 6f 20 74 72 61 6e 73 6c  s used to transl
01a0: 61 74 65 20 62 65 74 77 65 65 6e 20 55 54 46 2d  ate between UTF-
01b0: 38 2c 20 0a 2a 2a 20 55 54 46 2d 31 36 2c 20 55  8, .** UTF-16, U
01c0: 54 46 2d 31 36 42 45 2c 20 61 6e 64 20 55 54 46  TF-16BE, and UTF
01d0: 2d 31 36 4c 45 2e 0a 2a 2a 0a 2a 2a 20 4e 6f 74  -16LE..**.** Not
01e0: 65 73 20 6f 6e 20 55 54 46 2d 38 3a 0a 2a 2a 0a  es on UTF-8:.**.
01f0: 2a 2a 20 20 20 42 79 74 65 2d 30 20 20 20 20 42  **   Byte-0    B
0200: 79 74 65 2d 31 20 20 20 20 42 79 74 65 2d 32 20  yte-1    Byte-2 
0210: 20 20 20 42 79 74 65 2d 33 20 20 20 20 56 61 6c     Byte-3    Val
0220: 75 65 0a 2a 2a 20 20 30 78 78 78 78 78 78 78 20  ue.**  0xxxxxxx 
0230: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0240: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0250: 30 30 30 30 30 30 30 30 20 30 30 30 30 30 30 30  00000000 0000000
0260: 30 20 30 78 78 78 78 78 78 78 0a 2a 2a 20 20 31  0 0xxxxxxx.**  1
0270: 31 30 79 79 79 79 79 20 20 31 30 78 78 78 78 78  10yyyyy  10xxxxx
0280: 78 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  x               
0290: 20 20 20 20 20 20 20 20 30 30 30 30 30 30 30 30          00000000
02a0: 20 30 30 30 30 30 79 79 79 20 79 79 78 78 78 78   00000yyy yyxxxx
02b0: 78 78 0a 2a 2a 20 20 31 31 31 30 7a 7a 7a 7a 20  xx.**  1110zzzz 
02c0: 20 31 30 79 79 79 79 79 79 20 20 31 30 78 78 78   10yyyyyy  10xxx
02d0: 78 78 78 20 20 20 20 20 20 20 20 20 20 20 20 20  xxx             
02e0: 30 30 30 30 30 30 30 30 20 7a 7a 7a 7a 79 79 79  00000000 zzzzyyy
02f0: 79 20 79 79 78 78 78 78 78 78 0a 2a 2a 20 20 31  y yyxxxxxx.**  1
0300: 31 31 31 30 75 75 75 20 20 31 30 75 75 7a 7a 7a  1110uuu  10uuzzz
0310: 7a 20 20 31 30 79 79 79 79 79 79 20 20 31 30 78  z  10yyyyyy  10x
0320: 78 78 78 78 78 20 20 20 30 30 30 75 75 75 75 75  xxxxx   000uuuuu
0330: 20 7a 7a 7a 7a 79 79 79 79 20 79 79 78 78 78 78   zzzzyyyy yyxxxx
0340: 78 78 0a 2a 2a 0a 2a 2a 0a 2a 2a 20 4e 6f 74 65  xx.**.**.** Note
0350: 73 20 6f 6e 20 55 54 46 2d 31 36 3a 20 20 28 77  s on UTF-16:  (w
0360: 69 74 68 20 77 77 77 77 2b 31 3d 3d 75 75 75 75  ith wwww+1==uuuu
0370: 75 29 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 57 6f  u).**.**      Wo
0380: 72 64 2d 30 20 20 20 20 20 20 20 20 20 20 20 20  rd-0            
0390: 20 20 20 57 6f 72 64 2d 31 20 20 20 20 20 20 20     Word-1       
03a0: 20 20 20 56 61 6c 75 65 0a 2a 2a 20 20 31 31 30     Value.**  110
03b0: 31 31 30 77 77 20 77 77 7a 7a 7a 7a 79 79 20 20  110ww wwzzzzyy  
03c0: 20 31 31 30 31 31 31 79 79 20 79 79 78 78 78 78   110111yy yyxxxx
03d0: 78 78 20 20 20 20 30 30 30 75 75 75 75 75 20 7a  xx    000uuuuu z
03e0: 7a 7a 7a 79 79 79 79 20 79 79 78 78 78 78 78 78  zzzyyyy yyxxxxxx
03f0: 0a 2a 2a 20 20 7a 7a 7a 7a 79 79 79 79 20 79 79  .**  zzzzyyyy yy
0400: 78 78 78 78 78 78 20 20 20 20 20 20 20 20 20 20  xxxxxx          
0410: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 30 30                00
0420: 30 30 30 30 30 30 20 7a 7a 7a 7a 79 79 79 79 20  000000 zzzzyyyy 
0430: 79 79 78 78 78 78 78 78 0a 2a 2a 0a 2a 2a 0a 2a  yyxxxxxx.**.**.*
0440: 2a 20 42 4f 4d 20 6f 72 20 42 79 74 65 20 4f 72  * BOM or Byte Or
0450: 64 65 72 20 4d 61 72 6b 3a 0a 2a 2a 20 20 20 20  der Mark:.**    
0460: 20 30 78 66 66 20 30 78 66 65 20 20 20 6c 69 74   0xff 0xfe   lit
0470: 74 6c 65 2d 65 6e 64 69 61 6e 20 75 74 66 2d 31  tle-endian utf-1
0480: 36 20 66 6f 6c 6c 6f 77 73 0a 2a 2a 20 20 20 20  6 follows.**    
0490: 20 30 78 66 65 20 30 78 66 66 20 20 20 62 69 67   0xfe 0xff   big
04a0: 2d 65 6e 64 69 61 6e 20 75 74 66 2d 31 36 20 66  -endian utf-16 f
04b0: 6f 6c 6c 6f 77 73 0a 2a 2a 0a 2a 2f 0a 23 69 6e  ollows.**.*/.#in
04c0: 63 6c 75 64 65 20 22 73 71 6c 69 74 65 49 6e 74  clude "sqliteInt
04d0: 2e 68 22 0a 23 69 6e 63 6c 75 64 65 20 3c 61 73  .h".#include <as
04e0: 73 65 72 74 2e 68 3e 0a 23 69 6e 63 6c 75 64 65  sert.h>.#include
04f0: 20 22 76 64 62 65 49 6e 74 2e 68 22 0a 0a 23 69   "vdbeInt.h"..#i
0500: 66 6e 64 65 66 20 53 51 4c 49 54 45 5f 41 4d 41  fndef SQLITE_AMA
0510: 4c 47 41 4d 41 54 49 4f 4e 0a 2f 2a 0a 2a 2a 20  LGAMATION./*.** 
0520: 54 68 65 20 66 6f 6c 6c 6f 77 69 6e 67 20 63 6f  The following co
0530: 6e 73 74 61 6e 74 20 76 61 6c 75 65 20 69 73 20  nstant value is 
0540: 75 73 65 64 20 62 79 20 74 68 65 20 53 51 4c 49  used by the SQLI
0550: 54 45 5f 42 49 47 45 4e 44 49 41 4e 20 61 6e 64  TE_BIGENDIAN and
0560: 0a 2a 2a 20 53 51 4c 49 54 45 5f 4c 49 54 54 4c  .** SQLITE_LITTL
0570: 45 45 4e 44 49 41 4e 20 6d 61 63 72 6f 73 2e 0a  EENDIAN macros..
0580: 2a 2f 0a 63 6f 6e 73 74 20 69 6e 74 20 73 71 6c  */.const int sql
0590: 69 74 65 33 6f 6e 65 20 3d 20 31 3b 0a 23 65 6e  ite3one = 1;.#en
05a0: 64 69 66 20 2f 2a 20 53 51 4c 49 54 45 5f 41 4d  dif /* SQLITE_AM
05b0: 41 4c 47 41 4d 41 54 49 4f 4e 20 2a 2f 0a 0a 2f  ALGAMATION */../
05c0: 2a 0a 2a 2a 20 54 68 69 73 20 6c 6f 6f 6b 75 70  *.** This lookup
05d0: 20 74 61 62 6c 65 20 69 73 20 75 73 65 64 20 74   table is used t
05e0: 6f 20 68 65 6c 70 20 64 65 63 6f 64 65 20 74 68  o help decode th
05f0: 65 20 66 69 72 73 74 20 62 79 74 65 20 6f 66 0a  e first byte of.
0600: 2a 2a 20 61 20 6d 75 6c 74 69 2d 62 79 74 65 20  ** a multi-byte 
0610: 55 54 46 38 20 63 68 61 72 61 63 74 65 72 2e 0a  UTF8 character..
0620: 2a 2f 0a 73 74 61 74 69 63 20 63 6f 6e 73 74 20  */.static const 
0630: 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20 73 71  unsigned char sq
0640: 6c 69 74 65 33 55 74 66 38 54 72 61 6e 73 31 5b  lite3Utf8Trans1[
0650: 5d 20 3d 20 7b 0a 20 20 30 78 30 30 2c 20 30 78  ] = {.  0x00, 0x
0660: 30 31 2c 20 30 78 30 32 2c 20 30 78 30 33 2c 20  01, 0x02, 0x03, 
0670: 30 78 30 34 2c 20 30 78 30 35 2c 20 30 78 30 36  0x04, 0x05, 0x06
0680: 2c 20 30 78 30 37 2c 0a 20 20 30 78 30 38 2c 20  , 0x07,.  0x08, 
0690: 30 78 30 39 2c 20 30 78 30 61 2c 20 30 78 30 62  0x09, 0x0a, 0x0b
06a0: 2c 20 30 78 30 63 2c 20 30 78 30 64 2c 20 30 78  , 0x0c, 0x0d, 0x
06b0: 30 65 2c 20 30 78 30 66 2c 0a 20 20 30 78 31 30  0e, 0x0f,.  0x10
06c0: 2c 20 30 78 31 31 2c 20 30 78 31 32 2c 20 30 78  , 0x11, 0x12, 0x
06d0: 31 33 2c 20 30 78 31 34 2c 20 30 78 31 35 2c 20  13, 0x14, 0x15, 
06e0: 30 78 31 36 2c 20 30 78 31 37 2c 0a 20 20 30 78  0x16, 0x17,.  0x
06f0: 31 38 2c 20 30 78 31 39 2c 20 30 78 31 61 2c 20  18, 0x19, 0x1a, 
0700: 30 78 31 62 2c 20 30 78 31 63 2c 20 30 78 31 64  0x1b, 0x1c, 0x1d
0710: 2c 20 30 78 31 65 2c 20 30 78 31 66 2c 0a 20 20  , 0x1e, 0x1f,.  
0720: 30 78 30 30 2c 20 30 78 30 31 2c 20 30 78 30 32  0x00, 0x01, 0x02
0730: 2c 20 30 78 30 33 2c 20 30 78 30 34 2c 20 30 78  , 0x03, 0x04, 0x
0740: 30 35 2c 20 30 78 30 36 2c 20 30 78 30 37 2c 0a  05, 0x06, 0x07,.
0750: 20 20 30 78 30 38 2c 20 30 78 30 39 2c 20 30 78    0x08, 0x09, 0x
0760: 30 61 2c 20 30 78 30 62 2c 20 30 78 30 63 2c 20  0a, 0x0b, 0x0c, 
0770: 30 78 30 64 2c 20 30 78 30 65 2c 20 30 78 30 66  0x0d, 0x0e, 0x0f
0780: 2c 0a 20 20 30 78 30 30 2c 20 30 78 30 31 2c 20  ,.  0x00, 0x01, 
0790: 30 78 30 32 2c 20 30 78 30 33 2c 20 30 78 30 34  0x02, 0x03, 0x04
07a0: 2c 20 30 78 30 35 2c 20 30 78 30 36 2c 20 30 78  , 0x05, 0x06, 0x
07b0: 30 37 2c 0a 20 20 30 78 30 30 2c 20 30 78 30 31  07,.  0x00, 0x01
07c0: 2c 20 30 78 30 32 2c 20 30 78 30 33 2c 20 30 78  , 0x02, 0x03, 0x
07d0: 30 30 2c 20 30 78 30 31 2c 20 30 78 30 30 2c 20  00, 0x01, 0x00, 
07e0: 30 78 30 30 2c 0a 7d 3b 0a 0a 0a 23 64 65 66 69  0x00,.};...#defi
07f0: 6e 65 20 57 52 49 54 45 5f 55 54 46 38 28 7a 4f  ne WRITE_UTF8(zO
0800: 75 74 2c 20 63 29 20 7b 20 20 20 20 20 20 20 20  ut, c) {        
0810: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0820: 20 20 5c 0a 20 20 69 66 28 20 63 3c 30 78 30 30    \.  if( c<0x00
0830: 30 38 30 20 29 7b 20 20 20 20 20 20 20 20 20 20  080 ){          
0840: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0850: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20             \.   
0860: 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 75 38 29 28   *zOut++ = (u8)(
0870: 63 26 30 78 46 46 29 3b 20 20 20 20 20 20 20 20  c&0xFF);        
0880: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0890: 20 20 20 20 5c 0a 20 20 7d 20 20 20 20 20 20 20      \.  }       
08a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
08b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
08c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
08d0: 20 65 6c 73 65 20 69 66 28 20 63 3c 30 78 30 30   else if( c<0x00
08e0: 38 30 30 20 29 7b 20 20 20 20 20 20 20 20 20 20  800 ){          
08f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0900: 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75        \.    *zOu
0910: 74 2b 2b 20 3d 20 30 78 43 30 20 2b 20 28 75 38  t++ = 0xC0 + (u8
0920: 29 28 28 63 3e 3e 36 29 26 30 78 31 46 29 3b 20  )((c>>6)&0x1F); 
0930: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
0940: 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30  .    *zOut++ = 0
0950: 78 38 30 20 2b 20 28 75 38 29 28 63 20 26 20 30  x80 + (u8)(c & 0
0960: 78 33 46 29 3b 20 20 20 20 20 20 20 20 20 20 20  x3F);           
0970: 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 20 20 20          \.  }   
0980: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0990: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
09a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
09b0: 20 5c 0a 20 20 65 6c 73 65 20 69 66 28 20 63 3c   \.  else if( c<
09c0: 30 78 31 30 30 30 30 20 29 7b 20 20 20 20 20 20  0x10000 ){      
09d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
09e0: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20            \.    
09f0: 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78 45 30 20 2b  *zOut++ = 0xE0 +
0a00: 20 28 75 38 29 28 28 63 3e 3e 31 32 29 26 30 78   (u8)((c>>12)&0x
0a10: 30 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 20  0F);            
0a20: 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b     \.    *zOut++
0a30: 20 3d 20 30 78 38 30 20 2b 20 28 75 38 29 28 28   = 0x80 + (u8)((
0a40: 63 3e 3e 36 29 20 26 20 30 78 33 46 29 3b 20 20  c>>6) & 0x3F);  
0a50: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
0a60: 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78 38 30    *zOut++ = 0x80
0a70: 20 2b 20 28 75 38 29 28 63 20 26 20 30 78 33 46   + (u8)(c & 0x3F
0a80: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  );              
0a90: 20 20 20 20 20 5c 0a 20 20 7d 65 6c 73 65 7b 20       \.  }else{ 
0aa0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ab0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ac0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
0ad0: 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78      *zOut++ = 0x
0ae0: 46 30 20 2b 20 28 75 38 29 28 28 63 3e 3e 31 38  F0 + (u8)((c>>18
0af0: 29 20 26 20 30 78 30 37 29 3b 20 20 20 20 20 20  ) & 0x07);      
0b00: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f         \.    *zO
0b10: 75 74 2b 2b 20 3d 20 30 78 38 30 20 2b 20 28 75  ut++ = 0x80 + (u
0b20: 38 29 28 28 63 3e 3e 31 32 29 20 26 20 30 78 33  8)((c>>12) & 0x3
0b30: 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  F);             
0b40: 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20  \.    *zOut++ = 
0b50: 30 78 38 30 20 2b 20 28 75 38 29 28 28 63 3e 3e  0x80 + (u8)((c>>
0b60: 36 29 20 26 20 30 78 33 46 29 3b 20 20 20 20 20  6) & 0x3F);     
0b70: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a           \.    *
0b80: 7a 4f 75 74 2b 2b 20 3d 20 30 78 38 30 20 2b 20  zOut++ = 0x80 + 
0b90: 28 75 38 29 28 63 20 26 20 30 78 33 46 29 3b 20  (u8)(c & 0x3F); 
0ba0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0bb0: 20 20 5c 0a 20 20 7d 20 20 20 20 20 20 20 20 20    \.  }         
0bc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0bd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0be0: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 7d 0a 0a             \.}..
0bf0: 23 64 65 66 69 6e 65 20 57 52 49 54 45 5f 55 54  #define WRITE_UT
0c00: 46 31 36 4c 45 28 7a 4f 75 74 2c 20 63 29 20 7b  F16LE(zOut, c) {
0c10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c30: 20 20 20 20 5c 0a 20 20 69 66 28 20 63 3c 3d 30      \.  if( c<=0
0c40: 78 46 46 46 46 20 29 7b 20 20 20 20 20 20 20 20  xFFFF ){        
0c50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c70: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20            \.    
0c80: 2a 7a 4f 75 74 2b 2b 20 3d 20 28 75 38 29 28 63  *zOut++ = (u8)(c
0c90: 26 30 78 30 30 46 46 29 3b 20 20 20 20 20 20 20  &0x00FF);       
0ca0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0cb0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0cc0: 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20  \.    *zOut++ = 
0cd0: 28 75 38 29 28 28 63 3e 3e 38 29 26 30 78 30 30  (u8)((c>>8)&0x00
0ce0: 46 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 20  FF);            
0cf0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d00: 20 20 20 20 20 20 5c 0a 20 20 7d 65 6c 73 65 7b        \.  }else{
0d10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d40: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
0d50: 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 75 38 29    *zOut++ = (u8)
0d60: 28 28 28 63 3e 3e 31 30 29 26 30 78 30 30 33 46  (((c>>10)&0x003F
0d70: 29 20 2b 20 28 28 28 63 2d 30 78 31 30 30 30 30  ) + (((c-0x10000
0d80: 29 3e 3e 31 30 29 26 30 78 30 30 43 30 29 29 3b  )>>10)&0x00C0));
0d90: 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20    \.    *zOut++ 
0da0: 3d 20 28 75 38 29 28 30 78 30 30 44 38 20 2b 20  = (u8)(0x00D8 + 
0db0: 28 28 28 63 2d 30 78 31 30 30 30 30 29 3e 3e 31  (((c-0x10000)>>1
0dc0: 38 29 26 30 78 30 33 29 29 3b 20 20 20 20 20 20  8)&0x03));      
0dd0: 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a          \.    *z
0de0: 4f 75 74 2b 2b 20 3d 20 28 75 38 29 28 63 26 30  Out++ = (u8)(c&0
0df0: 78 30 30 46 46 29 3b 20 20 20 20 20 20 20 20 20  x00FF);         
0e00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0e10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
0e20: 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 75      *zOut++ = (u
0e30: 38 29 28 30 78 30 30 44 43 20 2b 20 28 28 63 3e  8)(0x00DC + ((c>
0e40: 3e 38 29 26 30 78 30 33 29 29 3b 20 20 20 20 20  >8)&0x03));     
0e50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0e60: 20 20 20 20 5c 0a 20 20 7d 20 20 20 20 20 20 20      \.  }       
0e70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0e80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0e90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ea0: 20 20 20 20 20 20 20 20 20 20 5c 0a 7d 0a 0a 23            \.}..#
0eb0: 64 65 66 69 6e 65 20 57 52 49 54 45 5f 55 54 46  define WRITE_UTF
0ec0: 31 36 42 45 28 7a 4f 75 74 2c 20 63 29 20 7b 20  16BE(zOut, c) { 
0ed0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ee0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ef0: 20 20 20 5c 0a 20 20 69 66 28 20 63 3c 3d 30 78     \.  if( c<=0x
0f00: 46 46 46 46 20 29 7b 20 20 20 20 20 20 20 20 20  FFFF ){         
0f10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0f20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0f30: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a           \.    *
0f40: 7a 4f 75 74 2b 2b 20 3d 20 28 75 38 29 28 28 63  zOut++ = (u8)((c
0f50: 3e 3e 38 29 26 30 78 30 30 46 46 29 3b 20 20 20  >>8)&0x00FF);   
0f60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0f70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
0f80: 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28  .    *zOut++ = (
0f90: 75 38 29 28 63 26 30 78 30 30 46 46 29 3b 20 20  u8)(c&0x00FF);  
0fa0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0fb0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0fc0: 20 20 20 20 20 5c 0a 20 20 7d 65 6c 73 65 7b 20       \.  }else{ 
0fd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0fe0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ff0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1000: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20             \.   
1010: 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 75 38 29 28   *zOut++ = (u8)(
1020: 30 78 30 30 44 38 20 2b 20 28 28 28 63 2d 30 78  0x00D8 + (((c-0x
1030: 31 30 30 30 30 29 3e 3e 31 38 29 26 30 78 30 33  10000)>>18)&0x03
1040: 29 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  ));             
1050: 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d   \.    *zOut++ =
1060: 20 28 75 38 29 28 28 28 63 3e 3e 31 30 29 26 30   (u8)(((c>>10)&0
1070: 78 30 30 33 46 29 20 2b 20 28 28 28 63 2d 30 78  x003F) + (((c-0x
1080: 31 30 30 30 30 29 3e 3e 31 30 29 26 30 78 30 30  10000)>>10)&0x00
1090: 43 30 29 29 3b 20 20 5c 0a 20 20 20 20 2a 7a 4f  C0));  \.    *zO
10a0: 75 74 2b 2b 20 3d 20 28 75 38 29 28 30 78 30 30  ut++ = (u8)(0x00
10b0: 44 43 20 2b 20 28 28 63 3e 3e 38 29 26 30 78 30  DC + ((c>>8)&0x0
10c0: 33 29 29 3b 20 20 20 20 20 20 20 20 20 20 20 20  3));            
10d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
10e0: 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 75 38     *zOut++ = (u8
10f0: 29 28 63 26 30 78 30 30 46 46 29 3b 20 20 20 20  )(c&0x00FF);    
1100: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1110: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1120: 20 20 20 5c 0a 20 20 7d 20 20 20 20 20 20 20 20     \.  }        
1130: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1140: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1150: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1160: 20 20 20 20 20 20 20 20 20 5c 0a 7d 0a 0a 23 64           \.}..#d
1170: 65 66 69 6e 65 20 52 45 41 44 5f 55 54 46 31 36  efine READ_UTF16
1180: 4c 45 28 7a 49 6e 2c 20 54 45 52 4d 2c 20 63 29  LE(zIn, TERM, c)
1190: 7b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  {               
11a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
11b0: 20 20 20 20 5c 0a 20 20 63 20 3d 20 28 2a 7a 49      \.  c = (*zI
11c0: 6e 2b 2b 29 3b 20 20 20 20 20 20 20 20 20 20 20  n++);           
11d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
11e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
11f0: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
1200: 63 20 2b 3d 20 28 28 2a 7a 49 6e 2b 2b 29 3c 3c  c += ((*zIn++)<<
1210: 38 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  8);             
1220: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1230: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1240: 20 20 20 20 5c 0a 20 20 69 66 28 20 63 3e 3d 30      \.  if( c>=0
1250: 78 44 38 30 30 20 26 26 20 63 3c 30 78 45 30 30  xD800 && c<0xE00
1260: 30 20 26 26 20 54 45 52 4d 20 29 7b 20 20 20 20  0 && TERM ){    
1270: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1280: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
1290: 20 20 69 6e 74 20 63 32 20 3d 20 28 2a 7a 49 6e    int c2 = (*zIn
12a0: 2b 2b 29 3b 20 20 20 20 20 20 20 20 20 20 20 20  ++);            
12b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
12c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
12d0: 20 20 20 20 5c 0a 20 20 20 20 63 32 20 2b 3d 20      \.    c2 += 
12e0: 28 28 2a 7a 49 6e 2b 2b 29 3c 3c 38 29 3b 20 20  ((*zIn++)<<8);  
12f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1300: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1310: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
1320: 20 20 63 20 3d 20 28 63 32 26 30 78 30 33 46 46    c = (c2&0x03FF
1330: 29 20 2b 20 28 28 63 26 30 78 30 30 33 46 29 3c  ) + ((c&0x003F)<
1340: 3c 31 30 29 20 2b 20 28 28 28 63 26 30 78 30 33  <10) + (((c&0x03
1350: 43 30 29 2b 30 78 30 30 34 30 29 3c 3c 31 30 29  C0)+0x0040)<<10)
1360: 3b 20 20 20 5c 0a 20 20 7d 20 20 20 20 20 20 20  ;   \.  }       
1370: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1380: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1390: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
13a0: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 7d 0a              \.}.
13b0: 0a 23 64 65 66 69 6e 65 20 52 45 41 44 5f 55 54  .#define READ_UT
13c0: 46 31 36 42 45 28 7a 49 6e 2c 20 54 45 52 4d 2c  F16BE(zIn, TERM,
13d0: 20 63 29 7b 20 20 20 20 20 20 20 20 20 20 20 20   c){            
13e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
13f0: 20 20 20 20 20 20 20 5c 0a 20 20 63 20 3d 20 28         \.  c = (
1400: 28 2a 7a 49 6e 2b 2b 29 3c 3c 38 29 3b 20 20 20  (*zIn++)<<8);   
1410: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1420: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1430: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
1440: 0a 20 20 63 20 2b 3d 20 28 2a 7a 49 6e 2b 2b 29  .  c += (*zIn++)
1450: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
1460: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1470: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1480: 20 20 20 20 20 20 20 5c 0a 20 20 69 66 28 20 63         \.  if( c
1490: 3e 3d 30 78 44 38 30 30 20 26 26 20 63 3c 30 78  >=0xD800 && c<0x
14a0: 45 30 30 30 20 26 26 20 54 45 52 4d 20 29 7b 20  E000 && TERM ){ 
14b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
14c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
14d0: 0a 20 20 20 20 69 6e 74 20 63 32 20 3d 20 28 28  .    int c2 = ((
14e0: 2a 7a 49 6e 2b 2b 29 3c 3c 38 29 3b 20 20 20 20  *zIn++)<<8);    
14f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1500: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1510: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 63 32 20         \.    c2 
1520: 2b 3d 20 28 2a 7a 49 6e 2b 2b 29 3b 20 20 20 20  += (*zIn++);    
1530: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1540: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1550: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
1560: 0a 20 20 20 20 63 20 3d 20 28 63 32 26 30 78 30  .    c = (c2&0x0
1570: 33 46 46 29 20 2b 20 28 28 63 26 30 78 30 30 33  3FF) + ((c&0x003
1580: 46 29 3c 3c 31 30 29 20 2b 20 28 28 28 63 26 30  F)<<10) + (((c&0
1590: 78 30 33 43 30 29 2b 30 78 30 30 34 30 29 3c 3c  x03C0)+0x0040)<<
15a0: 31 30 29 3b 20 20 20 5c 0a 20 20 7d 20 20 20 20  10);   \.  }    
15b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
15c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
15d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
15e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
15f0: 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 54 72 61 6e 73 6c  .}../*.** Transl
1600: 61 74 65 20 61 20 73 69 6e 67 6c 65 20 55 54 46  ate a single UTF
1610: 2d 38 20 63 68 61 72 61 63 74 65 72 2e 20 20 52  -8 character.  R
1620: 65 74 75 72 6e 20 74 68 65 20 75 6e 69 63 6f 64  eturn the unicod
1630: 65 20 76 61 6c 75 65 2e 0a 2a 2a 0a 2a 2a 20 44  e value..**.** D
1640: 75 72 69 6e 67 20 74 72 61 6e 73 6c 61 74 69 6f  uring translatio
1650: 6e 2c 20 61 73 73 75 6d 65 20 74 68 61 74 20 74  n, assume that t
1660: 68 65 20 62 79 74 65 20 74 68 61 74 20 7a 54 65  he byte that zTe
1670: 72 6d 20 70 6f 69 6e 74 73 0a 2a 2a 20 69 73 20  rm points.** is 
1680: 61 20 30 78 30 30 2e 0a 2a 2a 0a 2a 2a 20 57 72  a 0x00..**.** Wr
1690: 69 74 65 20 61 20 70 6f 69 6e 74 65 72 20 74 6f  ite a pointer to
16a0: 20 74 68 65 20 6e 65 78 74 20 75 6e 72 65 61 64   the next unread
16b0: 20 62 79 74 65 20 62 61 63 6b 20 69 6e 74 6f 20   byte back into 
16c0: 2a 70 7a 4e 65 78 74 2e 0a 2a 2a 0a 2a 2a 20 4e  *pzNext..**.** N
16d0: 6f 74 65 73 20 4f 6e 20 49 6e 76 61 6c 69 64 20  otes On Invalid 
16e0: 55 54 46 2d 38 3a 0a 2a 2a 0a 2a 2a 20 20 2a 20  UTF-8:.**.**  * 
16f0: 20 54 68 69 73 20 72 6f 75 74 69 6e 65 20 6e 65   This routine ne
1700: 76 65 72 20 61 6c 6c 6f 77 73 20 61 20 37 2d 62  ver allows a 7-b
1710: 69 74 20 63 68 61 72 61 63 74 65 72 20 28 30 78  it character (0x
1720: 30 30 20 74 68 72 6f 75 67 68 20 30 78 37 66 29  00 through 0x7f)
1730: 20 74 6f 0a 2a 2a 20 20 20 20 20 62 65 20 65 6e   to.**     be en
1740: 63 6f 64 65 64 20 61 73 20 61 20 6d 75 6c 74 69  coded as a multi
1750: 2d 62 79 74 65 20 63 68 61 72 61 63 74 65 72 2e  -byte character.
1760: 20 20 41 6e 79 20 6d 75 6c 74 69 2d 62 79 74 65    Any multi-byte
1770: 20 63 68 61 72 61 63 74 65 72 20 74 68 61 74 0a   character that.
1780: 2a 2a 20 20 20 20 20 61 74 74 65 6d 70 74 73 20  **     attempts 
1790: 74 6f 20 65 6e 63 6f 64 65 20 61 20 76 61 6c 75  to encode a valu
17a0: 65 20 62 65 74 77 65 65 6e 20 30 78 30 30 20 61  e between 0x00 a
17b0: 6e 64 20 30 78 37 66 20 69 73 20 72 65 6e 64 65  nd 0x7f is rende
17c0: 72 65 64 20 61 73 20 30 78 66 66 66 64 2e 0a 2a  red as 0xfffd..*
17d0: 2a 0a 2a 2a 20 20 2a 20 20 54 68 69 73 20 72 6f  *.**  *  This ro
17e0: 75 74 69 6e 65 20 6e 65 76 65 72 20 61 6c 6c 6f  utine never allo
17f0: 77 73 20 61 20 55 54 46 31 36 20 73 75 72 72 6f  ws a UTF16 surro
1800: 67 61 74 65 20 76 61 6c 75 65 20 74 6f 20 62 65  gate value to be
1810: 20 65 6e 63 6f 64 65 64 2e 0a 2a 2a 20 20 20 20   encoded..**    
1820: 20 49 66 20 61 20 6d 75 6c 74 69 2d 62 79 74 65   If a multi-byte
1830: 20 63 68 61 72 61 63 74 65 72 20 61 74 74 65 6d   character attem
1840: 70 74 73 20 74 6f 20 65 6e 63 6f 64 65 20 61 20  pts to encode a 
1850: 76 61 6c 75 65 20 62 65 74 77 65 65 6e 0a 2a 2a  value between.**
1860: 20 20 20 20 20 30 78 64 38 30 30 20 61 6e 64 20       0xd800 and 
1870: 30 78 65 30 30 30 20 74 68 65 6e 20 69 74 20 69  0xe000 then it i
1880: 73 20 72 65 6e 64 65 72 65 64 20 61 73 20 30 78  s rendered as 0x
1890: 66 66 66 64 2e 0a 2a 2a 0a 2a 2a 20 20 2a 20 20  fffd..**.**  *  
18a0: 42 79 74 65 73 20 69 6e 20 74 68 65 20 72 61 6e  Bytes in the ran
18b0: 67 65 20 6f 66 20 30 78 38 30 20 74 68 72 6f 75  ge of 0x80 throu
18c0: 67 68 20 30 78 62 66 20 77 68 69 63 68 20 6f 63  gh 0xbf which oc
18d0: 63 75 72 20 61 73 20 74 68 65 20 66 69 72 73 74  cur as the first
18e0: 0a 2a 2a 20 20 20 20 20 62 79 74 65 20 6f 66 20  .**     byte of 
18f0: 61 20 63 68 61 72 61 63 74 65 72 20 61 72 65 20  a character are 
1900: 69 6e 74 65 72 70 72 65 74 65 64 20 61 73 20 73  interpreted as s
1910: 69 6e 67 6c 65 2d 62 79 74 65 20 63 68 61 72 61  ingle-byte chara
1920: 63 74 65 72 73 0a 2a 2a 20 20 20 20 20 61 6e 64  cters.**     and
1930: 20 72 65 6e 64 65 72 65 64 20 61 73 20 74 68 65   rendered as the
1940: 6d 73 65 6c 76 65 73 20 65 76 65 6e 20 74 68 6f  mselves even tho
1950: 75 67 68 20 74 68 65 79 20 61 72 65 20 74 65 63  ugh they are tec
1960: 68 6e 69 63 61 6c 6c 79 0a 2a 2a 20 20 20 20 20  hnically.**     
1970: 69 6e 76 61 6c 69 64 20 63 68 61 72 61 63 74 65  invalid characte
1980: 72 73 2e 0a 2a 2a 0a 2a 2a 20 20 2a 20 20 54 68  rs..**.**  *  Th
1990: 69 73 20 72 6f 75 74 69 6e 65 20 61 63 63 65 70  is routine accep
19a0: 74 73 20 61 6e 20 69 6e 66 69 6e 69 74 65 20 6e  ts an infinite n
19b0: 75 6d 62 65 72 20 6f 66 20 64 69 66 66 65 72 65  umber of differe
19c0: 6e 74 20 55 54 46 38 20 65 6e 63 6f 64 69 6e 67  nt UTF8 encoding
19d0: 73 0a 2a 2a 20 20 20 20 20 66 6f 72 20 75 6e 69  s.**     for uni
19e0: 63 6f 64 65 20 76 61 6c 75 65 73 20 30 78 38 30  code values 0x80
19f0: 20 61 6e 64 20 67 72 65 61 74 65 72 2e 20 20 49   and greater.  I
1a00: 74 20 64 6f 20 6e 6f 74 20 63 68 61 6e 67 65 20  t do not change 
1a10: 6f 76 65 72 2d 6c 65 6e 67 74 68 0a 2a 2a 20 20  over-length.**  
1a20: 20 20 20 65 6e 63 6f 64 69 6e 67 73 20 74 6f 20     encodings to 
1a30: 30 78 66 66 66 64 20 61 73 20 73 6f 6d 65 20 73  0xfffd as some s
1a40: 79 73 74 65 6d 73 20 72 65 63 6f 6d 6d 65 6e 64  ystems recommend
1a50: 2e 0a 2a 2f 0a 23 64 65 66 69 6e 65 20 52 45 41  ..*/.#define REA
1a60: 44 5f 55 54 46 38 28 7a 49 6e 2c 20 7a 54 65 72  D_UTF8(zIn, zTer
1a70: 6d 2c 20 63 29 20 20 20 20 20 20 20 20 20 20 20  m, c)           
1a80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1a90: 5c 0a 20 20 63 20 3d 20 2a 28 7a 49 6e 2b 2b 29  \.  c = *(zIn++)
1aa0: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
1ab0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1ac0: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
1ad0: 20 69 66 28 20 63 3e 3d 30 78 63 30 20 29 7b 20   if( c>=0xc0 ){ 
1ae0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1af0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1b00: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20            \.    
1b10: 63 20 3d 20 73 71 6c 69 74 65 33 55 74 66 38 54  c = sqlite3Utf8T
1b20: 72 61 6e 73 31 5b 63 2d 30 78 63 30 5d 3b 20 20  rans1[c-0xc0];  
1b30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1b40: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 77 68 69         \.    whi
1b50: 6c 65 28 20 7a 49 6e 21 3d 7a 54 65 72 6d 20 26  le( zIn!=zTerm &
1b60: 26 20 28 2a 7a 49 6e 20 26 20 30 78 63 30 29 3d  & (*zIn & 0xc0)=
1b70: 3d 30 78 38 30 20 29 7b 20 20 20 20 20 20 20 20  =0x80 ){        
1b80: 20 20 20 20 5c 0a 20 20 20 20 20 20 63 20 3d 20      \.      c = 
1b90: 28 63 3c 3c 36 29 20 2b 20 28 30 78 33 66 20 26  (c<<6) + (0x3f &
1ba0: 20 2a 28 7a 49 6e 2b 2b 29 29 3b 20 20 20 20 20   *(zIn++));     
1bb0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1bc0: 20 5c 0a 20 20 20 20 7d 20 20 20 20 20 20 20 20   \.    }        
1bd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1be0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1bf0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
1c00: 20 20 20 20 69 66 28 20 63 3c 30 78 38 30 20 20      if( c<0x80  
1c10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c30: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20             \.   
1c40: 20 20 20 20 20 7c 7c 20 28 63 26 30 78 46 46 46       || (c&0xFFF
1c50: 46 46 38 30 30 29 3d 3d 30 78 44 38 30 30 20 20  FF800)==0xD800  
1c60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c70: 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 20 20          \.      
1c80: 20 20 7c 7c 20 28 63 26 30 78 46 46 46 46 46 46    || (c&0xFFFFFF
1c90: 46 45 29 3d 3d 30 78 46 46 46 45 20 29 7b 20 20  FE)==0xFFFE ){  
1ca0: 63 20 3d 20 30 78 46 46 46 44 3b 20 7d 20 20 20  c = 0xFFFD; }   
1cb0: 20 20 20 20 20 5c 0a 20 20 7d 0a 69 6e 74 20 73       \.  }.int s
1cc0: 71 6c 69 74 65 33 55 74 66 38 52 65 61 64 28 0a  qlite3Utf8Read(.
1cd0: 20 20 63 6f 6e 73 74 20 75 6e 73 69 67 6e 65 64    const unsigned
1ce0: 20 63 68 61 72 20 2a 7a 49 6e 2c 20 20 20 20 20   char *zIn,     
1cf0: 20 20 2f 2a 20 46 69 72 73 74 20 62 79 74 65 20    /* First byte 
1d00: 6f 66 20 55 54 46 2d 38 20 63 68 61 72 61 63 74  of UTF-8 charact
1d10: 65 72 20 2a 2f 0a 20 20 63 6f 6e 73 74 20 75 6e  er */.  const un
1d20: 73 69 67 6e 65 64 20 63 68 61 72 20 2a 2a 70 7a  signed char **pz
1d30: 4e 65 78 74 20 20 20 20 2f 2a 20 57 72 69 74 65  Next    /* Write
1d40: 20 66 69 72 73 74 20 62 79 74 65 20 70 61 73 74   first byte past
1d50: 20 55 54 46 2d 38 20 63 68 61 72 20 68 65 72 65   UTF-8 char here
1d60: 20 2a 2f 0a 29 7b 0a 20 20 69 6e 74 20 63 3b 0a   */.){.  int c;.
1d70: 0a 20 20 2f 2a 20 53 61 6d 65 20 61 73 20 52 45  .  /* Same as RE
1d80: 41 44 5f 55 54 46 38 28 29 20 61 62 6f 76 65 20  AD_UTF8() above 
1d90: 62 75 74 20 77 69 74 68 6f 75 74 20 74 68 65 20  but without the 
1da0: 7a 54 65 72 6d 20 70 61 72 61 6d 65 74 65 72 2e  zTerm parameter.
1db0: 0a 20 20 2a 2a 20 46 6f 72 20 74 68 69 73 20 72  .  ** For this r
1dc0: 6f 75 74 69 6e 65 2c 20 77 65 20 61 73 73 75 6d  outine, we assum
1dd0: 65 20 74 68 65 20 55 54 46 38 20 73 74 72 69 6e  e the UTF8 strin
1de0: 67 20 69 73 20 61 6c 77 61 79 73 20 7a 65 72 6f  g is always zero
1df0: 2d 74 65 72 6d 69 6e 61 74 65 64 2e 0a 20 20 2a  -terminated..  *
1e00: 2f 0a 20 20 63 20 3d 20 2a 28 7a 49 6e 2b 2b 29  /.  c = *(zIn++)
1e10: 3b 0a 20 20 69 66 28 20 63 3e 3d 30 78 63 30 20  ;.  if( c>=0xc0 
1e20: 29 7b 0a 20 20 20 20 63 20 3d 20 73 71 6c 69 74  ){.    c = sqlit
1e30: 65 33 55 74 66 38 54 72 61 6e 73 31 5b 63 2d 30  e3Utf8Trans1[c-0
1e40: 78 63 30 5d 3b 0a 20 20 20 20 77 68 69 6c 65 28  xc0];.    while(
1e50: 20 28 2a 7a 49 6e 20 26 20 30 78 63 30 29 3d 3d   (*zIn & 0xc0)==
1e60: 30 78 38 30 20 29 7b 0a 20 20 20 20 20 20 63 20  0x80 ){.      c 
1e70: 3d 20 28 63 3c 3c 36 29 20 2b 20 28 30 78 33 66  = (c<<6) + (0x3f
1e80: 20 26 20 2a 28 7a 49 6e 2b 2b 29 29 3b 0a 20 20   & *(zIn++));.  
1e90: 20 20 7d 0a 20 20 20 20 69 66 28 20 63 3c 30 78    }.    if( c<0x
1ea0: 38 30 0a 20 20 20 20 20 20 20 20 7c 7c 20 28 63  80.        || (c
1eb0: 26 30 78 46 46 46 46 46 38 30 30 29 3d 3d 30 78  &0xFFFFF800)==0x
1ec0: 44 38 30 30 0a 20 20 20 20 20 20 20 20 7c 7c 20  D800.        || 
1ed0: 28 63 26 30 78 46 46 46 46 46 46 46 45 29 3d 3d  (c&0xFFFFFFFE)==
1ee0: 30 78 46 46 46 45 20 29 7b 20 20 63 20 3d 20 30  0xFFFE ){  c = 0
1ef0: 78 46 46 46 44 3b 20 7d 0a 20 20 7d 0a 20 20 2a  xFFFD; }.  }.  *
1f00: 70 7a 4e 65 78 74 20 3d 20 7a 49 6e 3b 0a 20 20  pzNext = zIn;.  
1f10: 72 65 74 75 72 6e 20 63 3b 0a 7d 0a 0a 0a 0a 0a  return c;.}.....
1f20: 2f 2a 0a 2a 2a 20 49 66 20 74 68 65 20 54 52 41  /*.** If the TRA
1f30: 4e 53 4c 41 54 45 5f 54 52 41 43 45 20 6d 61 63  NSLATE_TRACE mac
1f40: 72 6f 20 69 73 20 64 65 66 69 6e 65 64 2c 20 74  ro is defined, t
1f50: 68 65 20 76 61 6c 75 65 20 6f 66 20 65 61 63 68  he value of each
1f60: 20 4d 65 6d 20 69 73 0a 2a 2a 20 70 72 69 6e 74   Mem is.** print
1f70: 65 64 20 6f 6e 20 73 74 64 65 72 72 20 6f 6e 20  ed on stderr on 
1f80: 74 68 65 20 77 61 79 20 69 6e 74 6f 20 61 6e 64  the way into and
1f90: 20 6f 75 74 20 6f 66 20 73 71 6c 69 74 65 33 56   out of sqlite3V
1fa0: 64 62 65 4d 65 6d 54 72 61 6e 73 6c 61 74 65 28  dbeMemTranslate(
1fb0: 29 2e 0a 2a 2f 20 0a 2f 2a 20 23 64 65 66 69 6e  )..*/ ./* #defin
1fc0: 65 20 54 52 41 4e 53 4c 41 54 45 5f 54 52 41 43  e TRANSLATE_TRAC
1fd0: 45 20 31 20 2a 2f 0a 0a 23 69 66 6e 64 65 66 20  E 1 */..#ifndef 
1fe0: 53 51 4c 49 54 45 5f 4f 4d 49 54 5f 55 54 46 31  SQLITE_OMIT_UTF1
1ff0: 36 0a 2f 2a 0a 2a 2a 20 54 68 69 73 20 72 6f 75  6./*.** This rou
2000: 74 69 6e 65 20 74 72 61 6e 73 66 6f 72 6d 73 20  tine transforms 
2010: 74 68 65 20 69 6e 74 65 72 6e 61 6c 20 74 65 78  the internal tex
2020: 74 20 65 6e 63 6f 64 69 6e 67 20 75 73 65 64 20  t encoding used 
2030: 62 79 20 70 4d 65 6d 20 74 6f 0a 2a 2a 20 64 65  by pMem to.** de
2040: 73 69 72 65 64 45 6e 63 2e 20 49 74 20 69 73 20  siredEnc. It is 
2050: 61 6e 20 65 72 72 6f 72 20 69 66 20 74 68 65 20  an error if the 
2060: 73 74 72 69 6e 67 20 69 73 20 61 6c 72 65 61 64  string is alread
2070: 79 20 6f 66 20 74 68 65 20 64 65 73 69 72 65 64  y of the desired
2080: 0a 2a 2a 20 65 6e 63 6f 64 69 6e 67 2c 20 6f 72  .** encoding, or
2090: 20 69 66 20 2a 70 4d 65 6d 20 64 6f 65 73 20 6e   if *pMem does n
20a0: 6f 74 20 63 6f 6e 74 61 69 6e 20 61 20 73 74 72  ot contain a str
20b0: 69 6e 67 20 76 61 6c 75 65 2e 0a 2a 2f 0a 69 6e  ing value..*/.in
20c0: 74 20 73 71 6c 69 74 65 33 56 64 62 65 4d 65 6d  t sqlite3VdbeMem
20d0: 54 72 61 6e 73 6c 61 74 65 28 4d 65 6d 20 2a 70  Translate(Mem *p
20e0: 4d 65 6d 2c 20 75 38 20 64 65 73 69 72 65 64 45  Mem, u8 desiredE
20f0: 6e 63 29 7b 0a 20 20 69 6e 74 20 6c 65 6e 3b 20  nc){.  int len; 
2100: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2110: 20 20 20 2f 2a 20 4d 61 78 69 6d 75 6d 20 6c 65     /* Maximum le
2120: 6e 67 74 68 20 6f 66 20 6f 75 74 70 75 74 20 73  ngth of output s
2130: 74 72 69 6e 67 20 69 6e 20 62 79 74 65 73 20 2a  tring in bytes *
2140: 2f 0a 20 20 75 6e 73 69 67 6e 65 64 20 63 68 61  /.  unsigned cha
2150: 72 20 2a 7a 4f 75 74 3b 20 20 20 20 20 20 20 20  r *zOut;        
2160: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 4f 75 74            /* Out
2170: 70 75 74 20 62 75 66 66 65 72 20 2a 2f 0a 20 20  put buffer */.  
2180: 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20 2a 7a  unsigned char *z
2190: 49 6e 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  In;             
21a0: 20 20 20 20 20 20 2f 2a 20 49 6e 70 75 74 20 69        /* Input i
21b0: 74 65 72 61 74 6f 72 20 2a 2f 0a 20 20 75 6e 73  terator */.  uns
21c0: 69 67 6e 65 64 20 63 68 61 72 20 2a 7a 54 65 72  igned char *zTer
21d0: 6d 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  m;              
21e0: 20 20 20 2f 2a 20 45 6e 64 20 6f 66 20 69 6e 70     /* End of inp
21f0: 75 74 20 2a 2f 0a 20 20 75 6e 73 69 67 6e 65 64  ut */.  unsigned
2200: 20 63 68 61 72 20 2a 7a 3b 20 20 20 20 20 20 20   char *z;       
2210: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a                /*
2220: 20 4f 75 74 70 75 74 20 69 74 65 72 61 74 6f 72   Output iterator
2230: 20 2a 2f 0a 20 20 75 6e 73 69 67 6e 65 64 20 69   */.  unsigned i
2240: 6e 74 20 63 3b 0a 0a 20 20 61 73 73 65 72 74 28  nt c;..  assert(
2250: 20 70 4d 65 6d 2d 3e 64 62 3d 3d 30 20 7c 7c 20   pMem->db==0 || 
2260: 73 71 6c 69 74 65 33 5f 6d 75 74 65 78 5f 68 65  sqlite3_mutex_he
2270: 6c 64 28 70 4d 65 6d 2d 3e 64 62 2d 3e 6d 75 74  ld(pMem->db->mut
2280: 65 78 29 20 29 3b 0a 20 20 61 73 73 65 72 74 28  ex) );.  assert(
2290: 20 70 4d 65 6d 2d 3e 66 6c 61 67 73 26 4d 45 4d   pMem->flags&MEM
22a0: 5f 53 74 72 20 29 3b 0a 20 20 61 73 73 65 72 74  _Str );.  assert
22b0: 28 20 70 4d 65 6d 2d 3e 65 6e 63 21 3d 64 65 73  ( pMem->enc!=des
22c0: 69 72 65 64 45 6e 63 20 29 3b 0a 20 20 61 73 73  iredEnc );.  ass
22d0: 65 72 74 28 20 70 4d 65 6d 2d 3e 65 6e 63 21 3d  ert( pMem->enc!=
22e0: 30 20 29 3b 0a 20 20 61 73 73 65 72 74 28 20 70  0 );.  assert( p
22f0: 4d 65 6d 2d 3e 6e 3e 3d 30 20 29 3b 0a 0a 23 69  Mem->n>=0 );..#i
2300: 66 20 64 65 66 69 6e 65 64 28 54 52 41 4e 53 4c  f defined(TRANSL
2310: 41 54 45 5f 54 52 41 43 45 29 20 26 26 20 64 65  ATE_TRACE) && de
2320: 66 69 6e 65 64 28 53 51 4c 49 54 45 5f 44 45 42  fined(SQLITE_DEB
2330: 55 47 29 0a 20 20 7b 0a 20 20 20 20 63 68 61 72  UG).  {.    char
2340: 20 7a 42 75 66 5b 31 30 30 5d 3b 0a 20 20 20 20   zBuf[100];.    
2350: 73 71 6c 69 74 65 33 56 64 62 65 4d 65 6d 50 72  sqlite3VdbeMemPr
2360: 65 74 74 79 50 72 69 6e 74 28 70 4d 65 6d 2c 20  ettyPrint(pMem, 
2370: 7a 42 75 66 29 3b 0a 20 20 20 20 66 70 72 69 6e  zBuf);.    fprin
2380: 74 66 28 73 74 64 65 72 72 2c 20 22 49 4e 50 55  tf(stderr, "INPU
2390: 54 3a 20 20 25 73 5c 6e 22 2c 20 7a 42 75 66 29  T:  %s\n", zBuf)
23a0: 3b 0a 20 20 7d 0a 23 65 6e 64 69 66 0a 0a 20 20  ;.  }.#endif..  
23b0: 2f 2a 20 49 66 20 74 68 65 20 74 72 61 6e 73 6c  /* If the transl
23c0: 61 74 69 6f 6e 20 69 73 20 62 65 74 77 65 65 6e  ation is between
23d0: 20 55 54 46 2d 31 36 20 6c 69 74 74 6c 65 20 61   UTF-16 little a
23e0: 6e 64 20 62 69 67 20 65 6e 64 69 61 6e 2c 20 74  nd big endian, t
23f0: 68 65 6e 20 0a 20 20 2a 2a 20 61 6c 6c 20 74 68  hen .  ** all th
2400: 61 74 20 69 73 20 72 65 71 75 69 72 65 64 20 69  at is required i
2410: 73 20 74 6f 20 73 77 61 70 20 74 68 65 20 62 79  s to swap the by
2420: 74 65 20 6f 72 64 65 72 2e 20 54 68 69 73 20 63  te order. This c
2430: 61 73 65 20 69 73 20 68 61 6e 64 6c 65 64 0a 20  ase is handled. 
2440: 20 2a 2a 20 64 69 66 66 65 72 65 6e 74 6c 79 20   ** differently 
2450: 66 72 6f 6d 20 74 68 65 20 6f 74 68 65 72 73 2e  from the others.
2460: 0a 20 20 2a 2f 0a 20 20 69 66 28 20 70 4d 65 6d  .  */.  if( pMem
2470: 2d 3e 65 6e 63 21 3d 53 51 4c 49 54 45 5f 55 54  ->enc!=SQLITE_UT
2480: 46 38 20 26 26 20 64 65 73 69 72 65 64 45 6e 63  F8 && desiredEnc
2490: 21 3d 53 51 4c 49 54 45 5f 55 54 46 38 20 29 7b  !=SQLITE_UTF8 ){
24a0: 0a 20 20 20 20 75 38 20 74 65 6d 70 3b 0a 20 20  .    u8 temp;.  
24b0: 20 20 69 6e 74 20 72 63 3b 0a 20 20 20 20 72 63    int rc;.    rc
24c0: 20 3d 20 73 71 6c 69 74 65 33 56 64 62 65 4d 65   = sqlite3VdbeMe
24d0: 6d 4d 61 6b 65 57 72 69 74 65 61 62 6c 65 28 70  mMakeWriteable(p
24e0: 4d 65 6d 29 3b 0a 20 20 20 20 69 66 28 20 72 63  Mem);.    if( rc
24f0: 21 3d 53 51 4c 49 54 45 5f 4f 4b 20 29 7b 0a 20  !=SQLITE_OK ){. 
2500: 20 20 20 20 20 61 73 73 65 72 74 28 20 72 63 3d       assert( rc=
2510: 3d 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d 20 29 3b  =SQLITE_NOMEM );
2520: 0a 20 20 20 20 20 20 72 65 74 75 72 6e 20 53 51  .      return SQ
2530: 4c 49 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20 20 20  LITE_NOMEM;.    
2540: 7d 0a 20 20 20 20 7a 49 6e 20 3d 20 28 75 38 2a  }.    zIn = (u8*
2550: 29 70 4d 65 6d 2d 3e 7a 3b 0a 20 20 20 20 7a 54  )pMem->z;.    zT
2560: 65 72 6d 20 3d 20 26 7a 49 6e 5b 70 4d 65 6d 2d  erm = &zIn[pMem-
2570: 3e 6e 26 7e 31 5d 3b 0a 20 20 20 20 77 68 69 6c  >n&~1];.    whil
2580: 65 28 20 7a 49 6e 3c 7a 54 65 72 6d 20 29 7b 0a  e( zIn<zTerm ){.
2590: 20 20 20 20 20 20 74 65 6d 70 20 3d 20 2a 7a 49        temp = *zI
25a0: 6e 3b 0a 20 20 20 20 20 20 2a 7a 49 6e 20 3d 20  n;.      *zIn = 
25b0: 2a 28 7a 49 6e 2b 31 29 3b 0a 20 20 20 20 20 20  *(zIn+1);.      
25c0: 7a 49 6e 2b 2b 3b 0a 20 20 20 20 20 20 2a 7a 49  zIn++;.      *zI
25d0: 6e 2b 2b 20 3d 20 74 65 6d 70 3b 0a 20 20 20 20  n++ = temp;.    
25e0: 7d 0a 20 20 20 20 70 4d 65 6d 2d 3e 65 6e 63 20  }.    pMem->enc 
25f0: 3d 20 64 65 73 69 72 65 64 45 6e 63 3b 0a 20 20  = desiredEnc;.  
2600: 20 20 67 6f 74 6f 20 74 72 61 6e 73 6c 61 74 65    goto translate
2610: 5f 6f 75 74 3b 0a 20 20 7d 0a 0a 20 20 2f 2a 20  _out;.  }..  /* 
2620: 53 65 74 20 6c 65 6e 20 74 6f 20 74 68 65 20 6d  Set len to the m
2630: 61 78 69 6d 75 6d 20 6e 75 6d 62 65 72 20 6f 66  aximum number of
2640: 20 62 79 74 65 73 20 72 65 71 75 69 72 65 64 20   bytes required 
2650: 69 6e 20 74 68 65 20 6f 75 74 70 75 74 20 62 75  in the output bu
2660: 66 66 65 72 2e 20 2a 2f 0a 20 20 69 66 28 20 64  ffer. */.  if( d
2670: 65 73 69 72 65 64 45 6e 63 3d 3d 53 51 4c 49 54  esiredEnc==SQLIT
2680: 45 5f 55 54 46 38 20 29 7b 0a 20 20 20 20 2f 2a  E_UTF8 ){.    /*
2690: 20 57 68 65 6e 20 63 6f 6e 76 65 72 74 69 6e 67   When converting
26a0: 20 66 72 6f 6d 20 55 54 46 2d 31 36 2c 20 74 68   from UTF-16, th
26b0: 65 20 6d 61 78 69 6d 75 6d 20 67 72 6f 77 74 68  e maximum growth
26c0: 20 72 65 73 75 6c 74 73 20 66 72 6f 6d 0a 20 20   results from.  
26d0: 20 20 2a 2a 20 74 72 61 6e 73 6c 61 74 69 6e 67    ** translating
26e0: 20 61 20 32 2d 62 79 74 65 20 63 68 61 72 61 63   a 2-byte charac
26f0: 74 65 72 20 74 6f 20 61 20 34 2d 62 79 74 65 20  ter to a 4-byte 
2700: 55 54 46 2d 38 20 63 68 61 72 61 63 74 65 72 2e  UTF-8 character.
2710: 0a 20 20 20 20 2a 2a 20 41 20 73 69 6e 67 6c 65  .    ** A single
2720: 20 62 79 74 65 20 69 73 20 72 65 71 75 69 72 65   byte is require
2730: 64 20 66 6f 72 20 74 68 65 20 6f 75 74 70 75 74  d for the output
2740: 20 73 74 72 69 6e 67 0a 20 20 20 20 2a 2a 20 6e   string.    ** n
2750: 75 6c 2d 74 65 72 6d 69 6e 61 74 6f 72 2e 0a 20  ul-terminator.. 
2760: 20 20 20 2a 2f 0a 20 20 20 20 70 4d 65 6d 2d 3e     */.    pMem->
2770: 6e 20 26 3d 20 7e 31 3b 0a 20 20 20 20 6c 65 6e  n &= ~1;.    len
2780: 20 3d 20 70 4d 65 6d 2d 3e 6e 20 2a 20 32 20 2b   = pMem->n * 2 +
2790: 20 31 3b 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20   1;.  }else{.   
27a0: 20 2f 2a 20 57 68 65 6e 20 63 6f 6e 76 65 72 74   /* When convert
27b0: 69 6e 67 20 66 72 6f 6d 20 55 54 46 2d 38 20 74  ing from UTF-8 t
27c0: 6f 20 55 54 46 2d 31 36 20 74 68 65 20 6d 61 78  o UTF-16 the max
27d0: 69 6d 75 6d 20 67 72 6f 77 74 68 20 69 73 20 63  imum growth is c
27e0: 61 75 73 65 64 0a 20 20 20 20 2a 2a 20 77 68 65  aused.    ** whe
27f0: 6e 20 61 20 31 2d 62 79 74 65 20 55 54 46 2d 38  n a 1-byte UTF-8
2800: 20 63 68 61 72 61 63 74 65 72 20 69 73 20 74 72   character is tr
2810: 61 6e 73 6c 61 74 65 64 20 69 6e 74 6f 20 61 20  anslated into a 
2820: 32 2d 62 79 74 65 20 55 54 46 2d 31 36 0a 20 20  2-byte UTF-16.  
2830: 20 20 2a 2a 20 63 68 61 72 61 63 74 65 72 2e 20    ** character. 
2840: 54 77 6f 20 62 79 74 65 73 20 61 72 65 20 72 65  Two bytes are re
2850: 71 75 69 72 65 64 20 69 6e 20 74 68 65 20 6f 75  quired in the ou
2860: 74 70 75 74 20 62 75 66 66 65 72 20 66 6f 72 20  tput buffer for 
2870: 74 68 65 0a 20 20 20 20 2a 2a 20 6e 75 6c 2d 74  the.    ** nul-t
2880: 65 72 6d 69 6e 61 74 6f 72 2e 0a 20 20 20 20 2a  erminator..    *
2890: 2f 0a 20 20 20 20 6c 65 6e 20 3d 20 70 4d 65 6d  /.    len = pMem
28a0: 2d 3e 6e 20 2a 20 32 20 2b 20 32 3b 0a 20 20 7d  ->n * 2 + 2;.  }
28b0: 0a 0a 20 20 2f 2a 20 53 65 74 20 7a 49 6e 20 74  ..  /* Set zIn t
28c0: 6f 20 70 6f 69 6e 74 20 61 74 20 74 68 65 20 73  o point at the s
28d0: 74 61 72 74 20 6f 66 20 74 68 65 20 69 6e 70 75  tart of the inpu
28e0: 74 20 62 75 66 66 65 72 20 61 6e 64 20 7a 54 65  t buffer and zTe
28f0: 72 6d 20 74 6f 20 70 6f 69 6e 74 20 31 0a 20 20  rm to point 1.  
2900: 2a 2a 20 62 79 74 65 20 70 61 73 74 20 74 68 65  ** byte past the
2910: 20 65 6e 64 2e 0a 20 20 2a 2a 0a 20 20 2a 2a 20   end..  **.  ** 
2920: 56 61 72 69 61 62 6c 65 20 7a 4f 75 74 20 69 73  Variable zOut is
2930: 20 73 65 74 20 74 6f 20 70 6f 69 6e 74 20 61 74   set to point at
2940: 20 74 68 65 20 6f 75 74 70 75 74 20 62 75 66 66   the output buff
2950: 65 72 2c 20 73 70 61 63 65 20 6f 62 74 61 69 6e  er, space obtain
2960: 65 64 0a 20 20 2a 2a 20 66 72 6f 6d 20 73 71 6c  ed.  ** from sql
2970: 69 74 65 33 5f 6d 61 6c 6c 6f 63 28 29 2e 0a 20  ite3_malloc().. 
2980: 20 2a 2f 0a 20 20 7a 49 6e 20 3d 20 28 75 38 2a   */.  zIn = (u8*
2990: 29 70 4d 65 6d 2d 3e 7a 3b 0a 20 20 7a 54 65 72  )pMem->z;.  zTer
29a0: 6d 20 3d 20 26 7a 49 6e 5b 70 4d 65 6d 2d 3e 6e  m = &zIn[pMem->n
29b0: 5d 3b 0a 20 20 7a 4f 75 74 20 3d 20 73 71 6c 69  ];.  zOut = sqli
29c0: 74 65 33 44 62 4d 61 6c 6c 6f 63 52 61 77 28 70  te3DbMallocRaw(p
29d0: 4d 65 6d 2d 3e 64 62 2c 20 6c 65 6e 29 3b 0a 20  Mem->db, len);. 
29e0: 20 69 66 28 20 21 7a 4f 75 74 20 29 7b 0a 20 20   if( !zOut ){.  
29f0: 20 20 72 65 74 75 72 6e 20 53 51 4c 49 54 45 5f    return SQLITE_
2a00: 4e 4f 4d 45 4d 3b 0a 20 20 7d 0a 20 20 7a 20 3d  NOMEM;.  }.  z =
2a10: 20 7a 4f 75 74 3b 0a 0a 20 20 69 66 28 20 70 4d   zOut;..  if( pM
2a20: 65 6d 2d 3e 65 6e 63 3d 3d 53 51 4c 49 54 45 5f  em->enc==SQLITE_
2a30: 55 54 46 38 20 29 7b 0a 20 20 20 20 69 66 28 20  UTF8 ){.    if( 
2a40: 64 65 73 69 72 65 64 45 6e 63 3d 3d 53 51 4c 49  desiredEnc==SQLI
2a50: 54 45 5f 55 54 46 31 36 4c 45 20 29 7b 0a 20 20  TE_UTF16LE ){.  
2a60: 20 20 20 20 2f 2a 20 55 54 46 2d 38 20 2d 3e 20      /* UTF-8 -> 
2a70: 55 54 46 2d 31 36 20 4c 69 74 74 6c 65 2d 65 6e  UTF-16 Little-en
2a80: 64 69 61 6e 20 2a 2f 0a 20 20 20 20 20 20 77 68  dian */.      wh
2a90: 69 6c 65 28 20 7a 49 6e 3c 7a 54 65 72 6d 20 29  ile( zIn<zTerm )
2aa0: 7b 0a 20 20 20 20 20 20 20 20 2f 2a 20 63 20 3d  {.        /* c =
2ab0: 20 73 71 6c 69 74 65 33 55 74 66 38 52 65 61 64   sqlite3Utf8Read
2ac0: 28 7a 49 6e 2c 20 7a 54 65 72 6d 2c 20 28 63 6f  (zIn, zTerm, (co
2ad0: 6e 73 74 20 75 38 2a 2a 29 26 7a 49 6e 29 3b 20  nst u8**)&zIn); 
2ae0: 2a 2f 0a 20 20 20 20 20 20 20 20 52 45 41 44 5f  */.        READ_
2af0: 55 54 46 38 28 7a 49 6e 2c 20 7a 54 65 72 6d 2c  UTF8(zIn, zTerm,
2b00: 20 63 29 3b 0a 20 20 20 20 20 20 20 20 57 52 49   c);.        WRI
2b10: 54 45 5f 55 54 46 31 36 4c 45 28 7a 2c 20 63 29  TE_UTF16LE(z, c)
2b20: 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20 20 7d 65  ;.      }.    }e
2b30: 6c 73 65 7b 0a 20 20 20 20 20 20 61 73 73 65 72  lse{.      asser
2b40: 74 28 20 64 65 73 69 72 65 64 45 6e 63 3d 3d 53  t( desiredEnc==S
2b50: 51 4c 49 54 45 5f 55 54 46 31 36 42 45 20 29 3b  QLITE_UTF16BE );
2b60: 0a 20 20 20 20 20 20 2f 2a 20 55 54 46 2d 38 20  .      /* UTF-8 
2b70: 2d 3e 20 55 54 46 2d 31 36 20 42 69 67 2d 65 6e  -> UTF-16 Big-en
2b80: 64 69 61 6e 20 2a 2f 0a 20 20 20 20 20 20 77 68  dian */.      wh
2b90: 69 6c 65 28 20 7a 49 6e 3c 7a 54 65 72 6d 20 29  ile( zIn<zTerm )
2ba0: 7b 0a 20 20 20 20 20 20 20 20 2f 2a 20 63 20 3d  {.        /* c =
2bb0: 20 73 71 6c 69 74 65 33 55 74 66 38 52 65 61 64   sqlite3Utf8Read
2bc0: 28 7a 49 6e 2c 20 7a 54 65 72 6d 2c 20 28 63 6f  (zIn, zTerm, (co
2bd0: 6e 73 74 20 75 38 2a 2a 29 26 7a 49 6e 29 3b 20  nst u8**)&zIn); 
2be0: 2a 2f 0a 20 20 20 20 20 20 20 20 52 45 41 44 5f  */.        READ_
2bf0: 55 54 46 38 28 7a 49 6e 2c 20 7a 54 65 72 6d 2c  UTF8(zIn, zTerm,
2c00: 20 63 29 3b 0a 20 20 20 20 20 20 20 20 57 52 49   c);.        WRI
2c10: 54 45 5f 55 54 46 31 36 42 45 28 7a 2c 20 63 29  TE_UTF16BE(z, c)
2c20: 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20 20 7d 0a  ;.      }.    }.
2c30: 20 20 20 20 70 4d 65 6d 2d 3e 6e 20 3d 20 28 69      pMem->n = (i
2c40: 6e 74 29 28 7a 20 2d 20 7a 4f 75 74 29 3b 0a 20  nt)(z - zOut);. 
2c50: 20 20 20 2a 7a 2b 2b 20 3d 20 30 3b 0a 20 20 7d     *z++ = 0;.  }
2c60: 65 6c 73 65 7b 0a 20 20 20 20 61 73 73 65 72 74  else{.    assert
2c70: 28 20 64 65 73 69 72 65 64 45 6e 63 3d 3d 53 51  ( desiredEnc==SQ
2c80: 4c 49 54 45 5f 55 54 46 38 20 29 3b 0a 20 20 20  LITE_UTF8 );.   
2c90: 20 69 66 28 20 70 4d 65 6d 2d 3e 65 6e 63 3d 3d   if( pMem->enc==
2ca0: 53 51 4c 49 54 45 5f 55 54 46 31 36 4c 45 20 29  SQLITE_UTF16LE )
2cb0: 7b 0a 20 20 20 20 20 20 2f 2a 20 55 54 46 2d 31  {.      /* UTF-1
2cc0: 36 20 4c 69 74 74 6c 65 2d 65 6e 64 69 61 6e 20  6 Little-endian 
2cd0: 2d 3e 20 55 54 46 2d 38 20 2a 2f 0a 20 20 20 20  -> UTF-8 */.    
2ce0: 20 20 77 68 69 6c 65 28 20 7a 49 6e 3c 7a 54 65    while( zIn<zTe
2cf0: 72 6d 20 29 7b 0a 20 20 20 20 20 20 20 20 52 45  rm ){.        RE
2d00: 41 44 5f 55 54 46 31 36 4c 45 28 7a 49 6e 2c 20  AD_UTF16LE(zIn, 
2d10: 7a 49 6e 3c 7a 54 65 72 6d 2c 20 63 29 3b 20 0a  zIn<zTerm, c); .
2d20: 20 20 20 20 20 20 20 20 57 52 49 54 45 5f 55 54          WRITE_UT
2d30: 46 38 28 7a 2c 20 63 29 3b 0a 20 20 20 20 20 20  F8(z, c);.      
2d40: 7d 0a 20 20 20 20 7d 65 6c 73 65 7b 0a 20 20 20  }.    }else{.   
2d50: 20 20 20 2f 2a 20 55 54 46 2d 31 36 20 42 69 67     /* UTF-16 Big
2d60: 2d 65 6e 64 69 61 6e 20 2d 3e 20 55 54 46 2d 38  -endian -> UTF-8
2d70: 20 2a 2f 0a 20 20 20 20 20 20 77 68 69 6c 65 28   */.      while(
2d80: 20 7a 49 6e 3c 7a 54 65 72 6d 20 29 7b 0a 20 20   zIn<zTerm ){.  
2d90: 20 20 20 20 20 20 52 45 41 44 5f 55 54 46 31 36        READ_UTF16
2da0: 42 45 28 7a 49 6e 2c 20 7a 49 6e 3c 7a 54 65 72  BE(zIn, zIn<zTer
2db0: 6d 2c 20 63 29 3b 20 0a 20 20 20 20 20 20 20 20  m, c); .        
2dc0: 57 52 49 54 45 5f 55 54 46 38 28 7a 2c 20 63 29  WRITE_UTF8(z, c)
2dd0: 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20 20 7d 0a  ;.      }.    }.
2de0: 20 20 20 20 70 4d 65 6d 2d 3e 6e 20 3d 20 28 69      pMem->n = (i
2df0: 6e 74 29 28 7a 20 2d 20 7a 4f 75 74 29 3b 0a 20  nt)(z - zOut);. 
2e00: 20 7d 0a 20 20 2a 7a 20 3d 20 30 3b 0a 20 20 61   }.  *z = 0;.  a
2e10: 73 73 65 72 74 28 20 28 70 4d 65 6d 2d 3e 6e 2b  ssert( (pMem->n+
2e20: 28 64 65 73 69 72 65 64 45 6e 63 3d 3d 53 51 4c  (desiredEnc==SQL
2e30: 49 54 45 5f 55 54 46 38 3f 31 3a 32 29 29 3c 3d  ITE_UTF8?1:2))<=
2e40: 6c 65 6e 20 29 3b 0a 0a 20 20 73 71 6c 69 74 65  len );..  sqlite
2e50: 33 56 64 62 65 4d 65 6d 52 65 6c 65 61 73 65 28  3VdbeMemRelease(
2e60: 70 4d 65 6d 29 3b 0a 20 20 70 4d 65 6d 2d 3e 66  pMem);.  pMem->f
2e70: 6c 61 67 73 20 26 3d 20 7e 28 4d 45 4d 5f 53 74  lags &= ~(MEM_St
2e80: 61 74 69 63 7c 4d 45 4d 5f 44 79 6e 7c 4d 45 4d  atic|MEM_Dyn|MEM
2e90: 5f 45 70 68 65 6d 29 3b 0a 20 20 70 4d 65 6d 2d  _Ephem);.  pMem-
2ea0: 3e 65 6e 63 20 3d 20 64 65 73 69 72 65 64 45 6e  >enc = desiredEn
2eb0: 63 3b 0a 20 20 70 4d 65 6d 2d 3e 66 6c 61 67 73  c;.  pMem->flags
2ec0: 20 7c 3d 20 28 4d 45 4d 5f 54 65 72 6d 7c 4d 45   |= (MEM_Term|ME
2ed0: 4d 5f 44 79 6e 29 3b 0a 20 20 70 4d 65 6d 2d 3e  M_Dyn);.  pMem->
2ee0: 7a 20 3d 20 28 63 68 61 72 2a 29 7a 4f 75 74 3b  z = (char*)zOut;
2ef0: 0a 20 20 70 4d 65 6d 2d 3e 7a 4d 61 6c 6c 6f 63  .  pMem->zMalloc
2f00: 20 3d 20 70 4d 65 6d 2d 3e 7a 3b 0a 0a 74 72 61   = pMem->z;..tra
2f10: 6e 73 6c 61 74 65 5f 6f 75 74 3a 0a 23 69 66 20  nslate_out:.#if 
2f20: 64 65 66 69 6e 65 64 28 54 52 41 4e 53 4c 41 54  defined(TRANSLAT
2f30: 45 5f 54 52 41 43 45 29 20 26 26 20 64 65 66 69  E_TRACE) && defi
2f40: 6e 65 64 28 53 51 4c 49 54 45 5f 44 45 42 55 47  ned(SQLITE_DEBUG
2f50: 29 0a 20 20 7b 0a 20 20 20 20 63 68 61 72 20 7a  ).  {.    char z
2f60: 42 75 66 5b 31 30 30 5d 3b 0a 20 20 20 20 73 71  Buf[100];.    sq
2f70: 6c 69 74 65 33 56 64 62 65 4d 65 6d 50 72 65 74  lite3VdbeMemPret
2f80: 74 79 50 72 69 6e 74 28 70 4d 65 6d 2c 20 7a 42  tyPrint(pMem, zB
2f90: 75 66 29 3b 0a 20 20 20 20 66 70 72 69 6e 74 66  uf);.    fprintf
2fa0: 28 73 74 64 65 72 72 2c 20 22 4f 55 54 50 55 54  (stderr, "OUTPUT
2fb0: 3a 20 25 73 5c 6e 22 2c 20 7a 42 75 66 29 3b 0a  : %s\n", zBuf);.
2fc0: 20 20 7d 0a 23 65 6e 64 69 66 0a 20 20 72 65 74    }.#endif.  ret
2fd0: 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d  urn SQLITE_OK;.}
2fe0: 0a 0a 2f 2a 0a 2a 2a 20 54 68 69 73 20 72 6f 75  ../*.** This rou
2ff0: 74 69 6e 65 20 63 68 65 63 6b 73 20 66 6f 72 20  tine checks for 
3000: 61 20 62 79 74 65 2d 6f 72 64 65 72 20 6d 61 72  a byte-order mar
3010: 6b 20 61 74 20 74 68 65 20 62 65 67 69 6e 6e 69  k at the beginni
3020: 6e 67 20 6f 66 20 74 68 65 20 0a 2a 2a 20 55 54  ng of the .** UT
3030: 46 2d 31 36 20 73 74 72 69 6e 67 20 73 74 6f 72  F-16 string stor
3040: 65 64 20 69 6e 20 2a 70 4d 65 6d 2e 20 49 66 20  ed in *pMem. If 
3050: 6f 6e 65 20 69 73 20 70 72 65 73 65 6e 74 2c 20  one is present, 
3060: 69 74 20 69 73 20 72 65 6d 6f 76 65 64 20 61 6e  it is removed an
3070: 64 0a 2a 2a 20 74 68 65 20 65 6e 63 6f 64 69 6e  d.** the encodin
3080: 67 20 6f 66 20 74 68 65 20 4d 65 6d 20 61 64 6a  g of the Mem adj
3090: 75 73 74 65 64 2e 20 54 68 69 73 20 72 6f 75 74  usted. This rout
30a0: 69 6e 65 20 64 6f 65 73 20 6e 6f 74 20 64 6f 20  ine does not do 
30b0: 61 6e 79 0a 2a 2a 20 62 79 74 65 2d 73 77 61 70  any.** byte-swap
30c0: 70 69 6e 67 2c 20 69 74 20 6a 75 73 74 20 73 65  ping, it just se
30d0: 74 73 20 4d 65 6d 2e 65 6e 63 20 61 70 70 72 6f  ts Mem.enc appro
30e0: 70 72 69 61 74 65 6c 79 2e 0a 2a 2a 0a 2a 2a 20  priately..**.** 
30f0: 54 68 65 20 61 6c 6c 6f 63 61 74 69 6f 6e 20 28  The allocation (
3100: 73 74 61 74 69 63 2c 20 64 79 6e 61 6d 69 63 20  static, dynamic 
3110: 65 74 63 2e 29 20 61 6e 64 20 65 6e 63 6f 64 69  etc.) and encodi
3120: 6e 67 20 6f 66 20 74 68 65 20 4d 65 6d 20 6d 61  ng of the Mem ma
3130: 79 20 62 65 0a 2a 2a 20 63 68 61 6e 67 65 64 20  y be.** changed 
3140: 62 79 20 74 68 69 73 20 66 75 6e 63 74 69 6f 6e  by this function
3150: 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33  ..*/.int sqlite3
3160: 56 64 62 65 4d 65 6d 48 61 6e 64 6c 65 42 6f 6d  VdbeMemHandleBom
3170: 28 4d 65 6d 20 2a 70 4d 65 6d 29 7b 0a 20 20 69  (Mem *pMem){.  i
3180: 6e 74 20 72 63 20 3d 20 53 51 4c 49 54 45 5f 4f  nt rc = SQLITE_O
3190: 4b 3b 0a 20 20 75 38 20 62 6f 6d 20 3d 20 30 3b  K;.  u8 bom = 0;
31a0: 0a 0a 20 20 61 73 73 65 72 74 28 20 70 4d 65 6d  ..  assert( pMem
31b0: 2d 3e 6e 3e 3d 30 20 29 3b 0a 20 20 69 66 28 20  ->n>=0 );.  if( 
31c0: 70 4d 65 6d 2d 3e 6e 3e 31 20 29 7b 0a 20 20 20  pMem->n>1 ){.   
31d0: 20 75 38 20 62 31 20 3d 20 2a 28 75 38 20 2a 29   u8 b1 = *(u8 *)
31e0: 70 4d 65 6d 2d 3e 7a 3b 0a 20 20 20 20 75 38 20  pMem->z;.    u8 
31f0: 62 32 20 3d 20 2a 28 28 28 75 38 20 2a 29 70 4d  b2 = *(((u8 *)pM
3200: 65 6d 2d 3e 7a 29 20 2b 20 31 29 3b 0a 20 20 20  em->z) + 1);.   
3210: 20 69 66 28 20 62 31 3d 3d 30 78 46 45 20 26 26   if( b1==0xFE &&
3220: 20 62 32 3d 3d 30 78 46 46 20 29 7b 0a 20 20 20   b2==0xFF ){.   
3230: 20 20 20 62 6f 6d 20 3d 20 53 51 4c 49 54 45 5f     bom = SQLITE_
3240: 55 54 46 31 36 42 45 3b 0a 20 20 20 20 7d 0a 20  UTF16BE;.    }. 
3250: 20 20 20 69 66 28 20 62 31 3d 3d 30 78 46 46 20     if( b1==0xFF 
3260: 26 26 20 62 32 3d 3d 30 78 46 45 20 29 7b 0a 20  && b2==0xFE ){. 
3270: 20 20 20 20 20 62 6f 6d 20 3d 20 53 51 4c 49 54       bom = SQLIT
3280: 45 5f 55 54 46 31 36 4c 45 3b 0a 20 20 20 20 7d  E_UTF16LE;.    }
3290: 0a 20 20 7d 0a 20 20 0a 20 20 69 66 28 20 62 6f  .  }.  .  if( bo
32a0: 6d 20 29 7b 0a 20 20 20 20 72 63 20 3d 20 73 71  m ){.    rc = sq
32b0: 6c 69 74 65 33 56 64 62 65 4d 65 6d 4d 61 6b 65  lite3VdbeMemMake
32c0: 57 72 69 74 65 61 62 6c 65 28 70 4d 65 6d 29 3b  Writeable(pMem);
32d0: 0a 20 20 20 20 69 66 28 20 72 63 3d 3d 53 51 4c  .    if( rc==SQL
32e0: 49 54 45 5f 4f 4b 20 29 7b 0a 20 20 20 20 20 20  ITE_OK ){.      
32f0: 70 4d 65 6d 2d 3e 6e 20 2d 3d 20 32 3b 0a 20 20  pMem->n -= 2;.  
3300: 20 20 20 20 6d 65 6d 6d 6f 76 65 28 70 4d 65 6d      memmove(pMem
3310: 2d 3e 7a 2c 20 26 70 4d 65 6d 2d 3e 7a 5b 32 5d  ->z, &pMem->z[2]
3320: 2c 20 70 4d 65 6d 2d 3e 6e 29 3b 0a 20 20 20 20  , pMem->n);.    
3330: 20 20 70 4d 65 6d 2d 3e 7a 5b 70 4d 65 6d 2d 3e    pMem->z[pMem->
3340: 6e 5d 20 3d 20 27 5c 30 27 3b 0a 20 20 20 20 20  n] = '\0';.     
3350: 20 70 4d 65 6d 2d 3e 7a 5b 70 4d 65 6d 2d 3e 6e   pMem->z[pMem->n
3360: 2b 31 5d 20 3d 20 27 5c 30 27 3b 0a 20 20 20 20  +1] = '\0';.    
3370: 20 20 70 4d 65 6d 2d 3e 66 6c 61 67 73 20 7c 3d    pMem->flags |=
3380: 20 4d 45 4d 5f 54 65 72 6d 3b 0a 20 20 20 20 20   MEM_Term;.     
3390: 20 70 4d 65 6d 2d 3e 65 6e 63 20 3d 20 62 6f 6d   pMem->enc = bom
33a0: 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 72 65  ;.    }.  }.  re
33b0: 74 75 72 6e 20 72 63 3b 0a 7d 0a 23 65 6e 64 69  turn rc;.}.#endi
33c0: 66 20 2f 2a 20 53 51 4c 49 54 45 5f 4f 4d 49 54  f /* SQLITE_OMIT
33d0: 5f 55 54 46 31 36 20 2a 2f 0a 0a 2f 2a 0a 2a 2a  _UTF16 */../*.**
33e0: 20 70 5a 20 69 73 20 61 20 55 54 46 2d 38 20 65   pZ is a UTF-8 e
33f0: 6e 63 6f 64 65 64 20 75 6e 69 63 6f 64 65 20 73  ncoded unicode s
3400: 74 72 69 6e 67 2e 20 49 66 20 6e 42 79 74 65 20  tring. If nByte 
3410: 69 73 20 6c 65 73 73 20 74 68 61 6e 20 7a 65 72  is less than zer
3420: 6f 2c 0a 2a 2a 20 72 65 74 75 72 6e 20 74 68 65  o,.** return the
3430: 20 6e 75 6d 62 65 72 20 6f 66 20 75 6e 69 63 6f   number of unico
3440: 64 65 20 63 68 61 72 61 63 74 65 72 73 20 69 6e  de characters in
3450: 20 70 5a 20 75 70 20 74 6f 20 28 62 75 74 20 6e   pZ up to (but n
3460: 6f 74 20 69 6e 63 6c 75 64 69 6e 67 29 0a 2a 2a  ot including).**
3470: 20 74 68 65 20 66 69 72 73 74 20 30 78 30 30 20   the first 0x00 
3480: 62 79 74 65 2e 20 49 66 20 6e 42 79 74 65 20 69  byte. If nByte i
3490: 73 20 6e 6f 74 20 6c 65 73 73 20 74 68 61 6e 20  s not less than 
34a0: 7a 65 72 6f 2c 20 72 65 74 75 72 6e 20 74 68 65  zero, return the
34b0: 0a 2a 2a 20 6e 75 6d 62 65 72 20 6f 66 20 75 6e  .** number of un
34c0: 69 63 6f 64 65 20 63 68 61 72 61 63 74 65 72 73  icode characters
34d0: 20 69 6e 20 74 68 65 20 66 69 72 73 74 20 6e 42   in the first nB
34e0: 79 74 65 20 6f 66 20 70 5a 20 28 6f 72 20 75 70  yte of pZ (or up
34f0: 20 74 6f 20 0a 2a 2a 20 74 68 65 20 66 69 72 73   to .** the firs
3500: 74 20 30 78 30 30 2c 20 77 68 69 63 68 65 76 65  t 0x00, whicheve
3510: 72 20 63 6f 6d 65 73 20 66 69 72 73 74 29 2e 0a  r comes first)..
3520: 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 55 74  */.int sqlite3Ut
3530: 66 38 43 68 61 72 4c 65 6e 28 63 6f 6e 73 74 20  f8CharLen(const 
3540: 63 68 61 72 20 2a 7a 49 6e 2c 20 69 6e 74 20 6e  char *zIn, int n
3550: 42 79 74 65 29 7b 0a 20 20 69 6e 74 20 72 20 3d  Byte){.  int r =
3560: 20 30 3b 0a 20 20 63 6f 6e 73 74 20 75 38 20 2a   0;.  const u8 *
3570: 7a 20 3d 20 28 63 6f 6e 73 74 20 75 38 2a 29 7a  z = (const u8*)z
3580: 49 6e 3b 0a 20 20 63 6f 6e 73 74 20 75 38 20 2a  In;.  const u8 *
3590: 7a 54 65 72 6d 3b 0a 20 20 69 66 28 20 6e 42 79  zTerm;.  if( nBy
35a0: 74 65 3e 3d 30 20 29 7b 0a 20 20 20 20 7a 54 65  te>=0 ){.    zTe
35b0: 72 6d 20 3d 20 26 7a 5b 6e 42 79 74 65 5d 3b 0a  rm = &z[nByte];.
35c0: 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 7a 54 65    }else{.    zTe
35d0: 72 6d 20 3d 20 28 63 6f 6e 73 74 20 75 38 2a 29  rm = (const u8*)
35e0: 28 2d 31 29 3b 0a 20 20 7d 0a 20 20 61 73 73 65  (-1);.  }.  asse
35f0: 72 74 28 20 7a 3c 3d 7a 54 65 72 6d 20 29 3b 0a  rt( z<=zTerm );.
3600: 20 20 77 68 69 6c 65 28 20 2a 7a 21 3d 30 20 26    while( *z!=0 &
3610: 26 20 7a 3c 7a 54 65 72 6d 20 29 7b 0a 20 20 20  & z<zTerm ){.   
3620: 20 53 51 4c 49 54 45 5f 53 4b 49 50 5f 55 54 46   SQLITE_SKIP_UTF
3630: 38 28 7a 29 3b 0a 20 20 20 20 72 2b 2b 3b 0a 20  8(z);.    r++;. 
3640: 20 7d 0a 20 20 72 65 74 75 72 6e 20 72 3b 0a 7d   }.  return r;.}
3650: 0a 0a 2f 2a 20 54 68 69 73 20 74 65 73 74 20 66  ../* This test f
3660: 75 6e 63 74 69 6f 6e 20 69 73 20 6e 6f 74 20 63  unction is not c
3670: 75 72 72 65 6e 74 6c 79 20 75 73 65 64 20 62 79  urrently used by
3680: 20 74 68 65 20 61 75 74 6f 6d 61 74 65 64 20 74   the automated t
3690: 65 73 74 2d 73 75 69 74 65 2e 20 0a 2a 2a 20 48  est-suite. .** H
36a0: 65 6e 63 65 20 69 74 20 69 73 20 6f 6e 6c 79 20  ence it is only 
36b0: 61 76 61 69 6c 61 62 6c 65 20 69 6e 20 64 65 62  available in deb
36c0: 75 67 20 62 75 69 6c 64 73 2e 0a 2a 2f 0a 23 69  ug builds..*/.#i
36d0: 66 20 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45  f defined(SQLITE
36e0: 5f 54 45 53 54 29 20 26 26 20 64 65 66 69 6e 65  _TEST) && define
36f0: 64 28 53 51 4c 49 54 45 5f 44 45 42 55 47 29 0a  d(SQLITE_DEBUG).
3700: 2f 2a 0a 2a 2a 20 54 72 61 6e 73 6c 61 74 65 20  /*.** Translate 
3710: 55 54 46 2d 38 20 74 6f 20 55 54 46 2d 38 2e 0a  UTF-8 to UTF-8..
3720: 2a 2a 0a 2a 2a 20 54 68 69 73 20 68 61 73 20 74  **.** This has t
3730: 68 65 20 65 66 66 65 63 74 20 6f 66 20 6d 61 6b  he effect of mak
3740: 69 6e 67 20 73 75 72 65 20 74 68 61 74 20 74 68  ing sure that th
3750: 65 20 73 74 72 69 6e 67 20 69 73 20 77 65 6c 6c  e string is well
3760: 2d 66 6f 72 6d 65 64 0a 2a 2a 20 55 54 46 2d 38  -formed.** UTF-8
3770: 2e 20 20 4d 69 73 63 6f 64 65 64 20 63 68 61 72  .  Miscoded char
3780: 61 63 74 65 72 73 20 61 72 65 20 72 65 6d 6f 76  acters are remov
3790: 65 64 2e 0a 2a 2a 0a 2a 2a 20 54 68 65 20 74 72  ed..**.** The tr
37a0: 61 6e 73 6c 61 74 69 6f 6e 20 69 73 20 64 6f 6e  anslation is don
37b0: 65 20 69 6e 2d 70 6c 61 63 65 20 28 73 69 6e 63  e in-place (sinc
37c0: 65 20 69 74 20 69 73 20 69 6d 70 6f 73 73 69 62  e it is impossib
37d0: 6c 65 20 66 6f 72 20 74 68 65 0a 2a 2a 20 63 6f  le for the.** co
37e0: 72 72 65 63 74 20 55 54 46 2d 38 20 65 6e 63 6f  rrect UTF-8 enco
37f0: 64 69 6e 67 20 74 6f 20 62 65 20 6c 6f 6e 67 65  ding to be longe
3800: 72 20 74 68 61 6e 20 61 20 6d 61 6c 66 6f 72 6d  r than a malform
3810: 65 64 20 65 6e 63 6f 64 69 6e 67 29 2e 0a 2a 2f  ed encoding)..*/
3820: 0a 69 6e 74 20 73 71 6c 69 74 65 33 55 74 66 38  .int sqlite3Utf8
3830: 54 6f 38 28 75 6e 73 69 67 6e 65 64 20 63 68 61  To8(unsigned cha
3840: 72 20 2a 7a 49 6e 29 7b 0a 20 20 75 6e 73 69 67  r *zIn){.  unsig
3850: 6e 65 64 20 63 68 61 72 20 2a 7a 4f 75 74 20 3d  ned char *zOut =
3860: 20 7a 49 6e 3b 0a 20 20 75 6e 73 69 67 6e 65 64   zIn;.  unsigned
3870: 20 63 68 61 72 20 2a 7a 53 74 61 72 74 20 3d 20   char *zStart = 
3880: 7a 49 6e 3b 0a 20 20 75 33 32 20 63 3b 0a 0a 20  zIn;.  u32 c;.. 
3890: 20 77 68 69 6c 65 28 20 7a 49 6e 5b 30 5d 20 29   while( zIn[0] )
38a0: 7b 0a 20 20 20 20 63 20 3d 20 73 71 6c 69 74 65  {.    c = sqlite
38b0: 33 55 74 66 38 52 65 61 64 28 7a 49 6e 2c 20 28  3Utf8Read(zIn, (
38c0: 63 6f 6e 73 74 20 75 38 2a 2a 29 26 7a 49 6e 29  const u8**)&zIn)
38d0: 3b 0a 20 20 20 20 69 66 28 20 63 21 3d 30 78 66  ;.    if( c!=0xf
38e0: 66 66 64 20 29 7b 0a 20 20 20 20 20 20 57 52 49  ffd ){.      WRI
38f0: 54 45 5f 55 54 46 38 28 7a 4f 75 74 2c 20 63 29  TE_UTF8(zOut, c)
3900: 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 2a 7a  ;.    }.  }.  *z
3910: 4f 75 74 20 3d 20 30 3b 0a 20 20 72 65 74 75 72  Out = 0;.  retur
3920: 6e 20 28 69 6e 74 29 28 7a 4f 75 74 20 2d 20 7a  n (int)(zOut - z
3930: 53 74 61 72 74 29 3b 0a 7d 0a 23 65 6e 64 69 66  Start);.}.#endif
3940: 0a 0a 23 69 66 6e 64 65 66 20 53 51 4c 49 54 45  ..#ifndef SQLITE
3950: 5f 4f 4d 49 54 5f 55 54 46 31 36 0a 2f 2a 0a 2a  _OMIT_UTF16./*.*
3960: 2a 20 43 6f 6e 76 65 72 74 20 61 20 55 54 46 2d  * Convert a UTF-
3970: 31 36 20 73 74 72 69 6e 67 20 69 6e 20 74 68 65  16 string in the
3980: 20 6e 61 74 69 76 65 20 65 6e 63 6f 64 69 6e 67   native encoding
3990: 20 69 6e 74 6f 20 61 20 55 54 46 2d 38 20 73 74   into a UTF-8 st
39a0: 72 69 6e 67 2e 0a 2a 2a 20 4d 65 6d 6f 72 79 20  ring..** Memory 
39b0: 74 6f 20 68 6f 6c 64 20 74 68 65 20 55 54 46 2d  to hold the UTF-
39c0: 38 20 73 74 72 69 6e 67 20 69 73 20 6f 62 74 61  8 string is obta
39d0: 69 6e 65 64 20 66 72 6f 6d 20 73 71 6c 69 74 65  ined from sqlite
39e0: 33 5f 6d 61 6c 6c 6f 63 20 61 6e 64 20 6d 75 73  3_malloc and mus
39f0: 74 0a 2a 2a 20 62 65 20 66 72 65 65 64 20 62 79  t.** be freed by
3a00: 20 74 68 65 20 63 61 6c 6c 69 6e 67 20 66 75 6e   the calling fun
3a10: 63 74 69 6f 6e 2e 0a 2a 2a 0a 2a 2a 20 4e 55 4c  ction..**.** NUL
3a20: 4c 20 69 73 20 72 65 74 75 72 6e 65 64 20 69 66  L is returned if
3a30: 20 74 68 65 72 65 20 69 73 20 61 6e 20 61 6c 6c   there is an all
3a40: 6f 63 61 74 69 6f 6e 20 65 72 72 6f 72 2e 0a 2a  ocation error..*
3a50: 2f 0a 63 68 61 72 20 2a 73 71 6c 69 74 65 33 55  /.char *sqlite3U
3a60: 74 66 31 36 74 6f 38 28 73 71 6c 69 74 65 33 20  tf16to8(sqlite3 
3a70: 2a 64 62 2c 20 63 6f 6e 73 74 20 76 6f 69 64 20  *db, const void 
3a80: 2a 7a 2c 20 69 6e 74 20 6e 42 79 74 65 29 7b 0a  *z, int nByte){.
3a90: 20 20 4d 65 6d 20 6d 3b 0a 20 20 6d 65 6d 73 65    Mem m;.  memse
3aa0: 74 28 26 6d 2c 20 30 2c 20 73 69 7a 65 6f 66 28  t(&m, 0, sizeof(
3ab0: 6d 29 29 3b 0a 20 20 6d 2e 64 62 20 3d 20 64 62  m));.  m.db = db
3ac0: 3b 0a 20 20 73 71 6c 69 74 65 33 56 64 62 65 4d  ;.  sqlite3VdbeM
3ad0: 65 6d 53 65 74 53 74 72 28 26 6d 2c 20 7a 2c 20  emSetStr(&m, z, 
3ae0: 6e 42 79 74 65 2c 20 53 51 4c 49 54 45 5f 55 54  nByte, SQLITE_UT
3af0: 46 31 36 4e 41 54 49 56 45 2c 20 53 51 4c 49 54  F16NATIVE, SQLIT
3b00: 45 5f 53 54 41 54 49 43 29 3b 0a 20 20 73 71 6c  E_STATIC);.  sql
3b10: 69 74 65 33 56 64 62 65 43 68 61 6e 67 65 45 6e  ite3VdbeChangeEn
3b20: 63 6f 64 69 6e 67 28 26 6d 2c 20 53 51 4c 49 54  coding(&m, SQLIT
3b30: 45 5f 55 54 46 38 29 3b 0a 20 20 69 66 28 20 64  E_UTF8);.  if( d
3b40: 62 2d 3e 6d 61 6c 6c 6f 63 46 61 69 6c 65 64 20  b->mallocFailed 
3b50: 29 7b 0a 20 20 20 20 73 71 6c 69 74 65 33 56 64  ){.    sqlite3Vd
3b60: 62 65 4d 65 6d 52 65 6c 65 61 73 65 28 26 6d 29  beMemRelease(&m)
3b70: 3b 0a 20 20 20 20 6d 2e 7a 20 3d 20 30 3b 0a 20  ;.    m.z = 0;. 
3b80: 20 7d 0a 20 20 61 73 73 65 72 74 28 20 28 6d 2e   }.  assert( (m.
3b90: 66 6c 61 67 73 20 26 20 4d 45 4d 5f 54 65 72 6d  flags & MEM_Term
3ba0: 29 21 3d 30 20 7c 7c 20 64 62 2d 3e 6d 61 6c 6c  )!=0 || db->mall
3bb0: 6f 63 46 61 69 6c 65 64 20 29 3b 0a 20 20 61 73  ocFailed );.  as
3bc0: 73 65 72 74 28 20 28 6d 2e 66 6c 61 67 73 20 26  sert( (m.flags &
3bd0: 20 4d 45 4d 5f 53 74 72 29 21 3d 30 20 7c 7c 20   MEM_Str)!=0 || 
3be0: 64 62 2d 3e 6d 61 6c 6c 6f 63 46 61 69 6c 65 64  db->mallocFailed
3bf0: 20 29 3b 0a 20 20 72 65 74 75 72 6e 20 28 6d 2e   );.  return (m.
3c00: 66 6c 61 67 73 20 26 20 4d 45 4d 5f 44 79 6e 29  flags & MEM_Dyn)
3c10: 21 3d 30 20 3f 20 6d 2e 7a 20 3a 20 73 71 6c 69  !=0 ? m.z : sqli
3c20: 74 65 33 44 62 53 74 72 44 75 70 28 64 62 2c 20  te3DbStrDup(db, 
3c30: 6d 2e 7a 29 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 43  m.z);.}../*.** C
3c40: 6f 6e 76 65 72 74 20 61 20 55 54 46 2d 38 20 73  onvert a UTF-8 s
3c50: 74 72 69 6e 67 20 74 6f 20 74 68 65 20 55 54 46  tring to the UTF
3c60: 2d 31 36 20 65 6e 63 6f 64 69 6e 67 20 73 70 65  -16 encoding spe
3c70: 63 69 66 69 65 64 20 62 79 20 70 61 72 61 6d 65  cified by parame
3c80: 74 65 72 0a 2a 2a 20 65 6e 63 2e 20 41 20 70 6f  ter.** enc. A po
3c90: 69 6e 74 65 72 20 74 6f 20 74 68 65 20 6e 65 77  inter to the new
3ca0: 20 73 74 72 69 6e 67 20 69 73 20 72 65 74 75 72   string is retur
3cb0: 6e 65 64 2c 20 61 6e 64 20 74 68 65 20 76 61 6c  ned, and the val
3cc0: 75 65 20 6f 66 20 2a 70 6e 4f 75 74 0a 2a 2a 20  ue of *pnOut.** 
3cd0: 69 73 20 73 65 74 20 74 6f 20 74 68 65 20 6c 65  is set to the le
3ce0: 6e 67 74 68 20 6f 66 20 74 68 65 20 72 65 74 75  ngth of the retu
3cf0: 72 6e 65 64 20 73 74 72 69 6e 67 20 69 6e 20 62  rned string in b
3d00: 79 74 65 73 2e 20 54 68 65 20 63 61 6c 6c 20 73  ytes. The call s
3d10: 68 6f 75 6c 64 0a 2a 2a 20 61 72 72 61 6e 67 65  hould.** arrange
3d20: 20 74 6f 20 63 61 6c 6c 20 73 71 6c 69 74 65 33   to call sqlite3
3d30: 44 62 46 72 65 65 28 29 20 6f 6e 20 74 68 65 20  DbFree() on the 
3d40: 72 65 74 75 72 6e 65 64 20 70 6f 69 6e 74 65 72  returned pointer
3d50: 20 77 68 65 6e 20 69 74 20 69 73 0a 2a 2a 20 6e   when it is.** n
3d60: 6f 20 6c 6f 6e 67 65 72 20 72 65 71 75 69 72 65  o longer require
3d70: 64 2e 0a 2a 2a 20 0a 2a 2a 20 49 66 20 61 20 6d  d..** .** If a m
3d80: 61 6c 6c 6f 63 20 66 61 69 6c 75 72 65 20 6f 63  alloc failure oc
3d90: 63 75 72 73 2c 20 4e 55 4c 4c 20 69 73 20 72 65  curs, NULL is re
3da0: 74 75 72 6e 65 64 20 61 6e 64 20 74 68 65 20 64  turned and the d
3db0: 62 2e 6d 61 6c 6c 6f 63 46 61 69 6c 65 64 0a 2a  b.mallocFailed.*
3dc0: 2a 20 66 6c 61 67 20 73 65 74 2e 0a 2a 2f 0a 23  * flag set..*/.#
3dd0: 69 66 64 65 66 20 53 51 4c 49 54 45 5f 45 4e 41  ifdef SQLITE_ENA
3de0: 42 4c 45 5f 53 54 41 54 32 0a 63 68 61 72 20 2a  BLE_STAT2.char *
3df0: 73 71 6c 69 74 65 33 55 74 66 38 74 6f 31 36 28  sqlite3Utf8to16(
3e00: 73 71 6c 69 74 65 33 20 2a 64 62 2c 20 75 38 20  sqlite3 *db, u8 
3e10: 65 6e 63 2c 20 63 68 61 72 20 2a 7a 2c 20 69 6e  enc, char *z, in
3e20: 74 20 6e 2c 20 69 6e 74 20 2a 70 6e 4f 75 74 29  t n, int *pnOut)
3e30: 7b 0a 20 20 4d 65 6d 20 6d 3b 0a 20 20 6d 65 6d  {.  Mem m;.  mem
3e40: 73 65 74 28 26 6d 2c 20 30 2c 20 73 69 7a 65 6f  set(&m, 0, sizeo
3e50: 66 28 6d 29 29 3b 0a 20 20 6d 2e 64 62 20 3d 20  f(m));.  m.db = 
3e60: 64 62 3b 0a 20 20 73 71 6c 69 74 65 33 56 64 62  db;.  sqlite3Vdb
3e70: 65 4d 65 6d 53 65 74 53 74 72 28 26 6d 2c 20 7a  eMemSetStr(&m, z
3e80: 2c 20 6e 2c 20 53 51 4c 49 54 45 5f 55 54 46 38  , n, SQLITE_UTF8
3e90: 2c 20 53 51 4c 49 54 45 5f 53 54 41 54 49 43 29  , SQLITE_STATIC)
3ea0: 3b 0a 20 20 69 66 28 20 73 71 6c 69 74 65 33 56  ;.  if( sqlite3V
3eb0: 64 62 65 4d 65 6d 54 72 61 6e 73 6c 61 74 65 28  dbeMemTranslate(
3ec0: 26 6d 2c 20 65 6e 63 29 20 29 7b 0a 20 20 20 20  &m, enc) ){.    
3ed0: 61 73 73 65 72 74 28 20 64 62 2d 3e 6d 61 6c 6c  assert( db->mall
3ee0: 6f 63 46 61 69 6c 65 64 20 29 3b 0a 20 20 20 20  ocFailed );.    
3ef0: 72 65 74 75 72 6e 20 30 3b 0a 20 20 7d 0a 20 20  return 0;.  }.  
3f00: 61 73 73 65 72 74 28 20 6d 2e 7a 3d 3d 6d 2e 7a  assert( m.z==m.z
3f10: 4d 61 6c 6c 6f 63 20 29 3b 0a 20 20 2a 70 6e 4f  Malloc );.  *pnO
3f20: 75 74 20 3d 20 6d 2e 6e 3b 0a 20 20 72 65 74 75  ut = m.n;.  retu
3f30: 72 6e 20 6d 2e 7a 3b 0a 7d 0a 23 65 6e 64 69 66  rn m.z;.}.#endif
3f40: 0a 0a 2f 2a 0a 2a 2a 20 7a 49 6e 20 69 73 20 61  ../*.** zIn is a
3f50: 20 55 54 46 2d 31 36 20 65 6e 63 6f 64 65 64 20   UTF-16 encoded 
3f60: 75 6e 69 63 6f 64 65 20 73 74 72 69 6e 67 20 61  unicode string a
3f70: 74 20 6c 65 61 73 74 20 6e 43 68 61 72 20 63 68  t least nChar ch
3f80: 61 72 61 63 74 65 72 73 20 6c 6f 6e 67 2e 0a 2a  aracters long..*
3f90: 2a 20 52 65 74 75 72 6e 20 74 68 65 20 6e 75 6d  * Return the num
3fa0: 62 65 72 20 6f 66 20 62 79 74 65 73 20 69 6e 20  ber of bytes in 
3fb0: 74 68 65 20 66 69 72 73 74 20 6e 43 68 61 72 20  the first nChar 
3fc0: 75 6e 69 63 6f 64 65 20 63 68 61 72 61 63 74 65  unicode characte
3fd0: 72 73 0a 2a 2a 20 69 6e 20 70 5a 2e 20 20 6e 43  rs.** in pZ.  nC
3fe0: 68 61 72 20 6d 75 73 74 20 62 65 20 6e 6f 6e 2d  har must be non-
3ff0: 6e 65 67 61 74 69 76 65 2e 0a 2a 2f 0a 69 6e 74  negative..*/.int
4000: 20 73 71 6c 69 74 65 33 55 74 66 31 36 42 79 74   sqlite3Utf16Byt
4010: 65 4c 65 6e 28 63 6f 6e 73 74 20 76 6f 69 64 20  eLen(const void 
4020: 2a 7a 49 6e 2c 20 69 6e 74 20 6e 43 68 61 72 29  *zIn, int nChar)
4030: 7b 0a 20 20 69 6e 74 20 63 3b 0a 20 20 75 6e 73  {.  int c;.  uns
4040: 69 67 6e 65 64 20 63 68 61 72 20 63 6f 6e 73 74  igned char const
4050: 20 2a 7a 20 3d 20 7a 49 6e 3b 0a 20 20 69 6e 74   *z = zIn;.  int
4060: 20 6e 20 3d 20 30 3b 0a 20 20 0a 20 20 69 66 28   n = 0;.  .  if(
4070: 20 53 51 4c 49 54 45 5f 55 54 46 31 36 4e 41 54   SQLITE_UTF16NAT
4080: 49 56 45 3d 3d 53 51 4c 49 54 45 5f 55 54 46 31  IVE==SQLITE_UTF1
4090: 36 42 45 20 29 7b 0a 20 20 20 20 77 68 69 6c 65  6BE ){.    while
40a0: 28 20 6e 3c 6e 43 68 61 72 20 29 7b 0a 20 20 20  ( n<nChar ){.   
40b0: 20 20 20 52 45 41 44 5f 55 54 46 31 36 42 45 28     READ_UTF16BE(
40c0: 7a 2c 20 31 2c 20 63 29 3b 0a 20 20 20 20 20 20  z, 1, c);.      
40d0: 6e 2b 2b 3b 0a 20 20 20 20 7d 0a 20 20 7d 65 6c  n++;.    }.  }el
40e0: 73 65 7b 0a 20 20 20 20 77 68 69 6c 65 28 20 6e  se{.    while( n
40f0: 3c 6e 43 68 61 72 20 29 7b 0a 20 20 20 20 20 20  <nChar ){.      
4100: 52 45 41 44 5f 55 54 46 31 36 4c 45 28 7a 2c 20  READ_UTF16LE(z, 
4110: 31 2c 20 63 29 3b 0a 20 20 20 20 20 20 6e 2b 2b  1, c);.      n++
4120: 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 72 65  ;.    }.  }.  re
4130: 74 75 72 6e 20 28 69 6e 74 29 28 7a 2d 28 75 6e  turn (int)(z-(un
4140: 73 69 67 6e 65 64 20 63 68 61 72 20 63 6f 6e 73  signed char cons
4150: 74 20 2a 29 7a 49 6e 29 3b 0a 7d 0a 0a 23 69 66  t *)zIn);.}..#if
4160: 20 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f   defined(SQLITE_
4170: 54 45 53 54 29 0a 2f 2a 0a 2a 2a 20 54 68 69 73  TEST)./*.** This
4180: 20 72 6f 75 74 69 6e 65 20 69 73 20 63 61 6c 6c   routine is call
4190: 65 64 20 66 72 6f 6d 20 74 68 65 20 54 43 4c 20  ed from the TCL 
41a0: 74 65 73 74 20 66 75 6e 63 74 69 6f 6e 20 22 74  test function "t
41b0: 72 61 6e 73 6c 61 74 65 5f 73 65 6c 66 74 65 73  ranslate_selftes
41c0: 74 22 2e 0a 2a 2a 20 49 74 20 63 68 65 63 6b 73  t"..** It checks
41d0: 20 74 68 61 74 20 74 68 65 20 70 72 69 6d 69 74   that the primit
41e0: 69 76 65 73 20 66 6f 72 20 73 65 72 69 61 6c 69  ives for seriali
41f0: 7a 69 6e 67 20 61 6e 64 20 64 65 73 65 72 69 61  zing and deseria
4200: 6c 69 7a 69 6e 67 0a 2a 2a 20 63 68 61 72 61 63  lizing.** charac
4210: 74 65 72 73 20 69 6e 20 65 61 63 68 20 65 6e 63  ters in each enc
4220: 6f 64 69 6e 67 20 61 72 65 20 69 6e 76 65 72 73  oding are invers
4230: 65 73 20 6f 66 20 65 61 63 68 20 6f 74 68 65 72  es of each other
4240: 2e 0a 2a 2f 0a 76 6f 69 64 20 73 71 6c 69 74 65  ..*/.void sqlite
4250: 33 55 74 66 53 65 6c 66 54 65 73 74 28 76 6f 69  3UtfSelfTest(voi
4260: 64 29 7b 0a 20 20 75 6e 73 69 67 6e 65 64 20 69  d){.  unsigned i
4270: 6e 74 20 69 2c 20 74 3b 0a 20 20 75 6e 73 69 67  nt i, t;.  unsig
4280: 6e 65 64 20 63 68 61 72 20 7a 42 75 66 5b 32 30  ned char zBuf[20
4290: 5d 3b 0a 20 20 75 6e 73 69 67 6e 65 64 20 63 68  ];.  unsigned ch
42a0: 61 72 20 2a 7a 3b 0a 20 20 69 6e 74 20 6e 3b 0a  ar *z;.  int n;.
42b0: 20 20 75 6e 73 69 67 6e 65 64 20 69 6e 74 20 63    unsigned int c
42c0: 3b 0a 0a 20 20 66 6f 72 28 69 3d 30 3b 20 69 3c  ;..  for(i=0; i<
42d0: 30 78 30 30 31 31 30 30 30 30 3b 20 69 2b 2b 29  0x00110000; i++)
42e0: 7b 0a 20 20 20 20 7a 20 3d 20 7a 42 75 66 3b 0a  {.    z = zBuf;.
42f0: 20 20 20 20 57 52 49 54 45 5f 55 54 46 38 28 7a      WRITE_UTF8(z
4300: 2c 20 69 29 3b 0a 20 20 20 20 6e 20 3d 20 28 69  , i);.    n = (i
4310: 6e 74 29 28 7a 2d 7a 42 75 66 29 3b 0a 20 20 20  nt)(z-zBuf);.   
4320: 20 61 73 73 65 72 74 28 20 6e 3e 30 20 26 26 20   assert( n>0 && 
4330: 6e 3c 3d 34 20 29 3b 0a 20 20 20 20 7a 5b 30 5d  n<=4 );.    z[0]
4340: 20 3d 20 30 3b 0a 20 20 20 20 7a 20 3d 20 7a 42   = 0;.    z = zB
4350: 75 66 3b 0a 20 20 20 20 63 20 3d 20 73 71 6c 69  uf;.    c = sqli
4360: 74 65 33 55 74 66 38 52 65 61 64 28 7a 2c 20 28  te3Utf8Read(z, (
4370: 63 6f 6e 73 74 20 75 38 2a 2a 29 26 7a 29 3b 0a  const u8**)&z);.
4380: 20 20 20 20 74 20 3d 20 69 3b 0a 20 20 20 20 69      t = i;.    i
4390: 66 28 20 69 3e 3d 30 78 44 38 30 30 20 26 26 20  f( i>=0xD800 && 
43a0: 69 3c 3d 30 78 44 46 46 46 20 29 20 74 20 3d 20  i<=0xDFFF ) t = 
43b0: 30 78 46 46 46 44 3b 0a 20 20 20 20 69 66 28 20  0xFFFD;.    if( 
43c0: 28 69 26 30 78 46 46 46 46 46 46 46 45 29 3d 3d  (i&0xFFFFFFFE)==
43d0: 30 78 46 46 46 45 20 29 20 74 20 3d 20 30 78 46  0xFFFE ) t = 0xF
43e0: 46 46 44 3b 0a 20 20 20 20 61 73 73 65 72 74 28  FFD;.    assert(
43f0: 20 63 3d 3d 74 20 29 3b 0a 20 20 20 20 61 73 73   c==t );.    ass
4400: 65 72 74 28 20 28 7a 2d 7a 42 75 66 29 3d 3d 6e  ert( (z-zBuf)==n
4410: 20 29 3b 0a 20 20 7d 0a 20 20 66 6f 72 28 69 3d   );.  }.  for(i=
4420: 30 3b 20 69 3c 30 78 30 30 31 31 30 30 30 30 3b  0; i<0x00110000;
4430: 20 69 2b 2b 29 7b 0a 20 20 20 20 69 66 28 20 69   i++){.    if( i
4440: 3e 3d 30 78 44 38 30 30 20 26 26 20 69 3c 30 78  >=0xD800 && i<0x
4450: 45 30 30 30 20 29 20 63 6f 6e 74 69 6e 75 65 3b  E000 ) continue;
4460: 0a 20 20 20 20 7a 20 3d 20 7a 42 75 66 3b 0a 20  .    z = zBuf;. 
4470: 20 20 20 57 52 49 54 45 5f 55 54 46 31 36 4c 45     WRITE_UTF16LE
4480: 28 7a 2c 20 69 29 3b 0a 20 20 20 20 6e 20 3d 20  (z, i);.    n = 
4490: 28 69 6e 74 29 28 7a 2d 7a 42 75 66 29 3b 0a 20  (int)(z-zBuf);. 
44a0: 20 20 20 61 73 73 65 72 74 28 20 6e 3e 30 20 26     assert( n>0 &
44b0: 26 20 6e 3c 3d 34 20 29 3b 0a 20 20 20 20 7a 5b  & n<=4 );.    z[
44c0: 30 5d 20 3d 20 30 3b 0a 20 20 20 20 7a 20 3d 20  0] = 0;.    z = 
44d0: 7a 42 75 66 3b 0a 20 20 20 20 52 45 41 44 5f 55  zBuf;.    READ_U
44e0: 54 46 31 36 4c 45 28 7a 2c 20 31 2c 20 63 29 3b  TF16LE(z, 1, c);
44f0: 0a 20 20 20 20 61 73 73 65 72 74 28 20 63 3d 3d  .    assert( c==
4500: 69 20 29 3b 0a 20 20 20 20 61 73 73 65 72 74 28  i );.    assert(
4510: 20 28 7a 2d 7a 42 75 66 29 3d 3d 6e 20 29 3b 0a   (z-zBuf)==n );.
4520: 20 20 7d 0a 20 20 66 6f 72 28 69 3d 30 3b 20 69    }.  for(i=0; i
4530: 3c 30 78 30 30 31 31 30 30 30 30 3b 20 69 2b 2b  <0x00110000; i++
4540: 29 7b 0a 20 20 20 20 69 66 28 20 69 3e 3d 30 78  ){.    if( i>=0x
4550: 44 38 30 30 20 26 26 20 69 3c 30 78 45 30 30 30  D800 && i<0xE000
4560: 20 29 20 63 6f 6e 74 69 6e 75 65 3b 0a 20 20 20   ) continue;.   
4570: 20 7a 20 3d 20 7a 42 75 66 3b 0a 20 20 20 20 57   z = zBuf;.    W
4580: 52 49 54 45 5f 55 54 46 31 36 42 45 28 7a 2c 20  RITE_UTF16BE(z, 
4590: 69 29 3b 0a 20 20 20 20 6e 20 3d 20 28 69 6e 74  i);.    n = (int
45a0: 29 28 7a 2d 7a 42 75 66 29 3b 0a 20 20 20 20 61  )(z-zBuf);.    a
45b0: 73 73 65 72 74 28 20 6e 3e 30 20 26 26 20 6e 3c  ssert( n>0 && n<
45c0: 3d 34 20 29 3b 0a 20 20 20 20 7a 5b 30 5d 20 3d  =4 );.    z[0] =
45d0: 20 30 3b 0a 20 20 20 20 7a 20 3d 20 7a 42 75 66   0;.    z = zBuf
45e0: 3b 0a 20 20 20 20 52 45 41 44 5f 55 54 46 31 36  ;.    READ_UTF16
45f0: 42 45 28 7a 2c 20 31 2c 20 63 29 3b 0a 20 20 20  BE(z, 1, c);.   
4600: 20 61 73 73 65 72 74 28 20 63 3d 3d 69 20 29 3b   assert( c==i );
4610: 0a 20 20 20 20 61 73 73 65 72 74 28 20 28 7a 2d  .    assert( (z-
4620: 7a 42 75 66 29 3d 3d 6e 20 29 3b 0a 20 20 7d 0a  zBuf)==n );.  }.
4630: 7d 0a 23 65 6e 64 69 66 20 2f 2a 20 53 51 4c 49  }.#endif /* SQLI
4640: 54 45 5f 54 45 53 54 20 2a 2f 0a 23 65 6e 64 69  TE_TEST */.#endi
4650: 66 20 2f 2a 20 53 51 4c 49 54 45 5f 4f 4d 49 54  f /* SQLITE_OMIT
4660: 5f 55 54 46 31 36 20 2a 2f 0a                    _UTF16 */.