/ Hex Artifact Content
Login
SQLite training in Houston TX on 2019-11-05 (details)
Part of the 2019 Tcl Conference

Artifact 32d7f82aa921322f3e1c956f4b58f019ebd2c6b3:


0000: 2f 2a 0a 2a 2a 20 32 30 30 34 20 41 70 72 69 6c  /*.** 2004 April
0010: 20 31 33 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75   13.**.** The au
0020: 74 68 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63  thor disclaims c
0030: 6f 70 79 72 69 67 68 74 20 74 6f 20 74 68 69 73  opyright to this
0040: 20 73 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49   source code.  I
0050: 6e 20 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20  n place of.** a 
0060: 6c 65 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65  legal notice, he
0070: 72 65 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67  re is a blessing
0080: 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79  :.**.**    May y
0090: 6f 75 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e  ou do good and n
00a0: 6f 74 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d  ot evil..**    M
00b0: 61 79 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67  ay you find forg
00c0: 69 76 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72  iveness for your
00d0: 73 65 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65  self and forgive
00e0: 20 6f 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d   others..**    M
00f0: 61 79 20 79 6f 75 20 73 68 61 72 65 20 66 72 65  ay you share fre
0100: 65 6c 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e  ely, never takin
0110: 67 20 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20  g more than you 
0120: 67 69 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a  give..**.*******
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 0a 2a 2a 20 54 68 69 73 20 66 69 6c 65 20  **.** This file 
0180: 63 6f 6e 74 61 69 6e 73 20 72 6f 75 74 69 6e 65  contains routine
0190: 73 20 75 73 65 64 20 74 6f 20 74 72 61 6e 73 6c  s used to transl
01a0: 61 74 65 20 62 65 74 77 65 65 6e 20 55 54 46 2d  ate between UTF-
01b0: 38 2c 20 0a 2a 2a 20 55 54 46 2d 31 36 2c 20 55  8, .** UTF-16, U
01c0: 54 46 2d 31 36 42 45 2c 20 61 6e 64 20 55 54 46  TF-16BE, and UTF
01d0: 2d 31 36 4c 45 2e 0a 2a 2a 0a 2a 2a 20 4e 6f 74  -16LE..**.** Not
01e0: 65 73 20 6f 6e 20 55 54 46 2d 38 3a 0a 2a 2a 0a  es on UTF-8:.**.
01f0: 2a 2a 20 20 20 42 79 74 65 2d 30 20 20 20 20 42  **   Byte-0    B
0200: 79 74 65 2d 31 20 20 20 20 42 79 74 65 2d 32 20  yte-1    Byte-2 
0210: 20 20 20 42 79 74 65 2d 33 20 20 20 20 56 61 6c     Byte-3    Val
0220: 75 65 0a 2a 2a 20 20 30 78 78 78 78 78 78 78 20  ue.**  0xxxxxxx 
0230: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0240: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0250: 30 30 30 30 30 30 30 30 20 30 30 30 30 30 30 30  00000000 0000000
0260: 30 20 30 78 78 78 78 78 78 78 0a 2a 2a 20 20 31  0 0xxxxxxx.**  1
0270: 31 30 79 79 79 79 79 20 20 31 30 78 78 78 78 78  10yyyyy  10xxxxx
0280: 78 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  x               
0290: 20 20 20 20 20 20 20 20 30 30 30 30 30 30 30 30          00000000
02a0: 20 30 30 30 30 30 79 79 79 20 79 79 78 78 78 78   00000yyy yyxxxx
02b0: 78 78 0a 2a 2a 20 20 31 31 31 30 7a 7a 7a 7a 20  xx.**  1110zzzz 
02c0: 20 31 30 79 79 79 79 79 79 20 20 31 30 78 78 78   10yyyyyy  10xxx
02d0: 78 78 78 20 20 20 20 20 20 20 20 20 20 20 20 20  xxx             
02e0: 30 30 30 30 30 30 30 30 20 7a 7a 7a 7a 79 79 79  00000000 zzzzyyy
02f0: 79 20 79 79 78 78 78 78 78 78 0a 2a 2a 20 20 31  y yyxxxxxx.**  1
0300: 31 31 31 30 75 75 75 20 20 31 30 75 75 7a 7a 7a  1110uuu  10uuzzz
0310: 7a 20 20 31 30 79 79 79 79 79 79 20 20 31 30 78  z  10yyyyyy  10x
0320: 78 78 78 78 78 20 20 20 30 30 30 75 75 75 75 75  xxxxx   000uuuuu
0330: 20 7a 7a 7a 7a 79 79 79 79 20 79 79 78 78 78 78   zzzzyyyy yyxxxx
0340: 78 78 0a 2a 2a 0a 2a 2a 0a 2a 2a 20 4e 6f 74 65  xx.**.**.** Note
0350: 73 20 6f 6e 20 55 54 46 2d 31 36 3a 20 20 28 77  s on UTF-16:  (w
0360: 69 74 68 20 77 77 77 77 2b 31 3d 3d 75 75 75 75  ith wwww+1==uuuu
0370: 75 29 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 57 6f  u).**.**      Wo
0380: 72 64 2d 30 20 20 20 20 20 20 20 20 20 20 20 20  rd-0            
0390: 20 20 20 57 6f 72 64 2d 31 20 20 20 20 20 20 20     Word-1       
03a0: 20 20 20 56 61 6c 75 65 0a 2a 2a 20 20 31 31 30     Value.**  110
03b0: 31 31 30 77 77 20 77 77 7a 7a 7a 7a 79 79 20 20  110ww wwzzzzyy  
03c0: 20 31 31 30 31 31 31 79 79 20 79 79 78 78 78 78   110111yy yyxxxx
03d0: 78 78 20 20 20 20 30 30 30 75 75 75 75 75 20 7a  xx    000uuuuu z
03e0: 7a 7a 7a 79 79 79 79 20 79 79 78 78 78 78 78 78  zzzyyyy yyxxxxxx
03f0: 0a 2a 2a 20 20 7a 7a 7a 7a 79 79 79 79 20 79 79  .**  zzzzyyyy yy
0400: 78 78 78 78 78 78 20 20 20 20 20 20 20 20 20 20  xxxxxx          
0410: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 30 30                00
0420: 30 30 30 30 30 30 20 7a 7a 7a 7a 79 79 79 79 20  000000 zzzzyyyy 
0430: 79 79 78 78 78 78 78 78 0a 2a 2a 0a 2a 2a 0a 2a  yyxxxxxx.**.**.*
0440: 2a 20 42 4f 4d 20 6f 72 20 42 79 74 65 20 4f 72  * BOM or Byte Or
0450: 64 65 72 20 4d 61 72 6b 3a 0a 2a 2a 20 20 20 20  der Mark:.**    
0460: 20 30 78 66 66 20 30 78 66 65 20 20 20 6c 69 74   0xff 0xfe   lit
0470: 74 6c 65 2d 65 6e 64 69 61 6e 20 75 74 66 2d 31  tle-endian utf-1
0480: 36 20 66 6f 6c 6c 6f 77 73 0a 2a 2a 20 20 20 20  6 follows.**    
0490: 20 30 78 66 65 20 30 78 66 66 20 20 20 62 69 67   0xfe 0xff   big
04a0: 2d 65 6e 64 69 61 6e 20 75 74 66 2d 31 36 20 66  -endian utf-16 f
04b0: 6f 6c 6c 6f 77 73 0a 2a 2a 0a 2a 2f 0a 23 69 6e  ollows.**.*/.#in
04c0: 63 6c 75 64 65 20 22 73 71 6c 69 74 65 49 6e 74  clude "sqliteInt
04d0: 2e 68 22 0a 23 69 6e 63 6c 75 64 65 20 3c 61 73  .h".#include <as
04e0: 73 65 72 74 2e 68 3e 0a 23 69 6e 63 6c 75 64 65  sert.h>.#include
04f0: 20 22 76 64 62 65 49 6e 74 2e 68 22 0a 0a 23 69   "vdbeInt.h"..#i
0500: 66 20 21 64 65 66 69 6e 65 64 28 53 51 4c 49 54  f !defined(SQLIT
0510: 45 5f 41 4d 41 4c 47 41 4d 41 54 49 4f 4e 29 20  E_AMALGAMATION) 
0520: 26 26 20 53 51 4c 49 54 45 5f 42 59 54 45 4f 52  && SQLITE_BYTEOR
0530: 44 45 52 3d 3d 30 0a 2f 2a 0a 2a 2a 20 54 68 65  DER==0./*.** The
0540: 20 66 6f 6c 6c 6f 77 69 6e 67 20 63 6f 6e 73 74   following const
0550: 61 6e 74 20 76 61 6c 75 65 20 69 73 20 75 73 65  ant value is use
0560: 64 20 62 79 20 74 68 65 20 53 51 4c 49 54 45 5f  d by the SQLITE_
0570: 42 49 47 45 4e 44 49 41 4e 20 61 6e 64 0a 2a 2a  BIGENDIAN and.**
0580: 20 53 51 4c 49 54 45 5f 4c 49 54 54 4c 45 45 4e   SQLITE_LITTLEEN
0590: 44 49 41 4e 20 6d 61 63 72 6f 73 2e 0a 2a 2f 0a  DIAN macros..*/.
05a0: 63 6f 6e 73 74 20 69 6e 74 20 73 71 6c 69 74 65  const int sqlite
05b0: 33 6f 6e 65 20 3d 20 31 3b 0a 23 65 6e 64 69 66  3one = 1;.#endif
05c0: 20 2f 2a 20 53 51 4c 49 54 45 5f 41 4d 41 4c 47   /* SQLITE_AMALG
05d0: 41 4d 41 54 49 4f 4e 20 26 26 20 53 51 4c 49 54  AMATION && SQLIT
05e0: 45 5f 42 59 54 45 4f 52 44 45 52 3d 3d 30 20 2a  E_BYTEORDER==0 *
05f0: 2f 0a 0a 2f 2a 0a 2a 2a 20 54 68 69 73 20 6c 6f  /../*.** This lo
0600: 6f 6b 75 70 20 74 61 62 6c 65 20 69 73 20 75 73  okup table is us
0610: 65 64 20 74 6f 20 68 65 6c 70 20 64 65 63 6f 64  ed to help decod
0620: 65 20 74 68 65 20 66 69 72 73 74 20 62 79 74 65  e the first byte
0630: 20 6f 66 0a 2a 2a 20 61 20 6d 75 6c 74 69 2d 62   of.** a multi-b
0640: 79 74 65 20 55 54 46 38 20 63 68 61 72 61 63 74  yte UTF8 charact
0650: 65 72 2e 0a 2a 2f 0a 73 74 61 74 69 63 20 63 6f  er..*/.static co
0660: 6e 73 74 20 75 6e 73 69 67 6e 65 64 20 63 68 61  nst unsigned cha
0670: 72 20 73 71 6c 69 74 65 33 55 74 66 38 54 72 61  r sqlite3Utf8Tra
0680: 6e 73 31 5b 5d 20 3d 20 7b 0a 20 20 30 78 30 30  ns1[] = {.  0x00
0690: 2c 20 30 78 30 31 2c 20 30 78 30 32 2c 20 30 78  , 0x01, 0x02, 0x
06a0: 30 33 2c 20 30 78 30 34 2c 20 30 78 30 35 2c 20  03, 0x04, 0x05, 
06b0: 30 78 30 36 2c 20 30 78 30 37 2c 0a 20 20 30 78  0x06, 0x07,.  0x
06c0: 30 38 2c 20 30 78 30 39 2c 20 30 78 30 61 2c 20  08, 0x09, 0x0a, 
06d0: 30 78 30 62 2c 20 30 78 30 63 2c 20 30 78 30 64  0x0b, 0x0c, 0x0d
06e0: 2c 20 30 78 30 65 2c 20 30 78 30 66 2c 0a 20 20  , 0x0e, 0x0f,.  
06f0: 30 78 31 30 2c 20 30 78 31 31 2c 20 30 78 31 32  0x10, 0x11, 0x12
0700: 2c 20 30 78 31 33 2c 20 30 78 31 34 2c 20 30 78  , 0x13, 0x14, 0x
0710: 31 35 2c 20 30 78 31 36 2c 20 30 78 31 37 2c 0a  15, 0x16, 0x17,.
0720: 20 20 30 78 31 38 2c 20 30 78 31 39 2c 20 30 78    0x18, 0x19, 0x
0730: 31 61 2c 20 30 78 31 62 2c 20 30 78 31 63 2c 20  1a, 0x1b, 0x1c, 
0740: 30 78 31 64 2c 20 30 78 31 65 2c 20 30 78 31 66  0x1d, 0x1e, 0x1f
0750: 2c 0a 20 20 30 78 30 30 2c 20 30 78 30 31 2c 20  ,.  0x00, 0x01, 
0760: 30 78 30 32 2c 20 30 78 30 33 2c 20 30 78 30 34  0x02, 0x03, 0x04
0770: 2c 20 30 78 30 35 2c 20 30 78 30 36 2c 20 30 78  , 0x05, 0x06, 0x
0780: 30 37 2c 0a 20 20 30 78 30 38 2c 20 30 78 30 39  07,.  0x08, 0x09
0790: 2c 20 30 78 30 61 2c 20 30 78 30 62 2c 20 30 78  , 0x0a, 0x0b, 0x
07a0: 30 63 2c 20 30 78 30 64 2c 20 30 78 30 65 2c 20  0c, 0x0d, 0x0e, 
07b0: 30 78 30 66 2c 0a 20 20 30 78 30 30 2c 20 30 78  0x0f,.  0x00, 0x
07c0: 30 31 2c 20 30 78 30 32 2c 20 30 78 30 33 2c 20  01, 0x02, 0x03, 
07d0: 30 78 30 34 2c 20 30 78 30 35 2c 20 30 78 30 36  0x04, 0x05, 0x06
07e0: 2c 20 30 78 30 37 2c 0a 20 20 30 78 30 30 2c 20  , 0x07,.  0x00, 
07f0: 30 78 30 31 2c 20 30 78 30 32 2c 20 30 78 30 33  0x01, 0x02, 0x03
0800: 2c 20 30 78 30 30 2c 20 30 78 30 31 2c 20 30 78  , 0x00, 0x01, 0x
0810: 30 30 2c 20 30 78 30 30 2c 0a 7d 3b 0a 0a 0a 23  00, 0x00,.};...#
0820: 64 65 66 69 6e 65 20 57 52 49 54 45 5f 55 54 46  define WRITE_UTF
0830: 38 28 7a 4f 75 74 2c 20 63 29 20 7b 20 20 20 20  8(zOut, c) {    
0840: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0850: 20 20 20 20 20 20 5c 0a 20 20 69 66 28 20 63 3c        \.  if( c<
0860: 30 78 30 30 30 38 30 20 29 7b 20 20 20 20 20 20  0x00080 ){      
0870: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0880: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
0890: 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28  .    *zOut++ = (
08a0: 75 38 29 28 63 26 30 78 46 46 29 3b 20 20 20 20  u8)(c&0xFF);    
08b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
08c0: 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 20 20 20          \.  }   
08d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
08e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
08f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0900: 20 5c 0a 20 20 65 6c 73 65 20 69 66 28 20 63 3c   \.  else if( c<
0910: 30 78 30 30 38 30 30 20 29 7b 20 20 20 20 20 20  0x00800 ){      
0920: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0930: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20            \.    
0940: 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78 43 30 20 2b  *zOut++ = 0xC0 +
0950: 20 28 75 38 29 28 28 63 3e 3e 36 29 26 30 78 31   (u8)((c>>6)&0x1
0960: 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  F);             
0970: 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b     \.    *zOut++
0980: 20 3d 20 30 78 38 30 20 2b 20 28 75 38 29 28 63   = 0x80 + (u8)(c
0990: 20 26 20 30 78 33 46 29 3b 20 20 20 20 20 20 20   & 0x3F);       
09a0: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
09b0: 7d 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  }               
09c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
09d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
09e0: 20 20 20 20 20 5c 0a 20 20 65 6c 73 65 20 69 66       \.  else if
09f0: 28 20 63 3c 30 78 31 30 30 30 30 20 29 7b 20 20  ( c<0x10000 ){  
0a00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0a10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
0a20: 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78      *zOut++ = 0x
0a30: 45 30 20 2b 20 28 75 38 29 28 28 63 3e 3e 31 32  E0 + (u8)((c>>12
0a40: 29 26 30 78 30 46 29 3b 20 20 20 20 20 20 20 20  )&0x0F);        
0a50: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f         \.    *zO
0a60: 75 74 2b 2b 20 3d 20 30 78 38 30 20 2b 20 28 75  ut++ = 0x80 + (u
0a70: 38 29 28 28 63 3e 3e 36 29 20 26 20 30 78 33 46  8)((c>>6) & 0x3F
0a80: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  );              
0a90: 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20  \.    *zOut++ = 
0aa0: 30 78 38 30 20 2b 20 28 75 38 29 28 63 20 26 20  0x80 + (u8)(c & 
0ab0: 30 78 33 46 29 3b 20 20 20 20 20 20 20 20 20 20  0x3F);          
0ac0: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 65 6c           \.  }el
0ad0: 73 65 7b 20 20 20 20 20 20 20 20 20 20 20 20 20  se{             
0ae0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0af0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0b00: 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20    \.    *zOut++ 
0b10: 3d 20 30 78 46 30 20 2b 20 28 75 38 29 28 28 63  = 0xF0 + (u8)((c
0b20: 3e 3e 31 38 29 20 26 20 30 78 30 37 29 3b 20 20  >>18) & 0x07);  
0b30: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20             \.   
0b40: 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78 38 30 20   *zOut++ = 0x80 
0b50: 2b 20 28 75 38 29 28 28 63 3e 3e 31 32 29 20 26  + (u8)((c>>12) &
0b60: 20 30 78 33 46 29 3b 20 20 20 20 20 20 20 20 20   0x3F);         
0b70: 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b      \.    *zOut+
0b80: 2b 20 3d 20 30 78 38 30 20 2b 20 28 75 38 29 28  + = 0x80 + (u8)(
0b90: 28 63 3e 3e 36 29 20 26 20 30 78 33 46 29 3b 20  (c>>6) & 0x3F); 
0ba0: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
0bb0: 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78 38     *zOut++ = 0x8
0bc0: 30 20 2b 20 28 75 38 29 28 63 20 26 20 30 78 33  0 + (u8)(c & 0x3
0bd0: 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  F);             
0be0: 20 20 20 20 20 20 5c 0a 20 20 7d 20 20 20 20 20        \.  }     
0bf0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
0c20: 0a 7d 0a 0a 23 64 65 66 69 6e 65 20 57 52 49 54  .}..#define WRIT
0c30: 45 5f 55 54 46 31 36 4c 45 28 7a 4f 75 74 2c 20  E_UTF16LE(zOut, 
0c40: 63 29 20 7b 20 20 20 20 20 20 20 20 20 20 20 20  c) {            
0c50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c60: 20 20 20 20 20 20 20 20 5c 0a 20 20 69 66 28 20          \.  if( 
0c70: 63 3c 3d 30 78 46 46 46 46 20 29 7b 20 20 20 20  c<=0xFFFF ){    
0c80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ca0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
0cb0: 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 75      *zOut++ = (u
0cc0: 38 29 28 63 26 30 78 30 30 46 46 29 3b 20 20 20  8)(c&0x00FF);   
0cd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ce0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0cf0: 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b      \.    *zOut+
0d00: 2b 20 3d 20 28 75 38 29 28 28 63 3e 3e 38 29 26  + = (u8)((c>>8)&
0d10: 30 78 30 30 46 46 29 3b 20 20 20 20 20 20 20 20  0x00FF);        
0d20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d30: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 65            \.  }e
0d40: 6c 73 65 7b 20 20 20 20 20 20 20 20 20 20 20 20  lse{            
0d50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d80: 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20  \.    *zOut++ = 
0d90: 28 75 38 29 28 28 28 63 3e 3e 31 30 29 26 30 78  (u8)(((c>>10)&0x
0da0: 30 30 33 46 29 20 2b 20 28 28 28 63 2d 30 78 31  003F) + (((c-0x1
0db0: 30 30 30 30 29 3e 3e 31 30 29 26 30 78 30 30 43  0000)>>10)&0x00C
0dc0: 30 29 29 3b 20 20 5c 0a 20 20 20 20 2a 7a 4f 75  0));  \.    *zOu
0dd0: 74 2b 2b 20 3d 20 28 75 38 29 28 30 78 30 30 44  t++ = (u8)(0x00D
0de0: 38 20 2b 20 28 28 28 63 2d 30 78 31 30 30 30 30  8 + (((c-0x10000
0df0: 29 3e 3e 31 38 29 26 30 78 30 33 29 29 3b 20 20  )>>18)&0x03));  
0e00: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
0e10: 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 75 38 29    *zOut++ = (u8)
0e20: 28 63 26 30 78 30 30 46 46 29 3b 20 20 20 20 20  (c&0x00FF);     
0e30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0e40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0e50: 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20    \.    *zOut++ 
0e60: 3d 20 28 75 38 29 28 30 78 30 30 44 43 20 2b 20  = (u8)(0x00DC + 
0e70: 28 28 63 3e 3e 38 29 26 30 78 30 33 29 29 3b 20  ((c>>8)&0x03)); 
0e80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0e90: 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 20 20 20          \.  }   
0ea0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0eb0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ec0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ed0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
0ee0: 7d 0a 0a 23 64 65 66 69 6e 65 20 57 52 49 54 45  }..#define WRITE
0ef0: 5f 55 54 46 31 36 42 45 28 7a 4f 75 74 2c 20 63  _UTF16BE(zOut, c
0f00: 29 20 7b 20 20 20 20 20 20 20 20 20 20 20 20 20  ) {             
0f10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0f20: 20 20 20 20 20 20 20 5c 0a 20 20 69 66 28 20 63         \.  if( c
0f30: 3c 3d 30 78 46 46 46 46 20 29 7b 20 20 20 20 20  <=0xFFFF ){     
0f40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0f50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0f60: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
0f70: 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 75 38     *zOut++ = (u8
0f80: 29 28 28 63 3e 3e 38 29 26 30 78 30 30 46 46 29  )((c>>8)&0x00FF)
0f90: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
0fa0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0fb0: 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b     \.    *zOut++
0fc0: 20 3d 20 28 75 38 29 28 63 26 30 78 30 30 46 46   = (u8)(c&0x00FF
0fd0: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  );              
0fe0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ff0: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 65 6c           \.  }el
1000: 73 65 7b 20 20 20 20 20 20 20 20 20 20 20 20 20  se{             
1010: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1020: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1030: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
1040: 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28  .    *zOut++ = (
1050: 75 38 29 28 30 78 30 30 44 38 20 2b 20 28 28 28  u8)(0x00D8 + (((
1060: 63 2d 30 78 31 30 30 30 30 29 3e 3e 31 38 29 26  c-0x10000)>>18)&
1070: 30 78 30 33 29 29 3b 20 20 20 20 20 20 20 20 20  0x03));         
1080: 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74       \.    *zOut
1090: 2b 2b 20 3d 20 28 75 38 29 28 28 28 63 3e 3e 31  ++ = (u8)(((c>>1
10a0: 30 29 26 30 78 30 30 33 46 29 20 2b 20 28 28 28  0)&0x003F) + (((
10b0: 63 2d 30 78 31 30 30 30 30 29 3e 3e 31 30 29 26  c-0x10000)>>10)&
10c0: 30 78 30 30 43 30 29 29 3b 20 20 5c 0a 20 20 20  0x00C0));  \.   
10d0: 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 75 38 29 28   *zOut++ = (u8)(
10e0: 30 78 30 30 44 43 20 2b 20 28 28 63 3e 3e 38 29  0x00DC + ((c>>8)
10f0: 26 30 78 30 33 29 29 3b 20 20 20 20 20 20 20 20  &0x03));        
1100: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1110: 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d   \.    *zOut++ =
1120: 20 28 75 38 29 28 63 26 30 78 30 30 46 46 29 3b   (u8)(c&0x00FF);
1130: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1140: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1150: 20 20 20 20 20 20 20 5c 0a 20 20 7d 20 20 20 20         \.  }    
1160: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1170: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1180: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1190: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 7d               \.}
11a0: 0a 0a 23 64 65 66 69 6e 65 20 52 45 41 44 5f 55  ..#define READ_U
11b0: 54 46 31 36 4c 45 28 7a 49 6e 2c 20 54 45 52 4d  TF16LE(zIn, TERM
11c0: 2c 20 63 29 7b 20 20 20 20 20 20 20 20 20 20 20  , c){           
11d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
11e0: 20 20 20 20 20 20 20 20 5c 0a 20 20 63 20 3d 20          \.  c = 
11f0: 28 2a 7a 49 6e 2b 2b 29 3b 20 20 20 20 20 20 20  (*zIn++);       
1200: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1210: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1220: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1230: 5c 0a 20 20 63 20 2b 3d 20 28 28 2a 7a 49 6e 2b  \.  c += ((*zIn+
1240: 2b 29 3c 3c 38 29 3b 20 20 20 20 20 20 20 20 20  +)<<8);         
1250: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1260: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1270: 20 20 20 20 20 20 20 20 5c 0a 20 20 69 66 28 20          \.  if( 
1280: 63 3e 3d 30 78 44 38 30 30 20 26 26 20 63 3c 30  c>=0xD800 && c<0
1290: 78 45 30 30 30 20 26 26 20 54 45 52 4d 20 29 7b  xE000 && TERM ){
12a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
12b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
12c0: 5c 0a 20 20 20 20 69 6e 74 20 63 32 20 3d 20 28  \.    int c2 = (
12d0: 2a 7a 49 6e 2b 2b 29 3b 20 20 20 20 20 20 20 20  *zIn++);        
12e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
12f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1300: 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 63 32          \.    c2
1310: 20 2b 3d 20 28 28 2a 7a 49 6e 2b 2b 29 3c 3c 38   += ((*zIn++)<<8
1320: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  );              
1330: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1340: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1350: 5c 0a 20 20 20 20 63 20 3d 20 28 63 32 26 30 78  \.    c = (c2&0x
1360: 30 33 46 46 29 20 2b 20 28 28 63 26 30 78 30 30  03FF) + ((c&0x00
1370: 33 46 29 3c 3c 31 30 29 20 2b 20 28 28 28 63 26  3F)<<10) + (((c&
1380: 30 78 30 33 43 30 29 2b 30 78 30 30 34 30 29 3c  0x03C0)+0x0040)<
1390: 3c 31 30 29 3b 20 20 20 5c 0a 20 20 7d 20 20 20  <10);   \.  }   
13a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
13b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
13c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
13d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
13e0: 5c 0a 7d 0a 0a 23 64 65 66 69 6e 65 20 52 45 41  \.}..#define REA
13f0: 44 5f 55 54 46 31 36 42 45 28 7a 49 6e 2c 20 54  D_UTF16BE(zIn, T
1400: 45 52 4d 2c 20 63 29 7b 20 20 20 20 20 20 20 20  ERM, c){        
1410: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1420: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 63             \.  c
1430: 20 3d 20 28 28 2a 7a 49 6e 2b 2b 29 3c 3c 38 29   = ((*zIn++)<<8)
1440: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
1450: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1460: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1470: 20 20 20 5c 0a 20 20 63 20 2b 3d 20 28 2a 7a 49     \.  c += (*zI
1480: 6e 2b 2b 29 3b 20 20 20 20 20 20 20 20 20 20 20  n++);           
1490: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
14a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
14b0: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 69             \.  i
14c0: 66 28 20 63 3e 3d 30 78 44 38 30 30 20 26 26 20  f( c>=0xD800 && 
14d0: 63 3c 30 78 45 30 30 30 20 26 26 20 54 45 52 4d  c<0xE000 && TERM
14e0: 20 29 7b 20 20 20 20 20 20 20 20 20 20 20 20 20   ){             
14f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1500: 20 20 20 5c 0a 20 20 20 20 69 6e 74 20 63 32 20     \.    int c2 
1510: 3d 20 28 28 2a 7a 49 6e 2b 2b 29 3c 3c 38 29 3b  = ((*zIn++)<<8);
1520: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1530: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1540: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20             \.   
1550: 20 63 32 20 2b 3d 20 28 2a 7a 49 6e 2b 2b 29 3b   c2 += (*zIn++);
1560: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1570: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1580: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1590: 20 20 20 5c 0a 20 20 20 20 63 20 3d 20 28 63 32     \.    c = (c2
15a0: 26 30 78 30 33 46 46 29 20 2b 20 28 28 63 26 30  &0x03FF) + ((c&0
15b0: 78 30 30 33 46 29 3c 3c 31 30 29 20 2b 20 28 28  x003F)<<10) + ((
15c0: 28 63 26 30 78 30 33 43 30 29 2b 30 78 30 30 34  (c&0x03C0)+0x004
15d0: 30 29 3c 3c 31 30 29 3b 20 20 20 5c 0a 20 20 7d  0)<<10);   \.  }
15e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
15f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1600: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1610: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1620: 20 20 20 5c 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 54 72     \.}../*.** Tr
1630: 61 6e 73 6c 61 74 65 20 61 20 73 69 6e 67 6c 65  anslate a single
1640: 20 55 54 46 2d 38 20 63 68 61 72 61 63 74 65 72   UTF-8 character
1650: 2e 20 20 52 65 74 75 72 6e 20 74 68 65 20 75 6e  .  Return the un
1660: 69 63 6f 64 65 20 76 61 6c 75 65 2e 0a 2a 2a 0a  icode value..**.
1670: 2a 2a 20 44 75 72 69 6e 67 20 74 72 61 6e 73 6c  ** During transl
1680: 61 74 69 6f 6e 2c 20 61 73 73 75 6d 65 20 74 68  ation, assume th
1690: 61 74 20 74 68 65 20 62 79 74 65 20 74 68 61 74  at the byte that
16a0: 20 7a 54 65 72 6d 20 70 6f 69 6e 74 73 0a 2a 2a   zTerm points.**
16b0: 20 69 73 20 61 20 30 78 30 30 2e 0a 2a 2a 0a 2a   is a 0x00..**.*
16c0: 2a 20 57 72 69 74 65 20 61 20 70 6f 69 6e 74 65  * Write a pointe
16d0: 72 20 74 6f 20 74 68 65 20 6e 65 78 74 20 75 6e  r to the next un
16e0: 72 65 61 64 20 62 79 74 65 20 62 61 63 6b 20 69  read byte back i
16f0: 6e 74 6f 20 2a 70 7a 4e 65 78 74 2e 0a 2a 2a 0a  nto *pzNext..**.
1700: 2a 2a 20 4e 6f 74 65 73 20 4f 6e 20 49 6e 76 61  ** Notes On Inva
1710: 6c 69 64 20 55 54 46 2d 38 3a 0a 2a 2a 0a 2a 2a  lid UTF-8:.**.**
1720: 20 20 2a 20 20 54 68 69 73 20 72 6f 75 74 69 6e    *  This routin
1730: 65 20 6e 65 76 65 72 20 61 6c 6c 6f 77 73 20 61  e never allows a
1740: 20 37 2d 62 69 74 20 63 68 61 72 61 63 74 65 72   7-bit character
1750: 20 28 30 78 30 30 20 74 68 72 6f 75 67 68 20 30   (0x00 through 0
1760: 78 37 66 29 20 74 6f 0a 2a 2a 20 20 20 20 20 62  x7f) to.**     b
1770: 65 20 65 6e 63 6f 64 65 64 20 61 73 20 61 20 6d  e encoded as a m
1780: 75 6c 74 69 2d 62 79 74 65 20 63 68 61 72 61 63  ulti-byte charac
1790: 74 65 72 2e 20 20 41 6e 79 20 6d 75 6c 74 69 2d  ter.  Any multi-
17a0: 62 79 74 65 20 63 68 61 72 61 63 74 65 72 20 74  byte character t
17b0: 68 61 74 0a 2a 2a 20 20 20 20 20 61 74 74 65 6d  hat.**     attem
17c0: 70 74 73 20 74 6f 20 65 6e 63 6f 64 65 20 61 20  pts to encode a 
17d0: 76 61 6c 75 65 20 62 65 74 77 65 65 6e 20 30 78  value between 0x
17e0: 30 30 20 61 6e 64 20 30 78 37 66 20 69 73 20 72  00 and 0x7f is r
17f0: 65 6e 64 65 72 65 64 20 61 73 20 30 78 66 66 66  endered as 0xfff
1800: 64 2e 0a 2a 2a 0a 2a 2a 20 20 2a 20 20 54 68 69  d..**.**  *  Thi
1810: 73 20 72 6f 75 74 69 6e 65 20 6e 65 76 65 72 20  s routine never 
1820: 61 6c 6c 6f 77 73 20 61 20 55 54 46 31 36 20 73  allows a UTF16 s
1830: 75 72 72 6f 67 61 74 65 20 76 61 6c 75 65 20 74  urrogate value t
1840: 6f 20 62 65 20 65 6e 63 6f 64 65 64 2e 0a 2a 2a  o be encoded..**
1850: 20 20 20 20 20 49 66 20 61 20 6d 75 6c 74 69 2d       If a multi-
1860: 62 79 74 65 20 63 68 61 72 61 63 74 65 72 20 61  byte character a
1870: 74 74 65 6d 70 74 73 20 74 6f 20 65 6e 63 6f 64  ttempts to encod
1880: 65 20 61 20 76 61 6c 75 65 20 62 65 74 77 65 65  e a value betwee
1890: 6e 0a 2a 2a 20 20 20 20 20 30 78 64 38 30 30 20  n.**     0xd800 
18a0: 61 6e 64 20 30 78 65 30 30 30 20 74 68 65 6e 20  and 0xe000 then 
18b0: 69 74 20 69 73 20 72 65 6e 64 65 72 65 64 20 61  it is rendered a
18c0: 73 20 30 78 66 66 66 64 2e 0a 2a 2a 0a 2a 2a 20  s 0xfffd..**.** 
18d0: 20 2a 20 20 42 79 74 65 73 20 69 6e 20 74 68 65   *  Bytes in the
18e0: 20 72 61 6e 67 65 20 6f 66 20 30 78 38 30 20 74   range of 0x80 t
18f0: 68 72 6f 75 67 68 20 30 78 62 66 20 77 68 69 63  hrough 0xbf whic
1900: 68 20 6f 63 63 75 72 20 61 73 20 74 68 65 20 66  h occur as the f
1910: 69 72 73 74 0a 2a 2a 20 20 20 20 20 62 79 74 65  irst.**     byte
1920: 20 6f 66 20 61 20 63 68 61 72 61 63 74 65 72 20   of a character 
1930: 61 72 65 20 69 6e 74 65 72 70 72 65 74 65 64 20  are interpreted 
1940: 61 73 20 73 69 6e 67 6c 65 2d 62 79 74 65 20 63  as single-byte c
1950: 68 61 72 61 63 74 65 72 73 0a 2a 2a 20 20 20 20  haracters.**    
1960: 20 61 6e 64 20 72 65 6e 64 65 72 65 64 20 61 73   and rendered as
1970: 20 74 68 65 6d 73 65 6c 76 65 73 20 65 76 65 6e   themselves even
1980: 20 74 68 6f 75 67 68 20 74 68 65 79 20 61 72 65   though they are
1990: 20 74 65 63 68 6e 69 63 61 6c 6c 79 0a 2a 2a 20   technically.** 
19a0: 20 20 20 20 69 6e 76 61 6c 69 64 20 63 68 61 72      invalid char
19b0: 61 63 74 65 72 73 2e 0a 2a 2a 0a 2a 2a 20 20 2a  acters..**.**  *
19c0: 20 20 54 68 69 73 20 72 6f 75 74 69 6e 65 20 61    This routine a
19d0: 63 63 65 70 74 73 20 6f 76 65 72 2d 6c 65 6e 67  ccepts over-leng
19e0: 74 68 20 55 54 46 38 20 65 6e 63 6f 64 69 6e 67  th UTF8 encoding
19f0: 73 0a 2a 2a 20 20 20 20 20 66 6f 72 20 75 6e 69  s.**     for uni
1a00: 63 6f 64 65 20 76 61 6c 75 65 73 20 30 78 38 30  code values 0x80
1a10: 20 61 6e 64 20 67 72 65 61 74 65 72 2e 20 20 49   and greater.  I
1a20: 74 20 64 6f 65 73 20 6e 6f 74 20 63 68 61 6e 67  t does not chang
1a30: 65 20 6f 76 65 72 2d 6c 65 6e 67 74 68 0a 2a 2a  e over-length.**
1a40: 20 20 20 20 20 65 6e 63 6f 64 69 6e 67 73 20 74       encodings t
1a50: 6f 20 30 78 66 66 66 64 20 61 73 20 73 6f 6d 65  o 0xfffd as some
1a60: 20 73 79 73 74 65 6d 73 20 72 65 63 6f 6d 6d 65   systems recomme
1a70: 6e 64 2e 0a 2a 2f 0a 23 64 65 66 69 6e 65 20 52  nd..*/.#define R
1a80: 45 41 44 5f 55 54 46 38 28 7a 49 6e 2c 20 7a 54  EAD_UTF8(zIn, zT
1a90: 65 72 6d 2c 20 63 29 20 20 20 20 20 20 20 20 20  erm, c)         
1aa0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1ab0: 20 20 5c 0a 20 20 63 20 3d 20 2a 28 7a 49 6e 2b    \.  c = *(zIn+
1ac0: 2b 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  +);             
1ad0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1ae0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
1af0: 0a 20 20 69 66 28 20 63 3e 3d 30 78 63 30 20 29  .  if( c>=0xc0 )
1b00: 7b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  {               
1b10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1b20: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
1b30: 20 20 63 20 3d 20 73 71 6c 69 74 65 33 55 74 66    c = sqlite3Utf
1b40: 38 54 72 61 6e 73 31 5b 63 2d 30 78 63 30 5d 3b  8Trans1[c-0xc0];
1b50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1b60: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 77           \.    w
1b70: 68 69 6c 65 28 20 7a 49 6e 21 3d 7a 54 65 72 6d  hile( zIn!=zTerm
1b80: 20 26 26 20 28 2a 7a 49 6e 20 26 20 30 78 63 30   && (*zIn & 0xc0
1b90: 29 3d 3d 30 78 38 30 20 29 7b 20 20 20 20 20 20  )==0x80 ){      
1ba0: 20 20 20 20 20 20 5c 0a 20 20 20 20 20 20 63 20        \.      c 
1bb0: 3d 20 28 63 3c 3c 36 29 20 2b 20 28 30 78 33 66  = (c<<6) + (0x3f
1bc0: 20 26 20 2a 28 7a 49 6e 2b 2b 29 29 3b 20 20 20   & *(zIn++));   
1bd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1be0: 20 20 20 5c 0a 20 20 20 20 7d 20 20 20 20 20 20     \.    }      
1bf0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c20: 5c 0a 20 20 20 20 69 66 28 20 63 3c 30 78 38 30  \.    if( c<0x80
1c30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c50: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
1c60: 20 20 20 20 20 20 20 7c 7c 20 28 63 26 30 78 46         || (c&0xF
1c70: 46 46 46 46 38 30 30 29 3d 3d 30 78 44 38 30 30  FFFF800)==0xD800
1c80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c90: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20            \.    
1ca0: 20 20 20 20 7c 7c 20 28 63 26 30 78 46 46 46 46      || (c&0xFFFF
1cb0: 46 46 46 45 29 3d 3d 30 78 46 46 46 45 20 29 7b  FFFE)==0xFFFE ){
1cc0: 20 20 63 20 3d 20 30 78 46 46 46 44 3b 20 7d 20    c = 0xFFFD; } 
1cd0: 20 20 20 20 20 20 20 5c 0a 20 20 7d 0a 75 33 32         \.  }.u32
1ce0: 20 73 71 6c 69 74 65 33 55 74 66 38 52 65 61 64   sqlite3Utf8Read
1cf0: 28 0a 20 20 63 6f 6e 73 74 20 75 6e 73 69 67 6e  (.  const unsign
1d00: 65 64 20 63 68 61 72 20 2a 2a 70 7a 20 20 20 20  ed char **pz    
1d10: 2f 2a 20 50 6f 69 6e 74 65 72 20 74 6f 20 73 74  /* Pointer to st
1d20: 72 69 6e 67 20 66 72 6f 6d 20 77 68 69 63 68 20  ring from which 
1d30: 74 6f 20 72 65 61 64 20 63 68 61 72 20 2a 2f 0a  to read char */.
1d40: 29 7b 0a 20 20 75 6e 73 69 67 6e 65 64 20 69 6e  ){.  unsigned in
1d50: 74 20 63 3b 0a 0a 20 20 2f 2a 20 53 61 6d 65 20  t c;..  /* Same 
1d60: 61 73 20 52 45 41 44 5f 55 54 46 38 28 29 20 61  as READ_UTF8() a
1d70: 62 6f 76 65 20 62 75 74 20 77 69 74 68 6f 75 74  bove but without
1d80: 20 74 68 65 20 7a 54 65 72 6d 20 70 61 72 61 6d   the zTerm param
1d90: 65 74 65 72 2e 0a 20 20 2a 2a 20 46 6f 72 20 74  eter..  ** For t
1da0: 68 69 73 20 72 6f 75 74 69 6e 65 2c 20 77 65 20  his routine, we 
1db0: 61 73 73 75 6d 65 20 74 68 65 20 55 54 46 38 20  assume the UTF8 
1dc0: 73 74 72 69 6e 67 20 69 73 20 61 6c 77 61 79 73  string is always
1dd0: 20 7a 65 72 6f 2d 74 65 72 6d 69 6e 61 74 65 64   zero-terminated
1de0: 2e 0a 20 20 2a 2f 0a 20 20 63 20 3d 20 2a 28 28  ..  */.  c = *((
1df0: 2a 70 7a 29 2b 2b 29 3b 0a 20 20 69 66 28 20 63  *pz)++);.  if( c
1e00: 3e 3d 30 78 63 30 20 29 7b 0a 20 20 20 20 63 20  >=0xc0 ){.    c 
1e10: 3d 20 73 71 6c 69 74 65 33 55 74 66 38 54 72 61  = sqlite3Utf8Tra
1e20: 6e 73 31 5b 63 2d 30 78 63 30 5d 3b 0a 20 20 20  ns1[c-0xc0];.   
1e30: 20 77 68 69 6c 65 28 20 28 2a 28 2a 70 7a 29 20   while( (*(*pz) 
1e40: 26 20 30 78 63 30 29 3d 3d 30 78 38 30 20 29 7b  & 0xc0)==0x80 ){
1e50: 0a 20 20 20 20 20 20 63 20 3d 20 28 63 3c 3c 36  .      c = (c<<6
1e60: 29 20 2b 20 28 30 78 33 66 20 26 20 2a 28 28 2a  ) + (0x3f & *((*
1e70: 70 7a 29 2b 2b 29 29 3b 0a 20 20 20 20 7d 0a 20  pz)++));.    }. 
1e80: 20 20 20 69 66 28 20 63 3c 30 78 38 30 0a 20 20     if( c<0x80.  
1e90: 20 20 20 20 20 20 7c 7c 20 28 63 26 30 78 46 46        || (c&0xFF
1ea0: 46 46 46 38 30 30 29 3d 3d 30 78 44 38 30 30 0a  FFF800)==0xD800.
1eb0: 20 20 20 20 20 20 20 20 7c 7c 20 28 63 26 30 78          || (c&0x
1ec0: 46 46 46 46 46 46 46 45 29 3d 3d 30 78 46 46 46  FFFFFFFE)==0xFFF
1ed0: 45 20 29 7b 20 20 63 20 3d 20 30 78 46 46 46 44  E ){  c = 0xFFFD
1ee0: 3b 20 7d 0a 20 20 7d 0a 20 20 72 65 74 75 72 6e  ; }.  }.  return
1ef0: 20 63 3b 0a 7d 0a 0a 0a 0a 0a 2f 2a 0a 2a 2a 20   c;.}...../*.** 
1f00: 49 66 20 74 68 65 20 54 52 41 4e 53 4c 41 54 45  If the TRANSLATE
1f10: 5f 54 52 41 43 45 20 6d 61 63 72 6f 20 69 73 20  _TRACE macro is 
1f20: 64 65 66 69 6e 65 64 2c 20 74 68 65 20 76 61 6c  defined, the val
1f30: 75 65 20 6f 66 20 65 61 63 68 20 4d 65 6d 20 69  ue of each Mem i
1f40: 73 0a 2a 2a 20 70 72 69 6e 74 65 64 20 6f 6e 20  s.** printed on 
1f50: 73 74 64 65 72 72 20 6f 6e 20 74 68 65 20 77 61  stderr on the wa
1f60: 79 20 69 6e 74 6f 20 61 6e 64 20 6f 75 74 20 6f  y into and out o
1f70: 66 20 73 71 6c 69 74 65 33 56 64 62 65 4d 65 6d  f sqlite3VdbeMem
1f80: 54 72 61 6e 73 6c 61 74 65 28 29 2e 0a 2a 2f 20  Translate()..*/ 
1f90: 0a 2f 2a 20 23 64 65 66 69 6e 65 20 54 52 41 4e  ./* #define TRAN
1fa0: 53 4c 41 54 45 5f 54 52 41 43 45 20 31 20 2a 2f  SLATE_TRACE 1 */
1fb0: 0a 0a 23 69 66 6e 64 65 66 20 53 51 4c 49 54 45  ..#ifndef SQLITE
1fc0: 5f 4f 4d 49 54 5f 55 54 46 31 36 0a 2f 2a 0a 2a  _OMIT_UTF16./*.*
1fd0: 2a 20 54 68 69 73 20 72 6f 75 74 69 6e 65 20 74  * This routine t
1fe0: 72 61 6e 73 66 6f 72 6d 73 20 74 68 65 20 69 6e  ransforms the in
1ff0: 74 65 72 6e 61 6c 20 74 65 78 74 20 65 6e 63 6f  ternal text enco
2000: 64 69 6e 67 20 75 73 65 64 20 62 79 20 70 4d 65  ding used by pMe
2010: 6d 20 74 6f 0a 2a 2a 20 64 65 73 69 72 65 64 45  m to.** desiredE
2020: 6e 63 2e 20 49 74 20 69 73 20 61 6e 20 65 72 72  nc. It is an err
2030: 6f 72 20 69 66 20 74 68 65 20 73 74 72 69 6e 67  or if the string
2040: 20 69 73 20 61 6c 72 65 61 64 79 20 6f 66 20 74   is already of t
2050: 68 65 20 64 65 73 69 72 65 64 0a 2a 2a 20 65 6e  he desired.** en
2060: 63 6f 64 69 6e 67 2c 20 6f 72 20 69 66 20 2a 70  coding, or if *p
2070: 4d 65 6d 20 64 6f 65 73 20 6e 6f 74 20 63 6f 6e  Mem does not con
2080: 74 61 69 6e 20 61 20 73 74 72 69 6e 67 20 76 61  tain a string va
2090: 6c 75 65 2e 0a 2a 2f 0a 53 51 4c 49 54 45 5f 4e  lue..*/.SQLITE_N
20a0: 4f 49 4e 4c 49 4e 45 20 69 6e 74 20 73 71 6c 69  OINLINE int sqli
20b0: 74 65 33 56 64 62 65 4d 65 6d 54 72 61 6e 73 6c  te3VdbeMemTransl
20c0: 61 74 65 28 4d 65 6d 20 2a 70 4d 65 6d 2c 20 75  ate(Mem *pMem, u
20d0: 38 20 64 65 73 69 72 65 64 45 6e 63 29 7b 0a 20  8 desiredEnc){. 
20e0: 20 69 6e 74 20 6c 65 6e 3b 20 20 20 20 20 20 20   int len;       
20f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20               /* 
2100: 4d 61 78 69 6d 75 6d 20 6c 65 6e 67 74 68 20 6f  Maximum length o
2110: 66 20 6f 75 74 70 75 74 20 73 74 72 69 6e 67 20  f output string 
2120: 69 6e 20 62 79 74 65 73 20 2a 2f 0a 20 20 75 6e  in bytes */.  un
2130: 73 69 67 6e 65 64 20 63 68 61 72 20 2a 7a 4f 75  signed char *zOu
2140: 74 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  t;              
2150: 20 20 20 20 2f 2a 20 4f 75 74 70 75 74 20 62 75      /* Output bu
2160: 66 66 65 72 20 2a 2f 0a 20 20 75 6e 73 69 67 6e  ffer */.  unsign
2170: 65 64 20 63 68 61 72 20 2a 7a 49 6e 3b 20 20 20  ed char *zIn;   
2180: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2190: 2f 2a 20 49 6e 70 75 74 20 69 74 65 72 61 74 6f  /* Input iterato
21a0: 72 20 2a 2f 0a 20 20 75 6e 73 69 67 6e 65 64 20  r */.  unsigned 
21b0: 63 68 61 72 20 2a 7a 54 65 72 6d 3b 20 20 20 20  char *zTerm;    
21c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20               /* 
21d0: 45 6e 64 20 6f 66 20 69 6e 70 75 74 20 2a 2f 0a  End of input */.
21e0: 20 20 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20    unsigned char 
21f0: 2a 7a 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  *z;             
2200: 20 20 20 20 20 20 20 20 2f 2a 20 4f 75 74 70 75          /* Outpu
2210: 74 20 69 74 65 72 61 74 6f 72 20 2a 2f 0a 20 20  t iterator */.  
2220: 75 6e 73 69 67 6e 65 64 20 69 6e 74 20 63 3b 0a  unsigned int c;.
2230: 0a 20 20 61 73 73 65 72 74 28 20 70 4d 65 6d 2d  .  assert( pMem-
2240: 3e 64 62 3d 3d 30 20 7c 7c 20 73 71 6c 69 74 65  >db==0 || sqlite
2250: 33 5f 6d 75 74 65 78 5f 68 65 6c 64 28 70 4d 65  3_mutex_held(pMe
2260: 6d 2d 3e 64 62 2d 3e 6d 75 74 65 78 29 20 29 3b  m->db->mutex) );
2270: 0a 20 20 61 73 73 65 72 74 28 20 70 4d 65 6d 2d  .  assert( pMem-
2280: 3e 66 6c 61 67 73 26 4d 45 4d 5f 53 74 72 20 29  >flags&MEM_Str )
2290: 3b 0a 20 20 61 73 73 65 72 74 28 20 70 4d 65 6d  ;.  assert( pMem
22a0: 2d 3e 65 6e 63 21 3d 64 65 73 69 72 65 64 45 6e  ->enc!=desiredEn
22b0: 63 20 29 3b 0a 20 20 61 73 73 65 72 74 28 20 70  c );.  assert( p
22c0: 4d 65 6d 2d 3e 65 6e 63 21 3d 30 20 29 3b 0a 20  Mem->enc!=0 );. 
22d0: 20 61 73 73 65 72 74 28 20 70 4d 65 6d 2d 3e 6e   assert( pMem->n
22e0: 3e 3d 30 20 29 3b 0a 0a 23 69 66 20 64 65 66 69  >=0 );..#if defi
22f0: 6e 65 64 28 54 52 41 4e 53 4c 41 54 45 5f 54 52  ned(TRANSLATE_TR
2300: 41 43 45 29 20 26 26 20 64 65 66 69 6e 65 64 28  ACE) && defined(
2310: 53 51 4c 49 54 45 5f 44 45 42 55 47 29 0a 20 20  SQLITE_DEBUG).  
2320: 7b 0a 20 20 20 20 63 68 61 72 20 7a 42 75 66 5b  {.    char zBuf[
2330: 31 30 30 5d 3b 0a 20 20 20 20 73 71 6c 69 74 65  100];.    sqlite
2340: 33 56 64 62 65 4d 65 6d 50 72 65 74 74 79 50 72  3VdbeMemPrettyPr
2350: 69 6e 74 28 70 4d 65 6d 2c 20 7a 42 75 66 29 3b  int(pMem, zBuf);
2360: 0a 20 20 20 20 66 70 72 69 6e 74 66 28 73 74 64  .    fprintf(std
2370: 65 72 72 2c 20 22 49 4e 50 55 54 3a 20 20 25 73  err, "INPUT:  %s
2380: 5c 6e 22 2c 20 7a 42 75 66 29 3b 0a 20 20 7d 0a  \n", zBuf);.  }.
2390: 23 65 6e 64 69 66 0a 0a 20 20 2f 2a 20 49 66 20  #endif..  /* If 
23a0: 74 68 65 20 74 72 61 6e 73 6c 61 74 69 6f 6e 20  the translation 
23b0: 69 73 20 62 65 74 77 65 65 6e 20 55 54 46 2d 31  is between UTF-1
23c0: 36 20 6c 69 74 74 6c 65 20 61 6e 64 20 62 69 67  6 little and big
23d0: 20 65 6e 64 69 61 6e 2c 20 74 68 65 6e 20 0a 20   endian, then . 
23e0: 20 2a 2a 20 61 6c 6c 20 74 68 61 74 20 69 73 20   ** all that is 
23f0: 72 65 71 75 69 72 65 64 20 69 73 20 74 6f 20 73  required is to s
2400: 77 61 70 20 74 68 65 20 62 79 74 65 20 6f 72 64  wap the byte ord
2410: 65 72 2e 20 54 68 69 73 20 63 61 73 65 20 69 73  er. This case is
2420: 20 68 61 6e 64 6c 65 64 0a 20 20 2a 2a 20 64 69   handled.  ** di
2430: 66 66 65 72 65 6e 74 6c 79 20 66 72 6f 6d 20 74  fferently from t
2440: 68 65 20 6f 74 68 65 72 73 2e 0a 20 20 2a 2f 0a  he others..  */.
2450: 20 20 69 66 28 20 70 4d 65 6d 2d 3e 65 6e 63 21    if( pMem->enc!
2460: 3d 53 51 4c 49 54 45 5f 55 54 46 38 20 26 26 20  =SQLITE_UTF8 && 
2470: 64 65 73 69 72 65 64 45 6e 63 21 3d 53 51 4c 49  desiredEnc!=SQLI
2480: 54 45 5f 55 54 46 38 20 29 7b 0a 20 20 20 20 75  TE_UTF8 ){.    u
2490: 38 20 74 65 6d 70 3b 0a 20 20 20 20 69 6e 74 20  8 temp;.    int 
24a0: 72 63 3b 0a 20 20 20 20 72 63 20 3d 20 73 71 6c  rc;.    rc = sql
24b0: 69 74 65 33 56 64 62 65 4d 65 6d 4d 61 6b 65 57  ite3VdbeMemMakeW
24c0: 72 69 74 65 61 62 6c 65 28 70 4d 65 6d 29 3b 0a  riteable(pMem);.
24d0: 20 20 20 20 69 66 28 20 72 63 21 3d 53 51 4c 49      if( rc!=SQLI
24e0: 54 45 5f 4f 4b 20 29 7b 0a 20 20 20 20 20 20 61  TE_OK ){.      a
24f0: 73 73 65 72 74 28 20 72 63 3d 3d 53 51 4c 49 54  ssert( rc==SQLIT
2500: 45 5f 4e 4f 4d 45 4d 20 29 3b 0a 20 20 20 20 20  E_NOMEM );.     
2510: 20 72 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 4e   return SQLITE_N
2520: 4f 4d 45 4d 3b 0a 20 20 20 20 7d 0a 20 20 20 20  OMEM;.    }.    
2530: 7a 49 6e 20 3d 20 28 75 38 2a 29 70 4d 65 6d 2d  zIn = (u8*)pMem-
2540: 3e 7a 3b 0a 20 20 20 20 7a 54 65 72 6d 20 3d 20  >z;.    zTerm = 
2550: 26 7a 49 6e 5b 70 4d 65 6d 2d 3e 6e 26 7e 31 5d  &zIn[pMem->n&~1]
2560: 3b 0a 20 20 20 20 77 68 69 6c 65 28 20 7a 49 6e  ;.    while( zIn
2570: 3c 7a 54 65 72 6d 20 29 7b 0a 20 20 20 20 20 20  <zTerm ){.      
2580: 74 65 6d 70 20 3d 20 2a 7a 49 6e 3b 0a 20 20 20  temp = *zIn;.   
2590: 20 20 20 2a 7a 49 6e 20 3d 20 2a 28 7a 49 6e 2b     *zIn = *(zIn+
25a0: 31 29 3b 0a 20 20 20 20 20 20 7a 49 6e 2b 2b 3b  1);.      zIn++;
25b0: 0a 20 20 20 20 20 20 2a 7a 49 6e 2b 2b 20 3d 20  .      *zIn++ = 
25c0: 74 65 6d 70 3b 0a 20 20 20 20 7d 0a 20 20 20 20  temp;.    }.    
25d0: 70 4d 65 6d 2d 3e 65 6e 63 20 3d 20 64 65 73 69  pMem->enc = desi
25e0: 72 65 64 45 6e 63 3b 0a 20 20 20 20 67 6f 74 6f  redEnc;.    goto
25f0: 20 74 72 61 6e 73 6c 61 74 65 5f 6f 75 74 3b 0a   translate_out;.
2600: 20 20 7d 0a 0a 20 20 2f 2a 20 53 65 74 20 6c 65    }..  /* Set le
2610: 6e 20 74 6f 20 74 68 65 20 6d 61 78 69 6d 75 6d  n to the maximum
2620: 20 6e 75 6d 62 65 72 20 6f 66 20 62 79 74 65 73   number of bytes
2630: 20 72 65 71 75 69 72 65 64 20 69 6e 20 74 68 65   required in the
2640: 20 6f 75 74 70 75 74 20 62 75 66 66 65 72 2e 20   output buffer. 
2650: 2a 2f 0a 20 20 69 66 28 20 64 65 73 69 72 65 64  */.  if( desired
2660: 45 6e 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46 38  Enc==SQLITE_UTF8
2670: 20 29 7b 0a 20 20 20 20 2f 2a 20 57 68 65 6e 20   ){.    /* When 
2680: 63 6f 6e 76 65 72 74 69 6e 67 20 66 72 6f 6d 20  converting from 
2690: 55 54 46 2d 31 36 2c 20 74 68 65 20 6d 61 78 69  UTF-16, the maxi
26a0: 6d 75 6d 20 67 72 6f 77 74 68 20 72 65 73 75 6c  mum growth resul
26b0: 74 73 20 66 72 6f 6d 0a 20 20 20 20 2a 2a 20 74  ts from.    ** t
26c0: 72 61 6e 73 6c 61 74 69 6e 67 20 61 20 32 2d 62  ranslating a 2-b
26d0: 79 74 65 20 63 68 61 72 61 63 74 65 72 20 74 6f  yte character to
26e0: 20 61 20 34 2d 62 79 74 65 20 55 54 46 2d 38 20   a 4-byte UTF-8 
26f0: 63 68 61 72 61 63 74 65 72 2e 0a 20 20 20 20 2a  character..    *
2700: 2a 20 41 20 73 69 6e 67 6c 65 20 62 79 74 65 20  * A single byte 
2710: 69 73 20 72 65 71 75 69 72 65 64 20 66 6f 72 20  is required for 
2720: 74 68 65 20 6f 75 74 70 75 74 20 73 74 72 69 6e  the output strin
2730: 67 0a 20 20 20 20 2a 2a 20 6e 75 6c 2d 74 65 72  g.    ** nul-ter
2740: 6d 69 6e 61 74 6f 72 2e 0a 20 20 20 20 2a 2f 0a  minator..    */.
2750: 20 20 20 20 70 4d 65 6d 2d 3e 6e 20 26 3d 20 7e      pMem->n &= ~
2760: 31 3b 0a 20 20 20 20 6c 65 6e 20 3d 20 70 4d 65  1;.    len = pMe
2770: 6d 2d 3e 6e 20 2a 20 32 20 2b 20 31 3b 0a 20 20  m->n * 2 + 1;.  
2780: 7d 65 6c 73 65 7b 0a 20 20 20 20 2f 2a 20 57 68  }else{.    /* Wh
2790: 65 6e 20 63 6f 6e 76 65 72 74 69 6e 67 20 66 72  en converting fr
27a0: 6f 6d 20 55 54 46 2d 38 20 74 6f 20 55 54 46 2d  om UTF-8 to UTF-
27b0: 31 36 20 74 68 65 20 6d 61 78 69 6d 75 6d 20 67  16 the maximum g
27c0: 72 6f 77 74 68 20 69 73 20 63 61 75 73 65 64 0a  rowth is caused.
27d0: 20 20 20 20 2a 2a 20 77 68 65 6e 20 61 20 31 2d      ** when a 1-
27e0: 62 79 74 65 20 55 54 46 2d 38 20 63 68 61 72 61  byte UTF-8 chara
27f0: 63 74 65 72 20 69 73 20 74 72 61 6e 73 6c 61 74  cter is translat
2800: 65 64 20 69 6e 74 6f 20 61 20 32 2d 62 79 74 65  ed into a 2-byte
2810: 20 55 54 46 2d 31 36 0a 20 20 20 20 2a 2a 20 63   UTF-16.    ** c
2820: 68 61 72 61 63 74 65 72 2e 20 54 77 6f 20 62 79  haracter. Two by
2830: 74 65 73 20 61 72 65 20 72 65 71 75 69 72 65 64  tes are required
2840: 20 69 6e 20 74 68 65 20 6f 75 74 70 75 74 20 62   in the output b
2850: 75 66 66 65 72 20 66 6f 72 20 74 68 65 0a 20 20  uffer for the.  
2860: 20 20 2a 2a 20 6e 75 6c 2d 74 65 72 6d 69 6e 61    ** nul-termina
2870: 74 6f 72 2e 0a 20 20 20 20 2a 2f 0a 20 20 20 20  tor..    */.    
2880: 6c 65 6e 20 3d 20 70 4d 65 6d 2d 3e 6e 20 2a 20  len = pMem->n * 
2890: 32 20 2b 20 32 3b 0a 20 20 7d 0a 0a 20 20 2f 2a  2 + 2;.  }..  /*
28a0: 20 53 65 74 20 7a 49 6e 20 74 6f 20 70 6f 69 6e   Set zIn to poin
28b0: 74 20 61 74 20 74 68 65 20 73 74 61 72 74 20 6f  t at the start o
28c0: 66 20 74 68 65 20 69 6e 70 75 74 20 62 75 66 66  f the input buff
28d0: 65 72 20 61 6e 64 20 7a 54 65 72 6d 20 74 6f 20  er and zTerm to 
28e0: 70 6f 69 6e 74 20 31 0a 20 20 2a 2a 20 62 79 74  point 1.  ** byt
28f0: 65 20 70 61 73 74 20 74 68 65 20 65 6e 64 2e 0a  e past the end..
2900: 20 20 2a 2a 0a 20 20 2a 2a 20 56 61 72 69 61 62    **.  ** Variab
2910: 6c 65 20 7a 4f 75 74 20 69 73 20 73 65 74 20 74  le zOut is set t
2920: 6f 20 70 6f 69 6e 74 20 61 74 20 74 68 65 20 6f  o point at the o
2930: 75 74 70 75 74 20 62 75 66 66 65 72 2c 20 73 70  utput buffer, sp
2940: 61 63 65 20 6f 62 74 61 69 6e 65 64 0a 20 20 2a  ace obtained.  *
2950: 2a 20 66 72 6f 6d 20 73 71 6c 69 74 65 33 5f 6d  * from sqlite3_m
2960: 61 6c 6c 6f 63 28 29 2e 0a 20 20 2a 2f 0a 20 20  alloc()..  */.  
2970: 7a 49 6e 20 3d 20 28 75 38 2a 29 70 4d 65 6d 2d  zIn = (u8*)pMem-
2980: 3e 7a 3b 0a 20 20 7a 54 65 72 6d 20 3d 20 26 7a  >z;.  zTerm = &z
2990: 49 6e 5b 70 4d 65 6d 2d 3e 6e 5d 3b 0a 20 20 7a  In[pMem->n];.  z
29a0: 4f 75 74 20 3d 20 73 71 6c 69 74 65 33 44 62 4d  Out = sqlite3DbM
29b0: 61 6c 6c 6f 63 52 61 77 28 70 4d 65 6d 2d 3e 64  allocRaw(pMem->d
29c0: 62 2c 20 6c 65 6e 29 3b 0a 20 20 69 66 28 20 21  b, len);.  if( !
29d0: 7a 4f 75 74 20 29 7b 0a 20 20 20 20 72 65 74 75  zOut ){.    retu
29e0: 72 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d 3b  rn SQLITE_NOMEM;
29f0: 0a 20 20 7d 0a 20 20 7a 20 3d 20 7a 4f 75 74 3b  .  }.  z = zOut;
2a00: 0a 0a 20 20 69 66 28 20 70 4d 65 6d 2d 3e 65 6e  ..  if( pMem->en
2a10: 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46 38 20 29  c==SQLITE_UTF8 )
2a20: 7b 0a 20 20 20 20 69 66 28 20 64 65 73 69 72 65  {.    if( desire
2a30: 64 45 6e 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46  dEnc==SQLITE_UTF
2a40: 31 36 4c 45 20 29 7b 0a 20 20 20 20 20 20 2f 2a  16LE ){.      /*
2a50: 20 55 54 46 2d 38 20 2d 3e 20 55 54 46 2d 31 36   UTF-8 -> UTF-16
2a60: 20 4c 69 74 74 6c 65 2d 65 6e 64 69 61 6e 20 2a   Little-endian *
2a70: 2f 0a 20 20 20 20 20 20 77 68 69 6c 65 28 20 7a  /.      while( z
2a80: 49 6e 3c 7a 54 65 72 6d 20 29 7b 0a 20 20 20 20  In<zTerm ){.    
2a90: 20 20 20 20 52 45 41 44 5f 55 54 46 38 28 7a 49      READ_UTF8(zI
2aa0: 6e 2c 20 7a 54 65 72 6d 2c 20 63 29 3b 0a 20 20  n, zTerm, c);.  
2ab0: 20 20 20 20 20 20 57 52 49 54 45 5f 55 54 46 31        WRITE_UTF1
2ac0: 36 4c 45 28 7a 2c 20 63 29 3b 0a 20 20 20 20 20  6LE(z, c);.     
2ad0: 20 7d 0a 20 20 20 20 7d 65 6c 73 65 7b 0a 20 20   }.    }else{.  
2ae0: 20 20 20 20 61 73 73 65 72 74 28 20 64 65 73 69      assert( desi
2af0: 72 65 64 45 6e 63 3d 3d 53 51 4c 49 54 45 5f 55  redEnc==SQLITE_U
2b00: 54 46 31 36 42 45 20 29 3b 0a 20 20 20 20 20 20  TF16BE );.      
2b10: 2f 2a 20 55 54 46 2d 38 20 2d 3e 20 55 54 46 2d  /* UTF-8 -> UTF-
2b20: 31 36 20 42 69 67 2d 65 6e 64 69 61 6e 20 2a 2f  16 Big-endian */
2b30: 0a 20 20 20 20 20 20 77 68 69 6c 65 28 20 7a 49  .      while( zI
2b40: 6e 3c 7a 54 65 72 6d 20 29 7b 0a 20 20 20 20 20  n<zTerm ){.     
2b50: 20 20 20 52 45 41 44 5f 55 54 46 38 28 7a 49 6e     READ_UTF8(zIn
2b60: 2c 20 7a 54 65 72 6d 2c 20 63 29 3b 0a 20 20 20  , zTerm, c);.   
2b70: 20 20 20 20 20 57 52 49 54 45 5f 55 54 46 31 36       WRITE_UTF16
2b80: 42 45 28 7a 2c 20 63 29 3b 0a 20 20 20 20 20 20  BE(z, c);.      
2b90: 7d 0a 20 20 20 20 7d 0a 20 20 20 20 70 4d 65 6d  }.    }.    pMem
2ba0: 2d 3e 6e 20 3d 20 28 69 6e 74 29 28 7a 20 2d 20  ->n = (int)(z - 
2bb0: 7a 4f 75 74 29 3b 0a 20 20 20 20 2a 7a 2b 2b 20  zOut);.    *z++ 
2bc0: 3d 20 30 3b 0a 20 20 7d 65 6c 73 65 7b 0a 20 20  = 0;.  }else{.  
2bd0: 20 20 61 73 73 65 72 74 28 20 64 65 73 69 72 65    assert( desire
2be0: 64 45 6e 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46  dEnc==SQLITE_UTF
2bf0: 38 20 29 3b 0a 20 20 20 20 69 66 28 20 70 4d 65  8 );.    if( pMe
2c00: 6d 2d 3e 65 6e 63 3d 3d 53 51 4c 49 54 45 5f 55  m->enc==SQLITE_U
2c10: 54 46 31 36 4c 45 20 29 7b 0a 20 20 20 20 20 20  TF16LE ){.      
2c20: 2f 2a 20 55 54 46 2d 31 36 20 4c 69 74 74 6c 65  /* UTF-16 Little
2c30: 2d 65 6e 64 69 61 6e 20 2d 3e 20 55 54 46 2d 38  -endian -> UTF-8
2c40: 20 2a 2f 0a 20 20 20 20 20 20 77 68 69 6c 65 28   */.      while(
2c50: 20 7a 49 6e 3c 7a 54 65 72 6d 20 29 7b 0a 20 20   zIn<zTerm ){.  
2c60: 20 20 20 20 20 20 52 45 41 44 5f 55 54 46 31 36        READ_UTF16
2c70: 4c 45 28 7a 49 6e 2c 20 7a 49 6e 3c 7a 54 65 72  LE(zIn, zIn<zTer
2c80: 6d 2c 20 63 29 3b 20 0a 20 20 20 20 20 20 20 20  m, c); .        
2c90: 57 52 49 54 45 5f 55 54 46 38 28 7a 2c 20 63 29  WRITE_UTF8(z, c)
2ca0: 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20 20 7d 65  ;.      }.    }e
2cb0: 6c 73 65 7b 0a 20 20 20 20 20 20 2f 2a 20 55 54  lse{.      /* UT
2cc0: 46 2d 31 36 20 42 69 67 2d 65 6e 64 69 61 6e 20  F-16 Big-endian 
2cd0: 2d 3e 20 55 54 46 2d 38 20 2a 2f 0a 20 20 20 20  -> UTF-8 */.    
2ce0: 20 20 77 68 69 6c 65 28 20 7a 49 6e 3c 7a 54 65    while( zIn<zTe
2cf0: 72 6d 20 29 7b 0a 20 20 20 20 20 20 20 20 52 45  rm ){.        RE
2d00: 41 44 5f 55 54 46 31 36 42 45 28 7a 49 6e 2c 20  AD_UTF16BE(zIn, 
2d10: 7a 49 6e 3c 7a 54 65 72 6d 2c 20 63 29 3b 20 0a  zIn<zTerm, c); .
2d20: 20 20 20 20 20 20 20 20 57 52 49 54 45 5f 55 54          WRITE_UT
2d30: 46 38 28 7a 2c 20 63 29 3b 0a 20 20 20 20 20 20  F8(z, c);.      
2d40: 7d 0a 20 20 20 20 7d 0a 20 20 20 20 70 4d 65 6d  }.    }.    pMem
2d50: 2d 3e 6e 20 3d 20 28 69 6e 74 29 28 7a 20 2d 20  ->n = (int)(z - 
2d60: 7a 4f 75 74 29 3b 0a 20 20 7d 0a 20 20 2a 7a 20  zOut);.  }.  *z 
2d70: 3d 20 30 3b 0a 20 20 61 73 73 65 72 74 28 20 28  = 0;.  assert( (
2d80: 70 4d 65 6d 2d 3e 6e 2b 28 64 65 73 69 72 65 64  pMem->n+(desired
2d90: 45 6e 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46 38  Enc==SQLITE_UTF8
2da0: 3f 31 3a 32 29 29 3c 3d 6c 65 6e 20 29 3b 0a 0a  ?1:2))<=len );..
2db0: 20 20 63 20 3d 20 70 4d 65 6d 2d 3e 66 6c 61 67    c = pMem->flag
2dc0: 73 3b 0a 20 20 73 71 6c 69 74 65 33 56 64 62 65  s;.  sqlite3Vdbe
2dd0: 4d 65 6d 52 65 6c 65 61 73 65 28 70 4d 65 6d 29  MemRelease(pMem)
2de0: 3b 0a 20 20 70 4d 65 6d 2d 3e 66 6c 61 67 73 20  ;.  pMem->flags 
2df0: 3d 20 4d 45 4d 5f 53 74 72 7c 4d 45 4d 5f 54 65  = MEM_Str|MEM_Te
2e00: 72 6d 7c 28 63 26 4d 45 4d 5f 41 66 66 4d 61 73  rm|(c&MEM_AffMas
2e10: 6b 29 3b 0a 20 20 70 4d 65 6d 2d 3e 65 6e 63 20  k);.  pMem->enc 
2e20: 3d 20 64 65 73 69 72 65 64 45 6e 63 3b 0a 20 20  = desiredEnc;.  
2e30: 70 4d 65 6d 2d 3e 7a 20 3d 20 28 63 68 61 72 2a  pMem->z = (char*
2e40: 29 7a 4f 75 74 3b 0a 20 20 70 4d 65 6d 2d 3e 7a  )zOut;.  pMem->z
2e50: 4d 61 6c 6c 6f 63 20 3d 20 70 4d 65 6d 2d 3e 7a  Malloc = pMem->z
2e60: 3b 0a 20 20 70 4d 65 6d 2d 3e 73 7a 4d 61 6c 6c  ;.  pMem->szMall
2e70: 6f 63 20 3d 20 73 71 6c 69 74 65 33 44 62 4d 61  oc = sqlite3DbMa
2e80: 6c 6c 6f 63 53 69 7a 65 28 70 4d 65 6d 2d 3e 64  llocSize(pMem->d
2e90: 62 2c 20 70 4d 65 6d 2d 3e 7a 29 3b 0a 0a 74 72  b, pMem->z);..tr
2ea0: 61 6e 73 6c 61 74 65 5f 6f 75 74 3a 0a 23 69 66  anslate_out:.#if
2eb0: 20 64 65 66 69 6e 65 64 28 54 52 41 4e 53 4c 41   defined(TRANSLA
2ec0: 54 45 5f 54 52 41 43 45 29 20 26 26 20 64 65 66  TE_TRACE) && def
2ed0: 69 6e 65 64 28 53 51 4c 49 54 45 5f 44 45 42 55  ined(SQLITE_DEBU
2ee0: 47 29 0a 20 20 7b 0a 20 20 20 20 63 68 61 72 20  G).  {.    char 
2ef0: 7a 42 75 66 5b 31 30 30 5d 3b 0a 20 20 20 20 73  zBuf[100];.    s
2f00: 71 6c 69 74 65 33 56 64 62 65 4d 65 6d 50 72 65  qlite3VdbeMemPre
2f10: 74 74 79 50 72 69 6e 74 28 70 4d 65 6d 2c 20 7a  ttyPrint(pMem, z
2f20: 42 75 66 29 3b 0a 20 20 20 20 66 70 72 69 6e 74  Buf);.    fprint
2f30: 66 28 73 74 64 65 72 72 2c 20 22 4f 55 54 50 55  f(stderr, "OUTPU
2f40: 54 3a 20 25 73 5c 6e 22 2c 20 7a 42 75 66 29 3b  T: %s\n", zBuf);
2f50: 0a 20 20 7d 0a 23 65 6e 64 69 66 0a 20 20 72 65  .  }.#endif.  re
2f60: 74 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a  turn SQLITE_OK;.
2f70: 7d 0a 0a 2f 2a 0a 2a 2a 20 54 68 69 73 20 72 6f  }../*.** This ro
2f80: 75 74 69 6e 65 20 63 68 65 63 6b 73 20 66 6f 72  utine checks for
2f90: 20 61 20 62 79 74 65 2d 6f 72 64 65 72 20 6d 61   a byte-order ma
2fa0: 72 6b 20 61 74 20 74 68 65 20 62 65 67 69 6e 6e  rk at the beginn
2fb0: 69 6e 67 20 6f 66 20 74 68 65 20 0a 2a 2a 20 55  ing of the .** U
2fc0: 54 46 2d 31 36 20 73 74 72 69 6e 67 20 73 74 6f  TF-16 string sto
2fd0: 72 65 64 20 69 6e 20 2a 70 4d 65 6d 2e 20 49 66  red in *pMem. If
2fe0: 20 6f 6e 65 20 69 73 20 70 72 65 73 65 6e 74 2c   one is present,
2ff0: 20 69 74 20 69 73 20 72 65 6d 6f 76 65 64 20 61   it is removed a
3000: 6e 64 0a 2a 2a 20 74 68 65 20 65 6e 63 6f 64 69  nd.** the encodi
3010: 6e 67 20 6f 66 20 74 68 65 20 4d 65 6d 20 61 64  ng of the Mem ad
3020: 6a 75 73 74 65 64 2e 20 54 68 69 73 20 72 6f 75  justed. This rou
3030: 74 69 6e 65 20 64 6f 65 73 20 6e 6f 74 20 64 6f  tine does not do
3040: 20 61 6e 79 0a 2a 2a 20 62 79 74 65 2d 73 77 61   any.** byte-swa
3050: 70 70 69 6e 67 2c 20 69 74 20 6a 75 73 74 20 73  pping, it just s
3060: 65 74 73 20 4d 65 6d 2e 65 6e 63 20 61 70 70 72  ets Mem.enc appr
3070: 6f 70 72 69 61 74 65 6c 79 2e 0a 2a 2a 0a 2a 2a  opriately..**.**
3080: 20 54 68 65 20 61 6c 6c 6f 63 61 74 69 6f 6e 20   The allocation 
3090: 28 73 74 61 74 69 63 2c 20 64 79 6e 61 6d 69 63  (static, dynamic
30a0: 20 65 74 63 2e 29 20 61 6e 64 20 65 6e 63 6f 64   etc.) and encod
30b0: 69 6e 67 20 6f 66 20 74 68 65 20 4d 65 6d 20 6d  ing of the Mem m
30c0: 61 79 20 62 65 0a 2a 2a 20 63 68 61 6e 67 65 64  ay be.** changed
30d0: 20 62 79 20 74 68 69 73 20 66 75 6e 63 74 69 6f   by this functio
30e0: 6e 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65  n..*/.int sqlite
30f0: 33 56 64 62 65 4d 65 6d 48 61 6e 64 6c 65 42 6f  3VdbeMemHandleBo
3100: 6d 28 4d 65 6d 20 2a 70 4d 65 6d 29 7b 0a 20 20  m(Mem *pMem){.  
3110: 69 6e 74 20 72 63 20 3d 20 53 51 4c 49 54 45 5f  int rc = SQLITE_
3120: 4f 4b 3b 0a 20 20 75 38 20 62 6f 6d 20 3d 20 30  OK;.  u8 bom = 0
3130: 3b 0a 0a 20 20 61 73 73 65 72 74 28 20 70 4d 65  ;..  assert( pMe
3140: 6d 2d 3e 6e 3e 3d 30 20 29 3b 0a 20 20 69 66 28  m->n>=0 );.  if(
3150: 20 70 4d 65 6d 2d 3e 6e 3e 31 20 29 7b 0a 20 20   pMem->n>1 ){.  
3160: 20 20 75 38 20 62 31 20 3d 20 2a 28 75 38 20 2a    u8 b1 = *(u8 *
3170: 29 70 4d 65 6d 2d 3e 7a 3b 0a 20 20 20 20 75 38  )pMem->z;.    u8
3180: 20 62 32 20 3d 20 2a 28 28 28 75 38 20 2a 29 70   b2 = *(((u8 *)p
3190: 4d 65 6d 2d 3e 7a 29 20 2b 20 31 29 3b 0a 20 20  Mem->z) + 1);.  
31a0: 20 20 69 66 28 20 62 31 3d 3d 30 78 46 45 20 26    if( b1==0xFE &
31b0: 26 20 62 32 3d 3d 30 78 46 46 20 29 7b 0a 20 20  & b2==0xFF ){.  
31c0: 20 20 20 20 62 6f 6d 20 3d 20 53 51 4c 49 54 45      bom = SQLITE
31d0: 5f 55 54 46 31 36 42 45 3b 0a 20 20 20 20 7d 0a  _UTF16BE;.    }.
31e0: 20 20 20 20 69 66 28 20 62 31 3d 3d 30 78 46 46      if( b1==0xFF
31f0: 20 26 26 20 62 32 3d 3d 30 78 46 45 20 29 7b 0a   && b2==0xFE ){.
3200: 20 20 20 20 20 20 62 6f 6d 20 3d 20 53 51 4c 49        bom = SQLI
3210: 54 45 5f 55 54 46 31 36 4c 45 3b 0a 20 20 20 20  TE_UTF16LE;.    
3220: 7d 0a 20 20 7d 0a 20 20 0a 20 20 69 66 28 20 62  }.  }.  .  if( b
3230: 6f 6d 20 29 7b 0a 20 20 20 20 72 63 20 3d 20 73  om ){.    rc = s
3240: 71 6c 69 74 65 33 56 64 62 65 4d 65 6d 4d 61 6b  qlite3VdbeMemMak
3250: 65 57 72 69 74 65 61 62 6c 65 28 70 4d 65 6d 29  eWriteable(pMem)
3260: 3b 0a 20 20 20 20 69 66 28 20 72 63 3d 3d 53 51  ;.    if( rc==SQ
3270: 4c 49 54 45 5f 4f 4b 20 29 7b 0a 20 20 20 20 20  LITE_OK ){.     
3280: 20 70 4d 65 6d 2d 3e 6e 20 2d 3d 20 32 3b 0a 20   pMem->n -= 2;. 
3290: 20 20 20 20 20 6d 65 6d 6d 6f 76 65 28 70 4d 65       memmove(pMe
32a0: 6d 2d 3e 7a 2c 20 26 70 4d 65 6d 2d 3e 7a 5b 32  m->z, &pMem->z[2
32b0: 5d 2c 20 70 4d 65 6d 2d 3e 6e 29 3b 0a 20 20 20  ], pMem->n);.   
32c0: 20 20 20 70 4d 65 6d 2d 3e 7a 5b 70 4d 65 6d 2d     pMem->z[pMem-
32d0: 3e 6e 5d 20 3d 20 27 5c 30 27 3b 0a 20 20 20 20  >n] = '\0';.    
32e0: 20 20 70 4d 65 6d 2d 3e 7a 5b 70 4d 65 6d 2d 3e    pMem->z[pMem->
32f0: 6e 2b 31 5d 20 3d 20 27 5c 30 27 3b 0a 20 20 20  n+1] = '\0';.   
3300: 20 20 20 70 4d 65 6d 2d 3e 66 6c 61 67 73 20 7c     pMem->flags |
3310: 3d 20 4d 45 4d 5f 54 65 72 6d 3b 0a 20 20 20 20  = MEM_Term;.    
3320: 20 20 70 4d 65 6d 2d 3e 65 6e 63 20 3d 20 62 6f    pMem->enc = bo
3330: 6d 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 72  m;.    }.  }.  r
3340: 65 74 75 72 6e 20 72 63 3b 0a 7d 0a 23 65 6e 64  eturn rc;.}.#end
3350: 69 66 20 2f 2a 20 53 51 4c 49 54 45 5f 4f 4d 49  if /* SQLITE_OMI
3360: 54 5f 55 54 46 31 36 20 2a 2f 0a 0a 2f 2a 0a 2a  T_UTF16 */../*.*
3370: 2a 20 70 5a 20 69 73 20 61 20 55 54 46 2d 38 20  * pZ is a UTF-8 
3380: 65 6e 63 6f 64 65 64 20 75 6e 69 63 6f 64 65 20  encoded unicode 
3390: 73 74 72 69 6e 67 2e 20 49 66 20 6e 42 79 74 65  string. If nByte
33a0: 20 69 73 20 6c 65 73 73 20 74 68 61 6e 20 7a 65   is less than ze
33b0: 72 6f 2c 0a 2a 2a 20 72 65 74 75 72 6e 20 74 68  ro,.** return th
33c0: 65 20 6e 75 6d 62 65 72 20 6f 66 20 75 6e 69 63  e number of unic
33d0: 6f 64 65 20 63 68 61 72 61 63 74 65 72 73 20 69  ode characters i
33e0: 6e 20 70 5a 20 75 70 20 74 6f 20 28 62 75 74 20  n pZ up to (but 
33f0: 6e 6f 74 20 69 6e 63 6c 75 64 69 6e 67 29 0a 2a  not including).*
3400: 2a 20 74 68 65 20 66 69 72 73 74 20 30 78 30 30  * the first 0x00
3410: 20 62 79 74 65 2e 20 49 66 20 6e 42 79 74 65 20   byte. If nByte 
3420: 69 73 20 6e 6f 74 20 6c 65 73 73 20 74 68 61 6e  is not less than
3430: 20 7a 65 72 6f 2c 20 72 65 74 75 72 6e 20 74 68   zero, return th
3440: 65 0a 2a 2a 20 6e 75 6d 62 65 72 20 6f 66 20 75  e.** number of u
3450: 6e 69 63 6f 64 65 20 63 68 61 72 61 63 74 65 72  nicode character
3460: 73 20 69 6e 20 74 68 65 20 66 69 72 73 74 20 6e  s in the first n
3470: 42 79 74 65 20 6f 66 20 70 5a 20 28 6f 72 20 75  Byte of pZ (or u
3480: 70 20 74 6f 20 0a 2a 2a 20 74 68 65 20 66 69 72  p to .** the fir
3490: 73 74 20 30 78 30 30 2c 20 77 68 69 63 68 65 76  st 0x00, whichev
34a0: 65 72 20 63 6f 6d 65 73 20 66 69 72 73 74 29 2e  er comes first).
34b0: 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 55  .*/.int sqlite3U
34c0: 74 66 38 43 68 61 72 4c 65 6e 28 63 6f 6e 73 74  tf8CharLen(const
34d0: 20 63 68 61 72 20 2a 7a 49 6e 2c 20 69 6e 74 20   char *zIn, int 
34e0: 6e 42 79 74 65 29 7b 0a 20 20 69 6e 74 20 72 20  nByte){.  int r 
34f0: 3d 20 30 3b 0a 20 20 63 6f 6e 73 74 20 75 38 20  = 0;.  const u8 
3500: 2a 7a 20 3d 20 28 63 6f 6e 73 74 20 75 38 2a 29  *z = (const u8*)
3510: 7a 49 6e 3b 0a 20 20 63 6f 6e 73 74 20 75 38 20  zIn;.  const u8 
3520: 2a 7a 54 65 72 6d 3b 0a 20 20 69 66 28 20 6e 42  *zTerm;.  if( nB
3530: 79 74 65 3e 3d 30 20 29 7b 0a 20 20 20 20 7a 54  yte>=0 ){.    zT
3540: 65 72 6d 20 3d 20 26 7a 5b 6e 42 79 74 65 5d 3b  erm = &z[nByte];
3550: 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 7a 54  .  }else{.    zT
3560: 65 72 6d 20 3d 20 28 63 6f 6e 73 74 20 75 38 2a  erm = (const u8*
3570: 29 28 2d 31 29 3b 0a 20 20 7d 0a 20 20 61 73 73  )(-1);.  }.  ass
3580: 65 72 74 28 20 7a 3c 3d 7a 54 65 72 6d 20 29 3b  ert( z<=zTerm );
3590: 0a 20 20 77 68 69 6c 65 28 20 2a 7a 21 3d 30 20  .  while( *z!=0 
35a0: 26 26 20 7a 3c 7a 54 65 72 6d 20 29 7b 0a 20 20  && z<zTerm ){.  
35b0: 20 20 53 51 4c 49 54 45 5f 53 4b 49 50 5f 55 54    SQLITE_SKIP_UT
35c0: 46 38 28 7a 29 3b 0a 20 20 20 20 72 2b 2b 3b 0a  F8(z);.    r++;.
35d0: 20 20 7d 0a 20 20 72 65 74 75 72 6e 20 72 3b 0a    }.  return r;.
35e0: 7d 0a 0a 2f 2a 20 54 68 69 73 20 74 65 73 74 20  }../* This test 
35f0: 66 75 6e 63 74 69 6f 6e 20 69 73 20 6e 6f 74 20  function is not 
3600: 63 75 72 72 65 6e 74 6c 79 20 75 73 65 64 20 62  currently used b
3610: 79 20 74 68 65 20 61 75 74 6f 6d 61 74 65 64 20  y the automated 
3620: 74 65 73 74 2d 73 75 69 74 65 2e 20 0a 2a 2a 20  test-suite. .** 
3630: 48 65 6e 63 65 20 69 74 20 69 73 20 6f 6e 6c 79  Hence it is only
3640: 20 61 76 61 69 6c 61 62 6c 65 20 69 6e 20 64 65   available in de
3650: 62 75 67 20 62 75 69 6c 64 73 2e 0a 2a 2f 0a 23  bug builds..*/.#
3660: 69 66 20 64 65 66 69 6e 65 64 28 53 51 4c 49 54  if defined(SQLIT
3670: 45 5f 54 45 53 54 29 20 26 26 20 64 65 66 69 6e  E_TEST) && defin
3680: 65 64 28 53 51 4c 49 54 45 5f 44 45 42 55 47 29  ed(SQLITE_DEBUG)
3690: 0a 2f 2a 0a 2a 2a 20 54 72 61 6e 73 6c 61 74 65  ./*.** Translate
36a0: 20 55 54 46 2d 38 20 74 6f 20 55 54 46 2d 38 2e   UTF-8 to UTF-8.
36b0: 0a 2a 2a 0a 2a 2a 20 54 68 69 73 20 68 61 73 20  .**.** This has 
36c0: 74 68 65 20 65 66 66 65 63 74 20 6f 66 20 6d 61  the effect of ma
36d0: 6b 69 6e 67 20 73 75 72 65 20 74 68 61 74 20 74  king sure that t
36e0: 68 65 20 73 74 72 69 6e 67 20 69 73 20 77 65 6c  he string is wel
36f0: 6c 2d 66 6f 72 6d 65 64 0a 2a 2a 20 55 54 46 2d  l-formed.** UTF-
3700: 38 2e 20 20 4d 69 73 63 6f 64 65 64 20 63 68 61  8.  Miscoded cha
3710: 72 61 63 74 65 72 73 20 61 72 65 20 72 65 6d 6f  racters are remo
3720: 76 65 64 2e 0a 2a 2a 0a 2a 2a 20 54 68 65 20 74  ved..**.** The t
3730: 72 61 6e 73 6c 61 74 69 6f 6e 20 69 73 20 64 6f  ranslation is do
3740: 6e 65 20 69 6e 2d 70 6c 61 63 65 20 61 6e 64 20  ne in-place and 
3750: 61 62 6f 72 74 65 64 20 69 66 20 74 68 65 20 6f  aborted if the o
3760: 75 74 70 75 74 0a 2a 2a 20 6f 76 65 72 72 75 6e  utput.** overrun
3770: 73 20 74 68 65 20 69 6e 70 75 74 2e 0a 2a 2f 0a  s the input..*/.
3780: 69 6e 74 20 73 71 6c 69 74 65 33 55 74 66 38 54  int sqlite3Utf8T
3790: 6f 38 28 75 6e 73 69 67 6e 65 64 20 63 68 61 72  o8(unsigned char
37a0: 20 2a 7a 49 6e 29 7b 0a 20 20 75 6e 73 69 67 6e   *zIn){.  unsign
37b0: 65 64 20 63 68 61 72 20 2a 7a 4f 75 74 20 3d 20  ed char *zOut = 
37c0: 7a 49 6e 3b 0a 20 20 75 6e 73 69 67 6e 65 64 20  zIn;.  unsigned 
37d0: 63 68 61 72 20 2a 7a 53 74 61 72 74 20 3d 20 7a  char *zStart = z
37e0: 49 6e 3b 0a 20 20 75 33 32 20 63 3b 0a 0a 20 20  In;.  u32 c;..  
37f0: 77 68 69 6c 65 28 20 7a 49 6e 5b 30 5d 20 26 26  while( zIn[0] &&
3800: 20 7a 4f 75 74 3c 3d 7a 49 6e 20 29 7b 0a 20 20   zOut<=zIn ){.  
3810: 20 20 63 20 3d 20 73 71 6c 69 74 65 33 55 74 66    c = sqlite3Utf
3820: 38 52 65 61 64 28 28 63 6f 6e 73 74 20 75 38 2a  8Read((const u8*
3830: 2a 29 26 7a 49 6e 29 3b 0a 20 20 20 20 69 66 28  *)&zIn);.    if(
3840: 20 63 21 3d 30 78 66 66 66 64 20 29 7b 0a 20 20   c!=0xfffd ){.  
3850: 20 20 20 20 57 52 49 54 45 5f 55 54 46 38 28 7a      WRITE_UTF8(z
3860: 4f 75 74 2c 20 63 29 3b 0a 20 20 20 20 7d 0a 20  Out, c);.    }. 
3870: 20 7d 0a 20 20 2a 7a 4f 75 74 20 3d 20 30 3b 0a   }.  *zOut = 0;.
3880: 20 20 72 65 74 75 72 6e 20 28 69 6e 74 29 28 7a    return (int)(z
3890: 4f 75 74 20 2d 20 7a 53 74 61 72 74 29 3b 0a 7d  Out - zStart);.}
38a0: 0a 23 65 6e 64 69 66 0a 0a 23 69 66 6e 64 65 66  .#endif..#ifndef
38b0: 20 53 51 4c 49 54 45 5f 4f 4d 49 54 5f 55 54 46   SQLITE_OMIT_UTF
38c0: 31 36 0a 2f 2a 0a 2a 2a 20 43 6f 6e 76 65 72 74  16./*.** Convert
38d0: 20 61 20 55 54 46 2d 31 36 20 73 74 72 69 6e 67   a UTF-16 string
38e0: 20 69 6e 20 74 68 65 20 6e 61 74 69 76 65 20 65   in the native e
38f0: 6e 63 6f 64 69 6e 67 20 69 6e 74 6f 20 61 20 55  ncoding into a U
3900: 54 46 2d 38 20 73 74 72 69 6e 67 2e 0a 2a 2a 20  TF-8 string..** 
3910: 4d 65 6d 6f 72 79 20 74 6f 20 68 6f 6c 64 20 74  Memory to hold t
3920: 68 65 20 55 54 46 2d 38 20 73 74 72 69 6e 67 20  he UTF-8 string 
3930: 69 73 20 6f 62 74 61 69 6e 65 64 20 66 72 6f 6d  is obtained from
3940: 20 73 71 6c 69 74 65 33 5f 6d 61 6c 6c 6f 63 20   sqlite3_malloc 
3950: 61 6e 64 20 6d 75 73 74 0a 2a 2a 20 62 65 20 66  and must.** be f
3960: 72 65 65 64 20 62 79 20 74 68 65 20 63 61 6c 6c  reed by the call
3970: 69 6e 67 20 66 75 6e 63 74 69 6f 6e 2e 0a 2a 2a  ing function..**
3980: 0a 2a 2a 20 4e 55 4c 4c 20 69 73 20 72 65 74 75  .** NULL is retu
3990: 72 6e 65 64 20 69 66 20 74 68 65 72 65 20 69 73  rned if there is
39a0: 20 61 6e 20 61 6c 6c 6f 63 61 74 69 6f 6e 20 65   an allocation e
39b0: 72 72 6f 72 2e 0a 2a 2f 0a 63 68 61 72 20 2a 73  rror..*/.char *s
39c0: 71 6c 69 74 65 33 55 74 66 31 36 74 6f 38 28 73  qlite3Utf16to8(s
39d0: 71 6c 69 74 65 33 20 2a 64 62 2c 20 63 6f 6e 73  qlite3 *db, cons
39e0: 74 20 76 6f 69 64 20 2a 7a 2c 20 69 6e 74 20 6e  t void *z, int n
39f0: 42 79 74 65 2c 20 75 38 20 65 6e 63 29 7b 0a 20  Byte, u8 enc){. 
3a00: 20 4d 65 6d 20 6d 3b 0a 20 20 6d 65 6d 73 65 74   Mem m;.  memset
3a10: 28 26 6d 2c 20 30 2c 20 73 69 7a 65 6f 66 28 6d  (&m, 0, sizeof(m
3a20: 29 29 3b 0a 20 20 6d 2e 64 62 20 3d 20 64 62 3b  ));.  m.db = db;
3a30: 0a 20 20 73 71 6c 69 74 65 33 56 64 62 65 4d 65  .  sqlite3VdbeMe
3a40: 6d 53 65 74 53 74 72 28 26 6d 2c 20 7a 2c 20 6e  mSetStr(&m, z, n
3a50: 42 79 74 65 2c 20 65 6e 63 2c 20 53 51 4c 49 54  Byte, enc, SQLIT
3a60: 45 5f 53 54 41 54 49 43 29 3b 0a 20 20 73 71 6c  E_STATIC);.  sql
3a70: 69 74 65 33 56 64 62 65 43 68 61 6e 67 65 45 6e  ite3VdbeChangeEn
3a80: 63 6f 64 69 6e 67 28 26 6d 2c 20 53 51 4c 49 54  coding(&m, SQLIT
3a90: 45 5f 55 54 46 38 29 3b 0a 20 20 69 66 28 20 64  E_UTF8);.  if( d
3aa0: 62 2d 3e 6d 61 6c 6c 6f 63 46 61 69 6c 65 64 20  b->mallocFailed 
3ab0: 29 7b 0a 20 20 20 20 73 71 6c 69 74 65 33 56 64  ){.    sqlite3Vd
3ac0: 62 65 4d 65 6d 52 65 6c 65 61 73 65 28 26 6d 29  beMemRelease(&m)
3ad0: 3b 0a 20 20 20 20 6d 2e 7a 20 3d 20 30 3b 0a 20  ;.    m.z = 0;. 
3ae0: 20 7d 0a 20 20 61 73 73 65 72 74 28 20 28 6d 2e   }.  assert( (m.
3af0: 66 6c 61 67 73 20 26 20 4d 45 4d 5f 54 65 72 6d  flags & MEM_Term
3b00: 29 21 3d 30 20 7c 7c 20 64 62 2d 3e 6d 61 6c 6c  )!=0 || db->mall
3b10: 6f 63 46 61 69 6c 65 64 20 29 3b 0a 20 20 61 73  ocFailed );.  as
3b20: 73 65 72 74 28 20 28 6d 2e 66 6c 61 67 73 20 26  sert( (m.flags &
3b30: 20 4d 45 4d 5f 53 74 72 29 21 3d 30 20 7c 7c 20   MEM_Str)!=0 || 
3b40: 64 62 2d 3e 6d 61 6c 6c 6f 63 46 61 69 6c 65 64  db->mallocFailed
3b50: 20 29 3b 0a 20 20 61 73 73 65 72 74 28 20 6d 2e   );.  assert( m.
3b60: 7a 20 7c 7c 20 64 62 2d 3e 6d 61 6c 6c 6f 63 46  z || db->mallocF
3b70: 61 69 6c 65 64 20 29 3b 0a 20 20 72 65 74 75 72  ailed );.  retur
3b80: 6e 20 6d 2e 7a 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20  n m.z;.}../*.** 
3b90: 7a 49 6e 20 69 73 20 61 20 55 54 46 2d 31 36 20  zIn is a UTF-16 
3ba0: 65 6e 63 6f 64 65 64 20 75 6e 69 63 6f 64 65 20  encoded unicode 
3bb0: 73 74 72 69 6e 67 20 61 74 20 6c 65 61 73 74 20  string at least 
3bc0: 6e 43 68 61 72 20 63 68 61 72 61 63 74 65 72 73  nChar characters
3bd0: 20 6c 6f 6e 67 2e 0a 2a 2a 20 52 65 74 75 72 6e   long..** Return
3be0: 20 74 68 65 20 6e 75 6d 62 65 72 20 6f 66 20 62   the number of b
3bf0: 79 74 65 73 20 69 6e 20 74 68 65 20 66 69 72 73  ytes in the firs
3c00: 74 20 6e 43 68 61 72 20 75 6e 69 63 6f 64 65 20  t nChar unicode 
3c10: 63 68 61 72 61 63 74 65 72 73 0a 2a 2a 20 69 6e  characters.** in
3c20: 20 70 5a 2e 20 20 6e 43 68 61 72 20 6d 75 73 74   pZ.  nChar must
3c30: 20 62 65 20 6e 6f 6e 2d 6e 65 67 61 74 69 76 65   be non-negative
3c40: 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33  ..*/.int sqlite3
3c50: 55 74 66 31 36 42 79 74 65 4c 65 6e 28 63 6f 6e  Utf16ByteLen(con
3c60: 73 74 20 76 6f 69 64 20 2a 7a 49 6e 2c 20 69 6e  st void *zIn, in
3c70: 74 20 6e 43 68 61 72 29 7b 0a 20 20 69 6e 74 20  t nChar){.  int 
3c80: 63 3b 0a 20 20 75 6e 73 69 67 6e 65 64 20 63 68  c;.  unsigned ch
3c90: 61 72 20 63 6f 6e 73 74 20 2a 7a 20 3d 20 7a 49  ar const *z = zI
3ca0: 6e 3b 0a 20 20 69 6e 74 20 6e 20 3d 20 30 3b 0a  n;.  int n = 0;.
3cb0: 20 20 0a 20 20 69 66 28 20 53 51 4c 49 54 45 5f    .  if( SQLITE_
3cc0: 55 54 46 31 36 4e 41 54 49 56 45 3d 3d 53 51 4c  UTF16NATIVE==SQL
3cd0: 49 54 45 5f 55 54 46 31 36 42 45 20 29 7b 0a 20  ITE_UTF16BE ){. 
3ce0: 20 20 20 77 68 69 6c 65 28 20 6e 3c 6e 43 68 61     while( n<nCha
3cf0: 72 20 29 7b 0a 20 20 20 20 20 20 52 45 41 44 5f  r ){.      READ_
3d00: 55 54 46 31 36 42 45 28 7a 2c 20 31 2c 20 63 29  UTF16BE(z, 1, c)
3d10: 3b 0a 20 20 20 20 20 20 6e 2b 2b 3b 0a 20 20 20  ;.      n++;.   
3d20: 20 7d 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20   }.  }else{.    
3d30: 77 68 69 6c 65 28 20 6e 3c 6e 43 68 61 72 20 29  while( n<nChar )
3d40: 7b 0a 20 20 20 20 20 20 52 45 41 44 5f 55 54 46  {.      READ_UTF
3d50: 31 36 4c 45 28 7a 2c 20 31 2c 20 63 29 3b 0a 20  16LE(z, 1, c);. 
3d60: 20 20 20 20 20 6e 2b 2b 3b 0a 20 20 20 20 7d 0a       n++;.    }.
3d70: 20 20 7d 0a 20 20 72 65 74 75 72 6e 20 28 69 6e    }.  return (in
3d80: 74 29 28 7a 2d 28 75 6e 73 69 67 6e 65 64 20 63  t)(z-(unsigned c
3d90: 68 61 72 20 63 6f 6e 73 74 20 2a 29 7a 49 6e 29  har const *)zIn)
3da0: 3b 0a 7d 0a 0a 23 69 66 20 64 65 66 69 6e 65 64  ;.}..#if defined
3db0: 28 53 51 4c 49 54 45 5f 54 45 53 54 29 0a 2f 2a  (SQLITE_TEST)./*
3dc0: 0a 2a 2a 20 54 68 69 73 20 72 6f 75 74 69 6e 65  .** This routine
3dd0: 20 69 73 20 63 61 6c 6c 65 64 20 66 72 6f 6d 20   is called from 
3de0: 74 68 65 20 54 43 4c 20 74 65 73 74 20 66 75 6e  the TCL test fun
3df0: 63 74 69 6f 6e 20 22 74 72 61 6e 73 6c 61 74 65  ction "translate
3e00: 5f 73 65 6c 66 74 65 73 74 22 2e 0a 2a 2a 20 49  _selftest"..** I
3e10: 74 20 63 68 65 63 6b 73 20 74 68 61 74 20 74 68  t checks that th
3e20: 65 20 70 72 69 6d 69 74 69 76 65 73 20 66 6f 72  e primitives for
3e30: 20 73 65 72 69 61 6c 69 7a 69 6e 67 20 61 6e 64   serializing and
3e40: 20 64 65 73 65 72 69 61 6c 69 7a 69 6e 67 0a 2a   deserializing.*
3e50: 2a 20 63 68 61 72 61 63 74 65 72 73 20 69 6e 20  * characters in 
3e60: 65 61 63 68 20 65 6e 63 6f 64 69 6e 67 20 61 72  each encoding ar
3e70: 65 20 69 6e 76 65 72 73 65 73 20 6f 66 20 65 61  e inverses of ea
3e80: 63 68 20 6f 74 68 65 72 2e 0a 2a 2f 0a 76 6f 69  ch other..*/.voi
3e90: 64 20 73 71 6c 69 74 65 33 55 74 66 53 65 6c 66  d sqlite3UtfSelf
3ea0: 54 65 73 74 28 76 6f 69 64 29 7b 0a 20 20 75 6e  Test(void){.  un
3eb0: 73 69 67 6e 65 64 20 69 6e 74 20 69 2c 20 74 3b  signed int i, t;
3ec0: 0a 20 20 75 6e 73 69 67 6e 65 64 20 63 68 61 72  .  unsigned char
3ed0: 20 7a 42 75 66 5b 32 30 5d 3b 0a 20 20 75 6e 73   zBuf[20];.  uns
3ee0: 69 67 6e 65 64 20 63 68 61 72 20 2a 7a 3b 0a 20  igned char *z;. 
3ef0: 20 69 6e 74 20 6e 3b 0a 20 20 75 6e 73 69 67 6e   int n;.  unsign
3f00: 65 64 20 69 6e 74 20 63 3b 0a 0a 20 20 66 6f 72  ed int c;..  for
3f10: 28 69 3d 30 3b 20 69 3c 30 78 30 30 31 31 30 30  (i=0; i<0x001100
3f20: 30 30 3b 20 69 2b 2b 29 7b 0a 20 20 20 20 7a 20  00; i++){.    z 
3f30: 3d 20 7a 42 75 66 3b 0a 20 20 20 20 57 52 49 54  = zBuf;.    WRIT
3f40: 45 5f 55 54 46 38 28 7a 2c 20 69 29 3b 0a 20 20  E_UTF8(z, i);.  
3f50: 20 20 6e 20 3d 20 28 69 6e 74 29 28 7a 2d 7a 42    n = (int)(z-zB
3f60: 75 66 29 3b 0a 20 20 20 20 61 73 73 65 72 74 28  uf);.    assert(
3f70: 20 6e 3e 30 20 26 26 20 6e 3c 3d 34 20 29 3b 0a   n>0 && n<=4 );.
3f80: 20 20 20 20 7a 5b 30 5d 20 3d 20 30 3b 0a 20 20      z[0] = 0;.  
3f90: 20 20 7a 20 3d 20 7a 42 75 66 3b 0a 20 20 20 20    z = zBuf;.    
3fa0: 63 20 3d 20 73 71 6c 69 74 65 33 55 74 66 38 52  c = sqlite3Utf8R
3fb0: 65 61 64 28 28 63 6f 6e 73 74 20 75 38 2a 2a 29  ead((const u8**)
3fc0: 26 7a 29 3b 0a 20 20 20 20 74 20 3d 20 69 3b 0a  &z);.    t = i;.
3fd0: 20 20 20 20 69 66 28 20 69 3e 3d 30 78 44 38 30      if( i>=0xD80
3fe0: 30 20 26 26 20 69 3c 3d 30 78 44 46 46 46 20 29  0 && i<=0xDFFF )
3ff0: 20 74 20 3d 20 30 78 46 46 46 44 3b 0a 20 20 20   t = 0xFFFD;.   
4000: 20 69 66 28 20 28 69 26 30 78 46 46 46 46 46 46   if( (i&0xFFFFFF
4010: 46 45 29 3d 3d 30 78 46 46 46 45 20 29 20 74 20  FE)==0xFFFE ) t 
4020: 3d 20 30 78 46 46 46 44 3b 0a 20 20 20 20 61 73  = 0xFFFD;.    as
4030: 73 65 72 74 28 20 63 3d 3d 74 20 29 3b 0a 20 20  sert( c==t );.  
4040: 20 20 61 73 73 65 72 74 28 20 28 7a 2d 7a 42 75    assert( (z-zBu
4050: 66 29 3d 3d 6e 20 29 3b 0a 20 20 7d 0a 20 20 66  f)==n );.  }.  f
4060: 6f 72 28 69 3d 30 3b 20 69 3c 30 78 30 30 31 31  or(i=0; i<0x0011
4070: 30 30 30 30 3b 20 69 2b 2b 29 7b 0a 20 20 20 20  0000; i++){.    
4080: 69 66 28 20 69 3e 3d 30 78 44 38 30 30 20 26 26  if( i>=0xD800 &&
4090: 20 69 3c 30 78 45 30 30 30 20 29 20 63 6f 6e 74   i<0xE000 ) cont
40a0: 69 6e 75 65 3b 0a 20 20 20 20 7a 20 3d 20 7a 42  inue;.    z = zB
40b0: 75 66 3b 0a 20 20 20 20 57 52 49 54 45 5f 55 54  uf;.    WRITE_UT
40c0: 46 31 36 4c 45 28 7a 2c 20 69 29 3b 0a 20 20 20  F16LE(z, i);.   
40d0: 20 6e 20 3d 20 28 69 6e 74 29 28 7a 2d 7a 42 75   n = (int)(z-zBu
40e0: 66 29 3b 0a 20 20 20 20 61 73 73 65 72 74 28 20  f);.    assert( 
40f0: 6e 3e 30 20 26 26 20 6e 3c 3d 34 20 29 3b 0a 20  n>0 && n<=4 );. 
4100: 20 20 20 7a 5b 30 5d 20 3d 20 30 3b 0a 20 20 20     z[0] = 0;.   
4110: 20 7a 20 3d 20 7a 42 75 66 3b 0a 20 20 20 20 52   z = zBuf;.    R
4120: 45 41 44 5f 55 54 46 31 36 4c 45 28 7a 2c 20 31  EAD_UTF16LE(z, 1
4130: 2c 20 63 29 3b 0a 20 20 20 20 61 73 73 65 72 74  , c);.    assert
4140: 28 20 63 3d 3d 69 20 29 3b 0a 20 20 20 20 61 73  ( c==i );.    as
4150: 73 65 72 74 28 20 28 7a 2d 7a 42 75 66 29 3d 3d  sert( (z-zBuf)==
4160: 6e 20 29 3b 0a 20 20 7d 0a 20 20 66 6f 72 28 69  n );.  }.  for(i
4170: 3d 30 3b 20 69 3c 30 78 30 30 31 31 30 30 30 30  =0; i<0x00110000
4180: 3b 20 69 2b 2b 29 7b 0a 20 20 20 20 69 66 28 20  ; i++){.    if( 
4190: 69 3e 3d 30 78 44 38 30 30 20 26 26 20 69 3c 30  i>=0xD800 && i<0
41a0: 78 45 30 30 30 20 29 20 63 6f 6e 74 69 6e 75 65  xE000 ) continue
41b0: 3b 0a 20 20 20 20 7a 20 3d 20 7a 42 75 66 3b 0a  ;.    z = zBuf;.
41c0: 20 20 20 20 57 52 49 54 45 5f 55 54 46 31 36 42      WRITE_UTF16B
41d0: 45 28 7a 2c 20 69 29 3b 0a 20 20 20 20 6e 20 3d  E(z, i);.    n =
41e0: 20 28 69 6e 74 29 28 7a 2d 7a 42 75 66 29 3b 0a   (int)(z-zBuf);.
41f0: 20 20 20 20 61 73 73 65 72 74 28 20 6e 3e 30 20      assert( n>0 
4200: 26 26 20 6e 3c 3d 34 20 29 3b 0a 20 20 20 20 7a  && n<=4 );.    z
4210: 5b 30 5d 20 3d 20 30 3b 0a 20 20 20 20 7a 20 3d  [0] = 0;.    z =
4220: 20 7a 42 75 66 3b 0a 20 20 20 20 52 45 41 44 5f   zBuf;.    READ_
4230: 55 54 46 31 36 42 45 28 7a 2c 20 31 2c 20 63 29  UTF16BE(z, 1, c)
4240: 3b 0a 20 20 20 20 61 73 73 65 72 74 28 20 63 3d  ;.    assert( c=
4250: 3d 69 20 29 3b 0a 20 20 20 20 61 73 73 65 72 74  =i );.    assert
4260: 28 20 28 7a 2d 7a 42 75 66 29 3d 3d 6e 20 29 3b  ( (z-zBuf)==n );
4270: 0a 20 20 7d 0a 7d 0a 23 65 6e 64 69 66 20 2f 2a  .  }.}.#endif /*
4280: 20 53 51 4c 49 54 45 5f 54 45 53 54 20 2a 2f 0a   SQLITE_TEST */.
4290: 23 65 6e 64 69 66 20 2f 2a 20 53 51 4c 49 54 45  #endif /* SQLITE
42a0: 5f 4f 4d 49 54 5f 55 54 46 31 36 20 2a 2f 0a     _OMIT_UTF16 */.