0000: 2f 2a 0a 2a 2a 20 32 30 30 34 20 41 70 72 69 6c /*.** 2004 April
0010: 20 31 33 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 13.**.** The au
0020: 74 68 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 thor disclaims c
0030: 6f 70 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 opyright to this
0040: 20 73 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 source code. I
0050: 6e 20 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 n place of.** a
0060: 6c 65 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 legal notice, he
0070: 72 65 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 re is a blessing
0080: 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 :.**.** May y
0090: 6f 75 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e ou do good and n
00a0: 6f 74 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d ot evil..** M
00b0: 61 79 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 ay you find forg
00c0: 69 76 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 iveness for your
00d0: 73 65 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 self and forgive
00e0: 20 6f 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d others..** M
00f0: 61 79 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 ay you share fre
0100: 65 6c 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e ely, never takin
0110: 67 20 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 g more than you
0120: 67 69 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a give..**.*******
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a ****************
0170: 2a 2a 0a 2a 2a 20 54 68 69 73 20 66 69 6c 65 20 **.** This file
0180: 63 6f 6e 74 61 69 6e 73 20 72 6f 75 74 69 6e 65 contains routine
0190: 73 20 75 73 65 64 20 74 6f 20 74 72 61 6e 73 6c s used to transl
01a0: 61 74 65 20 62 65 74 77 65 65 6e 20 55 54 46 2d ate between UTF-
01b0: 38 2c 20 0a 2a 2a 20 55 54 46 2d 31 36 2c 20 55 8, .** UTF-16, U
01c0: 54 46 2d 31 36 42 45 2c 20 61 6e 64 20 55 54 46 TF-16BE, and UTF
01d0: 2d 31 36 4c 45 2e 0a 2a 2a 0a 2a 2a 20 24 49 64 -16LE..**.** $Id
01e0: 3a 20 75 74 66 2e 63 2c 76 20 31 2e 37 32 20 32 : utf.c,v 1.72 2
01f0: 30 30 39 2f 30 34 2f 30 31 20 31 36 3a 33 33 3a 009/04/01 16:33:
0200: 33 38 20 64 72 68 20 45 78 70 20 24 0a 2a 2a 0a 38 drh Exp $.**.
0210: 2a 2a 20 4e 6f 74 65 73 20 6f 6e 20 55 54 46 2d ** Notes on UTF-
0220: 38 3a 0a 2a 2a 0a 2a 2a 20 20 20 42 79 74 65 2d 8:.**.** Byte-
0230: 30 20 20 20 20 42 79 74 65 2d 31 20 20 20 20 42 0 Byte-1 B
0240: 79 74 65 2d 32 20 20 20 20 42 79 74 65 2d 33 20 yte-2 Byte-3
0250: 20 20 20 56 61 6c 75 65 0a 2a 2a 20 20 30 78 78 Value.** 0xx
0260: 78 78 78 78 78 20 20 20 20 20 20 20 20 20 20 20 xxxxx
0270: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0280: 20 20 20 20 20 20 30 30 30 30 30 30 30 30 20 30 00000000 0
0290: 30 30 30 30 30 30 30 20 30 78 78 78 78 78 78 78 0000000 0xxxxxxx
02a0: 0a 2a 2a 20 20 31 31 30 79 79 79 79 79 20 20 31 .** 110yyyyy 1
02b0: 30 78 78 78 78 78 78 20 20 20 20 20 20 20 20 20 0xxxxxx
02c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 30 30 00
02d0: 30 30 30 30 30 30 20 30 30 30 30 30 79 79 79 20 000000 00000yyy
02e0: 79 79 78 78 78 78 78 78 0a 2a 2a 20 20 31 31 31 yyxxxxxx.** 111
02f0: 30 7a 7a 7a 7a 20 20 31 30 79 79 79 79 79 79 20 0zzzz 10yyyyyy
0300: 20 31 30 78 78 78 78 78 78 20 20 20 20 20 20 20 10xxxxxx
0310: 20 20 20 20 20 20 30 30 30 30 30 30 30 30 20 7a 00000000 z
0320: 7a 7a 7a 79 79 79 79 20 79 79 78 78 78 78 78 78 zzzyyyy yyxxxxxx
0330: 0a 2a 2a 20 20 31 31 31 31 30 75 75 75 20 20 31 .** 11110uuu 1
0340: 30 75 75 7a 7a 7a 7a 20 20 31 30 79 79 79 79 79 0uuzzzz 10yyyyy
0350: 79 20 20 31 30 78 78 78 78 78 78 20 20 20 30 30 y 10xxxxxx 00
0360: 30 75 75 75 75 75 20 7a 7a 7a 7a 79 79 79 79 20 0uuuuu zzzzyyyy
0370: 79 79 78 78 78 78 78 78 0a 2a 2a 0a 2a 2a 0a 2a yyxxxxxx.**.**.*
0380: 2a 20 4e 6f 74 65 73 20 6f 6e 20 55 54 46 2d 31 * Notes on UTF-1
0390: 36 3a 20 20 28 77 69 74 68 20 77 77 77 77 2b 31 6: (with wwww+1
03a0: 3d 3d 75 75 75 75 75 29 0a 2a 2a 0a 2a 2a 20 20 ==uuuuu).**.**
03b0: 20 20 20 20 57 6f 72 64 2d 30 20 20 20 20 20 20 Word-0
03c0: 20 20 20 20 20 20 20 20 20 57 6f 72 64 2d 31 20 Word-1
03d0: 20 20 20 20 20 20 20 20 20 56 61 6c 75 65 0a 2a Value.*
03e0: 2a 20 20 31 31 30 31 31 30 77 77 20 77 77 7a 7a * 110110ww wwzz
03f0: 7a 7a 79 79 20 20 20 31 31 30 31 31 31 79 79 20 zzyy 110111yy
0400: 79 79 78 78 78 78 78 78 20 20 20 20 30 30 30 75 yyxxxxxx 000u
0410: 75 75 75 75 20 7a 7a 7a 7a 79 79 79 79 20 79 79 uuuu zzzzyyyy yy
0420: 78 78 78 78 78 78 0a 2a 2a 20 20 7a 7a 7a 7a 79 xxxxxx.** zzzzy
0430: 79 79 79 20 79 79 78 78 78 78 78 78 20 20 20 20 yyy yyxxxxxx
0440: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0450: 20 20 20 20 30 30 30 30 30 30 30 30 20 7a 7a 7a 00000000 zzz
0460: 7a 79 79 79 79 20 79 79 78 78 78 78 78 78 0a 2a zyyyy yyxxxxxx.*
0470: 2a 0a 2a 2a 0a 2a 2a 20 42 4f 4d 20 6f 72 20 42 *.**.** BOM or B
0480: 79 74 65 20 4f 72 64 65 72 20 4d 61 72 6b 3a 0a yte Order Mark:.
0490: 2a 2a 20 20 20 20 20 30 78 66 66 20 30 78 66 65 ** 0xff 0xfe
04a0: 20 20 20 6c 69 74 74 6c 65 2d 65 6e 64 69 61 6e little-endian
04b0: 20 75 74 66 2d 31 36 20 66 6f 6c 6c 6f 77 73 0a utf-16 follows.
04c0: 2a 2a 20 20 20 20 20 30 78 66 65 20 30 78 66 66 ** 0xfe 0xff
04d0: 20 20 20 62 69 67 2d 65 6e 64 69 61 6e 20 75 74 big-endian ut
04e0: 66 2d 31 36 20 66 6f 6c 6c 6f 77 73 0a 2a 2a 0a f-16 follows.**.
04f0: 2a 2f 0a 23 69 6e 63 6c 75 64 65 20 22 73 71 6c */.#include "sql
0500: 69 74 65 49 6e 74 2e 68 22 0a 23 69 6e 63 6c 75 iteInt.h".#inclu
0510: 64 65 20 3c 61 73 73 65 72 74 2e 68 3e 0a 23 69 de <assert.h>.#i
0520: 6e 63 6c 75 64 65 20 22 76 64 62 65 49 6e 74 2e nclude "vdbeInt.
0530: 68 22 0a 0a 23 69 66 6e 64 65 66 20 53 51 4c 49 h"..#ifndef SQLI
0540: 54 45 5f 41 4d 41 4c 47 41 4d 41 54 49 4f 4e 0a TE_AMALGAMATION.
0550: 2f 2a 0a 2a 2a 20 54 68 65 20 66 6f 6c 6c 6f 77 /*.** The follow
0560: 69 6e 67 20 63 6f 6e 73 74 61 6e 74 20 76 61 6c ing constant val
0570: 75 65 20 69 73 20 75 73 65 64 20 62 79 20 74 68 ue is used by th
0580: 65 20 53 51 4c 49 54 45 5f 42 49 47 45 4e 44 49 e SQLITE_BIGENDI
0590: 41 4e 20 61 6e 64 0a 2a 2a 20 53 51 4c 49 54 45 AN and.** SQLITE
05a0: 5f 4c 49 54 54 4c 45 45 4e 44 49 41 4e 20 6d 61 _LITTLEENDIAN ma
05b0: 63 72 6f 73 2e 0a 2a 2f 0a 63 6f 6e 73 74 20 69 cros..*/.const i
05c0: 6e 74 20 73 71 6c 69 74 65 33 6f 6e 65 20 3d 20 nt sqlite3one =
05d0: 31 3b 0a 23 65 6e 64 69 66 20 2f 2a 20 53 51 4c 1;.#endif /* SQL
05e0: 49 54 45 5f 41 4d 41 4c 47 41 4d 41 54 49 4f 4e ITE_AMALGAMATION
05f0: 20 2a 2f 0a 0a 2f 2a 0a 2a 2a 20 54 68 69 73 20 */../*.** This
0600: 6c 6f 6f 6b 75 70 20 74 61 62 6c 65 20 69 73 20 lookup table is
0610: 75 73 65 64 20 74 6f 20 68 65 6c 70 20 64 65 63 used to help dec
0620: 6f 64 65 20 74 68 65 20 66 69 72 73 74 20 62 79 ode the first by
0630: 74 65 20 6f 66 0a 2a 2a 20 61 20 6d 75 6c 74 69 te of.** a multi
0640: 2d 62 79 74 65 20 55 54 46 38 20 63 68 61 72 61 -byte UTF8 chara
0650: 63 74 65 72 2e 0a 2a 2f 0a 73 74 61 74 69 63 20 cter..*/.static
0660: 63 6f 6e 73 74 20 75 6e 73 69 67 6e 65 64 20 63 const unsigned c
0670: 68 61 72 20 73 71 6c 69 74 65 33 55 74 66 38 54 har sqlite3Utf8T
0680: 72 61 6e 73 31 5b 5d 20 3d 20 7b 0a 20 20 30 78 rans1[] = {. 0x
0690: 30 30 2c 20 30 78 30 31 2c 20 30 78 30 32 2c 20 00, 0x01, 0x02,
06a0: 30 78 30 33 2c 20 30 78 30 34 2c 20 30 78 30 35 0x03, 0x04, 0x05
06b0: 2c 20 30 78 30 36 2c 20 30 78 30 37 2c 0a 20 20 , 0x06, 0x07,.
06c0: 30 78 30 38 2c 20 30 78 30 39 2c 20 30 78 30 61 0x08, 0x09, 0x0a
06d0: 2c 20 30 78 30 62 2c 20 30 78 30 63 2c 20 30 78 , 0x0b, 0x0c, 0x
06e0: 30 64 2c 20 30 78 30 65 2c 20 30 78 30 66 2c 0a 0d, 0x0e, 0x0f,.
06f0: 20 20 30 78 31 30 2c 20 30 78 31 31 2c 20 30 78 0x10, 0x11, 0x
0700: 31 32 2c 20 30 78 31 33 2c 20 30 78 31 34 2c 20 12, 0x13, 0x14,
0710: 30 78 31 35 2c 20 30 78 31 36 2c 20 30 78 31 37 0x15, 0x16, 0x17
0720: 2c 0a 20 20 30 78 31 38 2c 20 30 78 31 39 2c 20 ,. 0x18, 0x19,
0730: 30 78 31 61 2c 20 30 78 31 62 2c 20 30 78 31 63 0x1a, 0x1b, 0x1c
0740: 2c 20 30 78 31 64 2c 20 30 78 31 65 2c 20 30 78 , 0x1d, 0x1e, 0x
0750: 31 66 2c 0a 20 20 30 78 30 30 2c 20 30 78 30 31 1f,. 0x00, 0x01
0760: 2c 20 30 78 30 32 2c 20 30 78 30 33 2c 20 30 78 , 0x02, 0x03, 0x
0770: 30 34 2c 20 30 78 30 35 2c 20 30 78 30 36 2c 20 04, 0x05, 0x06,
0780: 30 78 30 37 2c 0a 20 20 30 78 30 38 2c 20 30 78 0x07,. 0x08, 0x
0790: 30 39 2c 20 30 78 30 61 2c 20 30 78 30 62 2c 20 09, 0x0a, 0x0b,
07a0: 30 78 30 63 2c 20 30 78 30 64 2c 20 30 78 30 65 0x0c, 0x0d, 0x0e
07b0: 2c 20 30 78 30 66 2c 0a 20 20 30 78 30 30 2c 20 , 0x0f,. 0x00,
07c0: 30 78 30 31 2c 20 30 78 30 32 2c 20 30 78 30 33 0x01, 0x02, 0x03
07d0: 2c 20 30 78 30 34 2c 20 30 78 30 35 2c 20 30 78 , 0x04, 0x05, 0x
07e0: 30 36 2c 20 30 78 30 37 2c 0a 20 20 30 78 30 30 06, 0x07,. 0x00
07f0: 2c 20 30 78 30 31 2c 20 30 78 30 32 2c 20 30 78 , 0x01, 0x02, 0x
0800: 30 33 2c 20 30 78 30 30 2c 20 30 78 30 31 2c 20 03, 0x00, 0x01,
0810: 30 78 30 30 2c 20 30 78 30 30 2c 0a 7d 3b 0a 0a 0x00, 0x00,.};..
0820: 0a 23 64 65 66 69 6e 65 20 57 52 49 54 45 5f 55 .#define WRITE_U
0830: 54 46 38 28 7a 4f 75 74 2c 20 63 29 20 7b 20 20 TF8(zOut, c) {
0840: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0850: 20 20 20 20 20 20 20 20 5c 0a 20 20 69 66 28 20 \. if(
0860: 63 3c 30 78 30 30 30 38 30 20 29 7b 20 20 20 20 c<0x00080 ){
0870: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0880: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0890: 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d \. *zOut++ =
08a0: 20 28 75 38 29 28 63 26 30 78 46 46 29 3b 20 20 (u8)(c&0xFF);
08b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
08c0: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 20 \. }
08d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
08e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
08f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0900: 20 20 20 5c 0a 20 20 65 6c 73 65 20 69 66 28 20 \. else if(
0910: 63 3c 30 78 30 30 38 30 30 20 29 7b 20 20 20 20 c<0x00800 ){
0920: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0930: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 \.
0940: 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78 43 30 *zOut++ = 0xC0
0950: 20 2b 20 28 75 38 29 28 28 63 3e 3e 36 29 26 30 + (u8)((c>>6)&0
0960: 78 31 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 x1F);
0970: 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 \. *zOut
0980: 2b 2b 20 3d 20 30 78 38 30 20 2b 20 28 75 38 29 ++ = 0x80 + (u8)
0990: 28 63 20 26 20 30 78 33 46 29 3b 20 20 20 20 20 (c & 0x3F);
09a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a \.
09b0: 20 20 7d 20 20 20 20 20 20 20 20 20 20 20 20 20 }
09c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
09d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
09e0: 20 20 20 20 20 20 20 5c 0a 20 20 65 6c 73 65 20 \. else
09f0: 69 66 28 20 63 3c 30 78 31 30 30 30 30 20 29 7b if( c<0x10000 ){
0a00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0a10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0a20: 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 \. *zOut++ =
0a30: 30 78 45 30 20 2b 20 28 75 38 29 28 28 63 3e 3e 0xE0 + (u8)((c>>
0a40: 31 32 29 26 30 78 30 46 29 3b 20 20 20 20 20 20 12)&0x0F);
0a50: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a \. *
0a60: 7a 4f 75 74 2b 2b 20 3d 20 30 78 38 30 20 2b 20 zOut++ = 0x80 +
0a70: 28 75 38 29 28 28 63 3e 3e 36 29 20 26 20 30 78 (u8)((c>>6) & 0x
0a80: 33 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 3F);
0a90: 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 \. *zOut++
0aa0: 3d 20 30 78 38 30 20 2b 20 28 75 38 29 28 63 20 = 0x80 + (u8)(c
0ab0: 26 20 30 78 33 46 29 3b 20 20 20 20 20 20 20 20 & 0x3F);
0ac0: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d \. }
0ad0: 65 6c 73 65 7b 20 20 20 20 20 20 20 20 20 20 20 else{
0ae0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0af0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0b00: 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b \. *zOut+
0b10: 2b 20 3d 20 30 78 46 30 20 2b 20 28 75 38 29 28 + = 0xF0 + (u8)(
0b20: 28 63 3e 3e 31 38 29 20 26 20 30 78 30 37 29 3b (c>>18) & 0x07);
0b30: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 \.
0b40: 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78 38 *zOut++ = 0x8
0b50: 30 20 2b 20 28 75 38 29 28 28 63 3e 3e 31 32 29 0 + (u8)((c>>12)
0b60: 20 26 20 30 78 33 46 29 3b 20 20 20 20 20 20 20 & 0x3F);
0b70: 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 \. *zOu
0b80: 74 2b 2b 20 3d 20 30 78 38 30 20 2b 20 28 75 38 t++ = 0x80 + (u8
0b90: 29 28 28 63 3e 3e 36 29 20 26 20 30 78 33 46 29 )((c>>6) & 0x3F)
0ba0: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c ; \
0bb0: 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30 . *zOut++ = 0
0bc0: 78 38 30 20 2b 20 28 75 38 29 28 63 20 26 20 30 x80 + (u8)(c & 0
0bd0: 78 33 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 x3F);
0be0: 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 20 20 20 \. }
0bf0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0c00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0c10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0c20: 20 5c 0a 7d 0a 0a 23 64 65 66 69 6e 65 20 57 52 \.}..#define WR
0c30: 49 54 45 5f 55 54 46 31 36 4c 45 28 7a 4f 75 74 ITE_UTF16LE(zOut
0c40: 2c 20 63 29 20 7b 20 20 20 20 20 20 20 20 20 20 , c) {
0c50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0c60: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 69 66 \. if
0c70: 28 20 63 3c 3d 30 78 46 46 46 46 20 29 7b 20 20 ( c<=0xFFFF ){
0c80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0c90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0ca0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0cb0: 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 \. *zOut++ =
0cc0: 28 75 38 29 28 63 26 30 78 30 30 46 46 29 3b 20 (u8)(c&0x00FF);
0cd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0ce0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0cf0: 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 \. *zOu
0d00: 74 2b 2b 20 3d 20 28 75 38 29 28 28 63 3e 3e 38 t++ = (u8)((c>>8
0d10: 29 26 30 78 30 30 46 46 29 3b 20 20 20 20 20 20 )&0x00FF);
0d20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0d30: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 \.
0d40: 7d 65 6c 73 65 7b 20 20 20 20 20 20 20 20 20 20 }else{
0d50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0d60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0d70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0d80: 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 \. *zOut++
0d90: 3d 20 28 75 38 29 28 28 28 63 3e 3e 31 30 29 26 = (u8)(((c>>10)&
0da0: 30 78 30 30 33 46 29 20 2b 20 28 28 28 63 2d 30 0x003F) + (((c-0
0db0: 78 31 30 30 30 30 29 3e 3e 31 30 29 26 30 78 30 x10000)>>10)&0x0
0dc0: 30 43 30 29 29 3b 20 20 5c 0a 20 20 20 20 2a 7a 0C0)); \. *z
0dd0: 4f 75 74 2b 2b 20 3d 20 28 75 38 29 28 30 78 30 Out++ = (u8)(0x0
0de0: 30 44 38 20 2b 20 28 28 28 63 2d 30 78 31 30 30 0D8 + (((c-0x100
0df0: 30 30 29 3e 3e 31 38 29 26 30 78 30 33 29 29 3b 00)>>18)&0x03));
0e00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a \.
0e10: 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 75 *zOut++ = (u
0e20: 38 29 28 63 26 30 78 30 30 46 46 29 3b 20 20 20 8)(c&0x00FF);
0e30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0e40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0e50: 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b \. *zOut+
0e60: 2b 20 3d 20 28 75 38 29 28 30 78 30 30 44 43 20 + = (u8)(0x00DC
0e70: 2b 20 28 28 63 3e 3e 38 29 26 30 78 30 33 29 29 + ((c>>8)&0x03))
0e80: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 ;
0e90: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 20 \. }
0ea0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0eb0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0ec0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0ed0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0ee0: 5c 0a 7d 0a 0a 23 64 65 66 69 6e 65 20 57 52 49 \.}..#define WRI
0ef0: 54 45 5f 55 54 46 31 36 42 45 28 7a 4f 75 74 2c TE_UTF16BE(zOut,
0f00: 20 63 29 20 7b 20 20 20 20 20 20 20 20 20 20 20 c) {
0f10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0f20: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 69 66 28 \. if(
0f30: 20 63 3c 3d 30 78 46 46 46 46 20 29 7b 20 20 20 c<=0xFFFF ){
0f40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0f50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0f60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c \
0f70: 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 . *zOut++ = (
0f80: 75 38 29 28 28 63 3e 3e 38 29 26 30 78 30 30 46 u8)((c>>8)&0x00F
0f90: 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 F);
0fa0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0fb0: 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 \. *zOut
0fc0: 2b 2b 20 3d 20 28 75 38 29 28 63 26 30 78 30 30 ++ = (u8)(c&0x00
0fd0: 46 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 FF);
0fe0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0ff0: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d \. }
1000: 65 6c 73 65 7b 20 20 20 20 20 20 20 20 20 20 20 else{
1010: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1020: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1030: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1040: 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d \. *zOut++ =
1050: 20 28 75 38 29 28 30 78 30 30 44 38 20 2b 20 28 (u8)(0x00D8 + (
1060: 28 28 63 2d 30 78 31 30 30 30 30 29 3e 3e 31 38 ((c-0x10000)>>18
1070: 29 26 30 78 30 33 29 29 3b 20 20 20 20 20 20 20 )&0x03));
1080: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f \. *zO
1090: 75 74 2b 2b 20 3d 20 28 75 38 29 28 28 28 63 3e ut++ = (u8)(((c>
10a0: 3e 31 30 29 26 30 78 30 30 33 46 29 20 2b 20 28 >10)&0x003F) + (
10b0: 28 28 63 2d 30 78 31 30 30 30 30 29 3e 3e 31 30 ((c-0x10000)>>10
10c0: 29 26 30 78 30 30 43 30 29 29 3b 20 20 5c 0a 20 )&0x00C0)); \.
10d0: 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 75 38 *zOut++ = (u8
10e0: 29 28 30 78 30 30 44 43 20 2b 20 28 28 63 3e 3e )(0x00DC + ((c>>
10f0: 38 29 26 30 78 30 33 29 29 3b 20 20 20 20 20 20 8)&0x03));
1100: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1110: 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b \. *zOut++
1120: 20 3d 20 28 75 38 29 28 63 26 30 78 30 30 46 46 = (u8)(c&0x00FF
1130: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 );
1140: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1150: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 20 20 \. }
1160: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1170: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1180: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1190: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c \
11a0: 0a 7d 0a 0a 23 64 65 66 69 6e 65 20 52 45 41 44 .}..#define READ
11b0: 5f 55 54 46 31 36 4c 45 28 7a 49 6e 2c 20 63 29 _UTF16LE(zIn, c)
11c0: 7b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 {
11d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
11e0: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 63 20 \. c
11f0: 3d 20 28 2a 7a 49 6e 2b 2b 29 3b 20 20 20 20 20 = (*zIn++);
1200: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1210: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1220: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1230: 20 20 5c 0a 20 20 63 20 2b 3d 20 28 28 2a 7a 49 \. c += ((*zI
1240: 6e 2b 2b 29 3c 3c 38 29 3b 20 20 20 20 20 20 20 n++)<<8);
1250: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1260: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1270: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 69 66 \. if
1280: 28 20 63 3e 3d 30 78 44 38 30 30 20 26 26 20 63 ( c>=0xD800 && c
1290: 3c 30 78 45 30 30 30 20 29 7b 20 20 20 20 20 20 <0xE000 ){
12a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
12b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
12c0: 20 20 5c 0a 20 20 20 20 69 6e 74 20 63 32 20 3d \. int c2 =
12d0: 20 28 2a 7a 49 6e 2b 2b 29 3b 20 20 20 20 20 20 (*zIn++);
12e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
12f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1300: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 \.
1310: 63 32 20 2b 3d 20 28 28 2a 7a 49 6e 2b 2b 29 3c c2 += ((*zIn++)<
1320: 3c 38 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 <8);
1330: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1340: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1350: 20 20 5c 0a 20 20 20 20 63 20 3d 20 28 63 32 26 \. c = (c2&
1360: 30 78 30 33 46 46 29 20 2b 20 28 28 63 26 30 78 0x03FF) + ((c&0x
1370: 30 30 33 46 29 3c 3c 31 30 29 20 2b 20 28 28 28 003F)<<10) + (((
1380: 63 26 30 78 30 33 43 30 29 2b 30 78 30 30 34 30 c&0x03C0)+0x0040
1390: 29 3c 3c 31 30 29 3b 20 20 20 5c 0a 20 20 7d 20 )<<10); \. }
13a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
13b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
13c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
13d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
13e0: 20 20 5c 0a 7d 0a 0a 23 64 65 66 69 6e 65 20 52 \.}..#define R
13f0: 45 41 44 5f 55 54 46 31 36 42 45 28 7a 49 6e 2c EAD_UTF16BE(zIn,
1400: 20 63 29 7b 20 20 20 20 20 20 20 20 20 20 20 20 c){
1410: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1420: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 \.
1430: 20 63 20 3d 20 28 28 2a 7a 49 6e 2b 2b 29 3c 3c c = ((*zIn++)<<
1440: 38 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 8);
1450: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1460: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1470: 20 20 20 20 20 5c 0a 20 20 63 20 2b 3d 20 28 2a \. c += (*
1480: 7a 49 6e 2b 2b 29 3b 20 20 20 20 20 20 20 20 20 zIn++);
1490: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
14a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
14b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 \.
14c0: 20 69 66 28 20 63 3e 3d 30 78 44 38 30 30 20 26 if( c>=0xD800 &
14d0: 26 20 63 3c 30 78 45 30 30 30 20 29 7b 20 20 20 & c<0xE000 ){
14e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
14f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1500: 20 20 20 20 20 5c 0a 20 20 20 20 69 6e 74 20 63 \. int c
1510: 32 20 3d 20 28 28 2a 7a 49 6e 2b 2b 29 3c 3c 38 2 = ((*zIn++)<<8
1520: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 );
1530: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1540: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 \.
1550: 20 20 20 63 32 20 2b 3d 20 28 2a 7a 49 6e 2b 2b c2 += (*zIn++
1560: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 );
1570: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1580: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1590: 20 20 20 20 20 5c 0a 20 20 20 20 63 20 3d 20 28 \. c = (
15a0: 63 32 26 30 78 30 33 46 46 29 20 2b 20 28 28 63 c2&0x03FF) + ((c
15b0: 26 30 78 30 30 33 46 29 3c 3c 31 30 29 20 2b 20 &0x003F)<<10) +
15c0: 28 28 28 63 26 30 78 30 33 43 30 29 2b 30 78 30 (((c&0x03C0)+0x0
15d0: 30 34 30 29 3c 3c 31 30 29 3b 20 20 20 5c 0a 20 040)<<10); \.
15e0: 20 7d 20 20 20 20 20 20 20 20 20 20 20 20 20 20 }
15f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1600: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1610: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1620: 20 20 20 20 20 5c 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 \.}../*.**
1630: 54 72 61 6e 73 6c 61 74 65 20 61 20 73 69 6e 67 Translate a sing
1640: 6c 65 20 55 54 46 2d 38 20 63 68 61 72 61 63 74 le UTF-8 charact
1650: 65 72 2e 20 20 52 65 74 75 72 6e 20 74 68 65 20 er. Return the
1660: 75 6e 69 63 6f 64 65 20 76 61 6c 75 65 2e 0a 2a unicode value..*
1670: 2a 0a 2a 2a 20 44 75 72 69 6e 67 20 74 72 61 6e *.** During tran
1680: 73 6c 61 74 69 6f 6e 2c 20 61 73 73 75 6d 65 20 slation, assume
1690: 74 68 61 74 20 74 68 65 20 62 79 74 65 20 74 68 that the byte th
16a0: 61 74 20 7a 54 65 72 6d 20 70 6f 69 6e 74 73 0a at zTerm points.
16b0: 2a 2a 20 69 73 20 61 20 30 78 30 30 2e 0a 2a 2a ** is a 0x00..**
16c0: 0a 2a 2a 20 57 72 69 74 65 20 61 20 70 6f 69 6e .** Write a poin
16d0: 74 65 72 20 74 6f 20 74 68 65 20 6e 65 78 74 20 ter to the next
16e0: 75 6e 72 65 61 64 20 62 79 74 65 20 62 61 63 6b unread byte back
16f0: 20 69 6e 74 6f 20 2a 70 7a 4e 65 78 74 2e 0a 2a into *pzNext..*
1700: 2a 0a 2a 2a 20 4e 6f 74 65 73 20 4f 6e 20 49 6e *.** Notes On In
1710: 76 61 6c 69 64 20 55 54 46 2d 38 3a 0a 2a 2a 0a valid UTF-8:.**.
1720: 2a 2a 20 20 2a 20 20 54 68 69 73 20 72 6f 75 74 ** * This rout
1730: 69 6e 65 20 6e 65 76 65 72 20 61 6c 6c 6f 77 73 ine never allows
1740: 20 61 20 37 2d 62 69 74 20 63 68 61 72 61 63 74 a 7-bit charact
1750: 65 72 20 28 30 78 30 30 20 74 68 72 6f 75 67 68 er (0x00 through
1760: 20 30 78 37 66 29 20 74 6f 0a 2a 2a 20 20 20 20 0x7f) to.**
1770: 20 62 65 20 65 6e 63 6f 64 65 64 20 61 73 20 61 be encoded as a
1780: 20 6d 75 6c 74 69 2d 62 79 74 65 20 63 68 61 72 multi-byte char
1790: 61 63 74 65 72 2e 20 20 41 6e 79 20 6d 75 6c 74 acter. Any mult
17a0: 69 2d 62 79 74 65 20 63 68 61 72 61 63 74 65 72 i-byte character
17b0: 20 74 68 61 74 0a 2a 2a 20 20 20 20 20 61 74 74 that.** att
17c0: 65 6d 70 74 73 20 74 6f 20 65 6e 63 6f 64 65 20 empts to encode
17d0: 61 20 76 61 6c 75 65 20 62 65 74 77 65 65 6e 20 a value between
17e0: 30 78 30 30 20 61 6e 64 20 30 78 37 66 20 69 73 0x00 and 0x7f is
17f0: 20 72 65 6e 64 65 72 65 64 20 61 73 20 30 78 66 rendered as 0xf
1800: 66 66 64 2e 0a 2a 2a 0a 2a 2a 20 20 2a 20 20 54 ffd..**.** * T
1810: 68 69 73 20 72 6f 75 74 69 6e 65 20 6e 65 76 65 his routine neve
1820: 72 20 61 6c 6c 6f 77 73 20 61 20 55 54 46 31 36 r allows a UTF16
1830: 20 73 75 72 72 6f 67 61 74 65 20 76 61 6c 75 65 surrogate value
1840: 20 74 6f 20 62 65 20 65 6e 63 6f 64 65 64 2e 0a to be encoded..
1850: 2a 2a 20 20 20 20 20 49 66 20 61 20 6d 75 6c 74 ** If a mult
1860: 69 2d 62 79 74 65 20 63 68 61 72 61 63 74 65 72 i-byte character
1870: 20 61 74 74 65 6d 70 74 73 20 74 6f 20 65 6e 63 attempts to enc
1880: 6f 64 65 20 61 20 76 61 6c 75 65 20 62 65 74 77 ode a value betw
1890: 65 65 6e 0a 2a 2a 20 20 20 20 20 30 78 64 38 30 een.** 0xd80
18a0: 30 20 61 6e 64 20 30 78 65 30 30 30 20 74 68 65 0 and 0xe000 the
18b0: 6e 20 69 74 20 69 73 20 72 65 6e 64 65 72 65 64 n it is rendered
18c0: 20 61 73 20 30 78 66 66 66 64 2e 0a 2a 2a 0a 2a as 0xfffd..**.*
18d0: 2a 20 20 2a 20 20 42 79 74 65 73 20 69 6e 20 74 * * Bytes in t
18e0: 68 65 20 72 61 6e 67 65 20 6f 66 20 30 78 38 30 he range of 0x80
18f0: 20 74 68 72 6f 75 67 68 20 30 78 62 66 20 77 68 through 0xbf wh
1900: 69 63 68 20 6f 63 63 75 72 20 61 73 20 74 68 65 ich occur as the
1910: 20 66 69 72 73 74 0a 2a 2a 20 20 20 20 20 62 79 first.** by
1920: 74 65 20 6f 66 20 61 20 63 68 61 72 61 63 74 65 te of a characte
1930: 72 20 61 72 65 20 69 6e 74 65 72 70 72 65 74 65 r are interprete
1940: 64 20 61 73 20 73 69 6e 67 6c 65 2d 62 79 74 65 d as single-byte
1950: 20 63 68 61 72 61 63 74 65 72 73 0a 2a 2a 20 20 characters.**
1960: 20 20 20 61 6e 64 20 72 65 6e 64 65 72 65 64 20 and rendered
1970: 61 73 20 74 68 65 6d 73 65 6c 76 65 73 20 65 76 as themselves ev
1980: 65 6e 20 74 68 6f 75 67 68 20 74 68 65 79 20 61 en though they a
1990: 72 65 20 74 65 63 68 6e 69 63 61 6c 6c 79 0a 2a re technically.*
19a0: 2a 20 20 20 20 20 69 6e 76 61 6c 69 64 20 63 68 * invalid ch
19b0: 61 72 61 63 74 65 72 73 2e 0a 2a 2a 0a 2a 2a 20 aracters..**.**
19c0: 20 2a 20 20 54 68 69 73 20 72 6f 75 74 69 6e 65 * This routine
19d0: 20 61 63 63 65 70 74 73 20 61 6e 20 69 6e 66 69 accepts an infi
19e0: 6e 69 74 65 20 6e 75 6d 62 65 72 20 6f 66 20 64 nite number of d
19f0: 69 66 66 65 72 65 6e 74 20 55 54 46 38 20 65 6e ifferent UTF8 en
1a00: 63 6f 64 69 6e 67 73 0a 2a 2a 20 20 20 20 20 66 codings.** f
1a10: 6f 72 20 75 6e 69 63 6f 64 65 20 76 61 6c 75 65 or unicode value
1a20: 73 20 30 78 38 30 20 61 6e 64 20 67 72 65 61 74 s 0x80 and great
1a30: 65 72 2e 20 20 49 74 20 64 6f 20 6e 6f 74 20 63 er. It do not c
1a40: 68 61 6e 67 65 20 6f 76 65 72 2d 6c 65 6e 67 74 hange over-lengt
1a50: 68 0a 2a 2a 20 20 20 20 20 65 6e 63 6f 64 69 6e h.** encodin
1a60: 67 73 20 74 6f 20 30 78 66 66 66 64 20 61 73 20 gs to 0xfffd as
1a70: 73 6f 6d 65 20 73 79 73 74 65 6d 73 20 72 65 63 some systems rec
1a80: 6f 6d 6d 65 6e 64 2e 0a 2a 2f 0a 23 64 65 66 69 ommend..*/.#defi
1a90: 6e 65 20 52 45 41 44 5f 55 54 46 38 28 7a 49 6e ne READ_UTF8(zIn
1aa0: 2c 20 7a 54 65 72 6d 2c 20 63 29 20 20 20 20 20 , zTerm, c)
1ab0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1ac0: 20 20 20 20 20 20 5c 0a 20 20 63 20 3d 20 2a 28 \. c = *(
1ad0: 7a 49 6e 2b 2b 29 3b 20 20 20 20 20 20 20 20 20 zIn++);
1ae0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1af0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1b00: 20 20 20 5c 0a 20 20 69 66 28 20 63 3e 3d 30 78 \. if( c>=0x
1b10: 63 30 20 29 7b 20 20 20 20 20 20 20 20 20 20 20 c0 ){
1b20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1b30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1b40: 5c 0a 20 20 20 20 63 20 3d 20 73 71 6c 69 74 65 \. c = sqlite
1b50: 33 55 74 66 38 54 72 61 6e 73 31 5b 63 2d 30 78 3Utf8Trans1[c-0x
1b60: 63 30 5d 3b 20 20 20 20 20 20 20 20 20 20 20 20 c0];
1b70: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 \.
1b80: 20 20 20 77 68 69 6c 65 28 20 7a 49 6e 21 3d 7a while( zIn!=z
1b90: 54 65 72 6d 20 26 26 20 28 2a 7a 49 6e 20 26 20 Term && (*zIn &
1ba0: 30 78 63 30 29 3d 3d 30 78 38 30 20 29 7b 20 20 0xc0)==0x80 ){
1bb0: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 \.
1bc0: 20 20 63 20 3d 20 28 63 3c 3c 36 29 20 2b 20 28 c = (c<<6) + (
1bd0: 30 78 33 66 20 26 20 2a 28 7a 49 6e 2b 2b 29 29 0x3f & *(zIn++))
1be0: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 ;
1bf0: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 7d 20 20 \. }
1c00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1c10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1c20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1c30: 20 20 20 20 5c 0a 20 20 20 20 69 66 28 20 63 3c \. if( c<
1c40: 30 78 38 30 20 20 20 20 20 20 20 20 20 20 20 20 0x80
1c50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1c60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1c70: 20 5c 0a 20 20 20 20 20 20 20 20 7c 7c 20 28 63 \. || (c
1c80: 26 30 78 46 46 46 46 46 38 30 30 29 3d 3d 30 78 &0xFFFFF800)==0x
1c90: 44 38 30 30 20 20 20 20 20 20 20 20 20 20 20 20 D800
1ca0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a \.
1cb0: 20 20 20 20 20 20 20 20 7c 7c 20 28 63 26 30 78 || (c&0x
1cc0: 46 46 46 46 46 46 46 45 29 3d 3d 30 78 46 46 46 FFFFFFFE)==0xFFF
1cd0: 45 20 29 7b 20 20 63 20 3d 20 30 78 46 46 46 44 E ){ c = 0xFFFD
1ce0: 3b 20 7d 20 20 20 20 20 20 20 20 5c 0a 20 20 7d ; } \. }
1cf0: 0a 69 6e 74 20 73 71 6c 69 74 65 33 55 74 66 38 .int sqlite3Utf8
1d00: 52 65 61 64 28 0a 20 20 63 6f 6e 73 74 20 75 6e Read(. const un
1d10: 73 69 67 6e 65 64 20 63 68 61 72 20 2a 7a 49 6e signed char *zIn
1d20: 2c 20 20 20 20 20 20 20 2f 2a 20 46 69 72 73 74 , /* First
1d30: 20 62 79 74 65 20 6f 66 20 55 54 46 2d 38 20 63 byte of UTF-8 c
1d40: 68 61 72 61 63 74 65 72 20 2a 2f 0a 20 20 63 6f haracter */. co
1d50: 6e 73 74 20 75 6e 73 69 67 6e 65 64 20 63 68 61 nst unsigned cha
1d60: 72 20 2a 2a 70 7a 4e 65 78 74 20 20 20 20 2f 2a r **pzNext /*
1d70: 20 57 72 69 74 65 20 66 69 72 73 74 20 62 79 74 Write first byt
1d80: 65 20 70 61 73 74 20 55 54 46 2d 38 20 63 68 61 e past UTF-8 cha
1d90: 72 20 68 65 72 65 20 2a 2f 0a 29 7b 0a 20 20 69 r here */.){. i
1da0: 6e 74 20 63 3b 0a 0a 20 20 2f 2a 20 53 61 6d 65 nt c;.. /* Same
1db0: 20 61 73 20 52 45 41 44 5f 55 54 46 38 28 29 20 as READ_UTF8()
1dc0: 61 62 6f 76 65 20 62 75 74 20 77 69 74 68 6f 75 above but withou
1dd0: 74 20 74 68 65 20 7a 54 65 72 6d 20 70 61 72 61 t the zTerm para
1de0: 6d 65 74 65 72 2e 0a 20 20 2a 2a 20 46 6f 72 20 meter.. ** For
1df0: 74 68 69 73 20 72 6f 75 74 69 6e 65 2c 20 77 65 this routine, we
1e00: 20 61 73 73 75 6d 65 20 74 68 65 20 55 54 46 38 assume the UTF8
1e10: 20 73 74 72 69 6e 67 20 69 73 20 61 6c 77 61 79 string is alway
1e20: 73 20 7a 65 72 6f 2d 74 65 72 6d 69 6e 61 74 65 s zero-terminate
1e30: 64 2e 0a 20 20 2a 2f 0a 20 20 63 20 3d 20 2a 28 d.. */. c = *(
1e40: 7a 49 6e 2b 2b 29 3b 0a 20 20 69 66 28 20 63 3e zIn++);. if( c>
1e50: 3d 30 78 63 30 20 29 7b 0a 20 20 20 20 63 20 3d =0xc0 ){. c =
1e60: 20 73 71 6c 69 74 65 33 55 74 66 38 54 72 61 6e sqlite3Utf8Tran
1e70: 73 31 5b 63 2d 30 78 63 30 5d 3b 0a 20 20 20 20 s1[c-0xc0];.
1e80: 77 68 69 6c 65 28 20 28 2a 7a 49 6e 20 26 20 30 while( (*zIn & 0
1e90: 78 63 30 29 3d 3d 30 78 38 30 20 29 7b 0a 20 20 xc0)==0x80 ){.
1ea0: 20 20 20 20 63 20 3d 20 28 63 3c 3c 36 29 20 2b c = (c<<6) +
1eb0: 20 28 30 78 33 66 20 26 20 2a 28 7a 49 6e 2b 2b (0x3f & *(zIn++
1ec0: 29 29 3b 0a 20 20 20 20 7d 0a 20 20 20 20 69 66 ));. }. if
1ed0: 28 20 63 3c 30 78 38 30 0a 20 20 20 20 20 20 20 ( c<0x80.
1ee0: 20 7c 7c 20 28 63 26 30 78 46 46 46 46 46 38 30 || (c&0xFFFFF80
1ef0: 30 29 3d 3d 30 78 44 38 30 30 0a 20 20 20 20 20 0)==0xD800.
1f00: 20 20 20 7c 7c 20 28 63 26 30 78 46 46 46 46 46 || (c&0xFFFFF
1f10: 46 46 45 29 3d 3d 30 78 46 46 46 45 20 29 7b 20 FFE)==0xFFFE ){
1f20: 20 63 20 3d 20 30 78 46 46 46 44 3b 20 7d 0a 20 c = 0xFFFD; }.
1f30: 20 7d 0a 20 20 2a 70 7a 4e 65 78 74 20 3d 20 7a }. *pzNext = z
1f40: 49 6e 3b 0a 20 20 72 65 74 75 72 6e 20 63 3b 0a In;. return c;.
1f50: 7d 0a 0a 0a 0a 0a 2f 2a 0a 2a 2a 20 49 66 20 74 }...../*.** If t
1f60: 68 65 20 54 52 41 4e 53 4c 41 54 45 5f 54 52 41 he TRANSLATE_TRA
1f70: 43 45 20 6d 61 63 72 6f 20 69 73 20 64 65 66 69 CE macro is defi
1f80: 6e 65 64 2c 20 74 68 65 20 76 61 6c 75 65 20 6f ned, the value o
1f90: 66 20 65 61 63 68 20 4d 65 6d 20 69 73 0a 2a 2a f each Mem is.**
1fa0: 20 70 72 69 6e 74 65 64 20 6f 6e 20 73 74 64 65 printed on stde
1fb0: 72 72 20 6f 6e 20 74 68 65 20 77 61 79 20 69 6e rr on the way in
1fc0: 74 6f 20 61 6e 64 20 6f 75 74 20 6f 66 20 73 71 to and out of sq
1fd0: 6c 69 74 65 33 56 64 62 65 4d 65 6d 54 72 61 6e lite3VdbeMemTran
1fe0: 73 6c 61 74 65 28 29 2e 0a 2a 2f 20 0a 2f 2a 20 slate()..*/ ./*
1ff0: 23 64 65 66 69 6e 65 20 54 52 41 4e 53 4c 41 54 #define TRANSLAT
2000: 45 5f 54 52 41 43 45 20 31 20 2a 2f 0a 0a 23 69 E_TRACE 1 */..#i
2010: 66 6e 64 65 66 20 53 51 4c 49 54 45 5f 4f 4d 49 fndef SQLITE_OMI
2020: 54 5f 55 54 46 31 36 0a 2f 2a 0a 2a 2a 20 54 68 T_UTF16./*.** Th
2030: 69 73 20 72 6f 75 74 69 6e 65 20 74 72 61 6e 73 is routine trans
2040: 66 6f 72 6d 73 20 74 68 65 20 69 6e 74 65 72 6e forms the intern
2050: 61 6c 20 74 65 78 74 20 65 6e 63 6f 64 69 6e 67 al text encoding
2060: 20 75 73 65 64 20 62 79 20 70 4d 65 6d 20 74 6f used by pMem to
2070: 0a 2a 2a 20 64 65 73 69 72 65 64 45 6e 63 2e 20 .** desiredEnc.
2080: 49 74 20 69 73 20 61 6e 20 65 72 72 6f 72 20 69 It is an error i
2090: 66 20 74 68 65 20 73 74 72 69 6e 67 20 69 73 20 f the string is
20a0: 61 6c 72 65 61 64 79 20 6f 66 20 74 68 65 20 64 already of the d
20b0: 65 73 69 72 65 64 0a 2a 2a 20 65 6e 63 6f 64 69 esired.** encodi
20c0: 6e 67 2c 20 6f 72 20 69 66 20 2a 70 4d 65 6d 20 ng, or if *pMem
20d0: 64 6f 65 73 20 6e 6f 74 20 63 6f 6e 74 61 69 6e does not contain
20e0: 20 61 20 73 74 72 69 6e 67 20 76 61 6c 75 65 2e a string value.
20f0: 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 56 .*/.int sqlite3V
2100: 64 62 65 4d 65 6d 54 72 61 6e 73 6c 61 74 65 28 dbeMemTranslate(
2110: 4d 65 6d 20 2a 70 4d 65 6d 2c 20 75 38 20 64 65 Mem *pMem, u8 de
2120: 73 69 72 65 64 45 6e 63 29 7b 0a 20 20 69 6e 74 siredEnc){. int
2130: 20 6c 65 6e 3b 20 20 20 20 20 20 20 20 20 20 20 len;
2140: 20 20 20 20 20 20 20 20 20 2f 2a 20 4d 61 78 69 /* Maxi
2150: 6d 75 6d 20 6c 65 6e 67 74 68 20 6f 66 20 6f 75 mum length of ou
2160: 74 70 75 74 20 73 74 72 69 6e 67 20 69 6e 20 62 tput string in b
2170: 79 74 65 73 20 2a 2f 0a 20 20 75 6e 73 69 67 6e ytes */. unsign
2180: 65 64 20 63 68 61 72 20 2a 7a 4f 75 74 3b 20 20 ed char *zOut;
2190: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
21a0: 2f 2a 20 4f 75 74 70 75 74 20 62 75 66 66 65 72 /* Output buffer
21b0: 20 2a 2f 0a 20 20 75 6e 73 69 67 6e 65 64 20 63 */. unsigned c
21c0: 68 61 72 20 2a 7a 49 6e 3b 20 20 20 20 20 20 20 har *zIn;
21d0: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 49 /* I
21e0: 6e 70 75 74 20 69 74 65 72 61 74 6f 72 20 2a 2f nput iterator */
21f0: 0a 20 20 75 6e 73 69 67 6e 65 64 20 63 68 61 72 . unsigned char
2200: 20 2a 7a 54 65 72 6d 3b 20 20 20 20 20 20 20 20 *zTerm;
2210: 20 20 20 20 20 20 20 20 20 2f 2a 20 45 6e 64 20 /* End
2220: 6f 66 20 69 6e 70 75 74 20 2a 2f 0a 20 20 75 6e of input */. un
2230: 73 69 67 6e 65 64 20 63 68 61 72 20 2a 7a 3b 20 signed char *z;
2240: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
2250: 20 20 20 20 2f 2a 20 4f 75 74 70 75 74 20 69 74 /* Output it
2260: 65 72 61 74 6f 72 20 2a 2f 0a 20 20 75 6e 73 69 erator */. unsi
2270: 67 6e 65 64 20 69 6e 74 20 63 3b 0a 0a 20 20 61 gned int c;.. a
2280: 73 73 65 72 74 28 20 70 4d 65 6d 2d 3e 64 62 3d ssert( pMem->db=
2290: 3d 30 20 7c 7c 20 73 71 6c 69 74 65 33 5f 6d 75 =0 || sqlite3_mu
22a0: 74 65 78 5f 68 65 6c 64 28 70 4d 65 6d 2d 3e 64 tex_held(pMem->d
22b0: 62 2d 3e 6d 75 74 65 78 29 20 29 3b 0a 20 20 61 b->mutex) );. a
22c0: 73 73 65 72 74 28 20 70 4d 65 6d 2d 3e 66 6c 61 ssert( pMem->fla
22d0: 67 73 26 4d 45 4d 5f 53 74 72 20 29 3b 0a 20 20 gs&MEM_Str );.
22e0: 61 73 73 65 72 74 28 20 70 4d 65 6d 2d 3e 65 6e assert( pMem->en
22f0: 63 21 3d 64 65 73 69 72 65 64 45 6e 63 20 29 3b c!=desiredEnc );
2300: 0a 20 20 61 73 73 65 72 74 28 20 70 4d 65 6d 2d . assert( pMem-
2310: 3e 65 6e 63 21 3d 30 20 29 3b 0a 20 20 61 73 73 >enc!=0 );. ass
2320: 65 72 74 28 20 70 4d 65 6d 2d 3e 6e 3e 3d 30 20 ert( pMem->n>=0
2330: 29 3b 0a 0a 23 69 66 20 64 65 66 69 6e 65 64 28 );..#if defined(
2340: 54 52 41 4e 53 4c 41 54 45 5f 54 52 41 43 45 29 TRANSLATE_TRACE)
2350: 20 26 26 20 64 65 66 69 6e 65 64 28 53 51 4c 49 && defined(SQLI
2360: 54 45 5f 44 45 42 55 47 29 0a 20 20 7b 0a 20 20 TE_DEBUG). {.
2370: 20 20 63 68 61 72 20 7a 42 75 66 5b 31 30 30 5d char zBuf[100]
2380: 3b 0a 20 20 20 20 73 71 6c 69 74 65 33 56 64 62 ;. sqlite3Vdb
2390: 65 4d 65 6d 50 72 65 74 74 79 50 72 69 6e 74 28 eMemPrettyPrint(
23a0: 70 4d 65 6d 2c 20 7a 42 75 66 29 3b 0a 20 20 20 pMem, zBuf);.
23b0: 20 66 70 72 69 6e 74 66 28 73 74 64 65 72 72 2c fprintf(stderr,
23c0: 20 22 49 4e 50 55 54 3a 20 20 25 73 5c 6e 22 2c "INPUT: %s\n",
23d0: 20 7a 42 75 66 29 3b 0a 20 20 7d 0a 23 65 6e 64 zBuf);. }.#end
23e0: 69 66 0a 0a 20 20 2f 2a 20 49 66 20 74 68 65 20 if.. /* If the
23f0: 74 72 61 6e 73 6c 61 74 69 6f 6e 20 69 73 20 62 translation is b
2400: 65 74 77 65 65 6e 20 55 54 46 2d 31 36 20 6c 69 etween UTF-16 li
2410: 74 74 6c 65 20 61 6e 64 20 62 69 67 20 65 6e 64 ttle and big end
2420: 69 61 6e 2c 20 74 68 65 6e 20 0a 20 20 2a 2a 20 ian, then . **
2430: 61 6c 6c 20 74 68 61 74 20 69 73 20 72 65 71 75 all that is requ
2440: 69 72 65 64 20 69 73 20 74 6f 20 73 77 61 70 20 ired is to swap
2450: 74 68 65 20 62 79 74 65 20 6f 72 64 65 72 2e 20 the byte order.
2460: 54 68 69 73 20 63 61 73 65 20 69 73 20 68 61 6e This case is han
2470: 64 6c 65 64 0a 20 20 2a 2a 20 64 69 66 66 65 72 dled. ** differ
2480: 65 6e 74 6c 79 20 66 72 6f 6d 20 74 68 65 20 6f ently from the o
2490: 74 68 65 72 73 2e 0a 20 20 2a 2f 0a 20 20 69 66 thers.. */. if
24a0: 28 20 70 4d 65 6d 2d 3e 65 6e 63 21 3d 53 51 4c ( pMem->enc!=SQL
24b0: 49 54 45 5f 55 54 46 38 20 26 26 20 64 65 73 69 ITE_UTF8 && desi
24c0: 72 65 64 45 6e 63 21 3d 53 51 4c 49 54 45 5f 55 redEnc!=SQLITE_U
24d0: 54 46 38 20 29 7b 0a 20 20 20 20 75 38 20 74 65 TF8 ){. u8 te
24e0: 6d 70 3b 0a 20 20 20 20 69 6e 74 20 72 63 3b 0a mp;. int rc;.
24f0: 20 20 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33 rc = sqlite3
2500: 56 64 62 65 4d 65 6d 4d 61 6b 65 57 72 69 74 65 VdbeMemMakeWrite
2510: 61 62 6c 65 28 70 4d 65 6d 29 3b 0a 20 20 20 20 able(pMem);.
2520: 69 66 28 20 72 63 21 3d 53 51 4c 49 54 45 5f 4f if( rc!=SQLITE_O
2530: 4b 20 29 7b 0a 20 20 20 20 20 20 61 73 73 65 72 K ){. asser
2540: 74 28 20 72 63 3d 3d 53 51 4c 49 54 45 5f 4e 4f t( rc==SQLITE_NO
2550: 4d 45 4d 20 29 3b 0a 20 20 20 20 20 20 72 65 74 MEM );. ret
2560: 75 72 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d urn SQLITE_NOMEM
2570: 3b 0a 20 20 20 20 7d 0a 20 20 20 20 7a 49 6e 20 ;. }. zIn
2580: 3d 20 28 75 38 2a 29 70 4d 65 6d 2d 3e 7a 3b 0a = (u8*)pMem->z;.
2590: 20 20 20 20 7a 54 65 72 6d 20 3d 20 26 7a 49 6e zTerm = &zIn
25a0: 5b 70 4d 65 6d 2d 3e 6e 26 7e 31 5d 3b 0a 20 20 [pMem->n&~1];.
25b0: 20 20 77 68 69 6c 65 28 20 7a 49 6e 3c 7a 54 65 while( zIn<zTe
25c0: 72 6d 20 29 7b 0a 20 20 20 20 20 20 74 65 6d 70 rm ){. temp
25d0: 20 3d 20 2a 7a 49 6e 3b 0a 20 20 20 20 20 20 2a = *zIn;. *
25e0: 7a 49 6e 20 3d 20 2a 28 7a 49 6e 2b 31 29 3b 0a zIn = *(zIn+1);.
25f0: 20 20 20 20 20 20 7a 49 6e 2b 2b 3b 0a 20 20 20 zIn++;.
2600: 20 20 20 2a 7a 49 6e 2b 2b 20 3d 20 74 65 6d 70 *zIn++ = temp
2610: 3b 0a 20 20 20 20 7d 0a 20 20 20 20 70 4d 65 6d ;. }. pMem
2620: 2d 3e 65 6e 63 20 3d 20 64 65 73 69 72 65 64 45 ->enc = desiredE
2630: 6e 63 3b 0a 20 20 20 20 67 6f 74 6f 20 74 72 61 nc;. goto tra
2640: 6e 73 6c 61 74 65 5f 6f 75 74 3b 0a 20 20 7d 0a nslate_out;. }.
2650: 0a 20 20 2f 2a 20 53 65 74 20 6c 65 6e 20 74 6f . /* Set len to
2660: 20 74 68 65 20 6d 61 78 69 6d 75 6d 20 6e 75 6d the maximum num
2670: 62 65 72 20 6f 66 20 62 79 74 65 73 20 72 65 71 ber of bytes req
2680: 75 69 72 65 64 20 69 6e 20 74 68 65 20 6f 75 74 uired in the out
2690: 70 75 74 20 62 75 66 66 65 72 2e 20 2a 2f 0a 20 put buffer. */.
26a0: 20 69 66 28 20 64 65 73 69 72 65 64 45 6e 63 3d if( desiredEnc=
26b0: 3d 53 51 4c 49 54 45 5f 55 54 46 38 20 29 7b 0a =SQLITE_UTF8 ){.
26c0: 20 20 20 20 2f 2a 20 57 68 65 6e 20 63 6f 6e 76 /* When conv
26d0: 65 72 74 69 6e 67 20 66 72 6f 6d 20 55 54 46 2d erting from UTF-
26e0: 31 36 2c 20 74 68 65 20 6d 61 78 69 6d 75 6d 20 16, the maximum
26f0: 67 72 6f 77 74 68 20 72 65 73 75 6c 74 73 20 66 growth results f
2700: 72 6f 6d 0a 20 20 20 20 2a 2a 20 74 72 61 6e 73 rom. ** trans
2710: 6c 61 74 69 6e 67 20 61 20 32 2d 62 79 74 65 20 lating a 2-byte
2720: 63 68 61 72 61 63 74 65 72 20 74 6f 20 61 20 34 character to a 4
2730: 2d 62 79 74 65 20 55 54 46 2d 38 20 63 68 61 72 -byte UTF-8 char
2740: 61 63 74 65 72 2e 0a 20 20 20 20 2a 2a 20 41 20 acter.. ** A
2750: 73 69 6e 67 6c 65 20 62 79 74 65 20 69 73 20 72 single byte is r
2760: 65 71 75 69 72 65 64 20 66 6f 72 20 74 68 65 20 equired for the
2770: 6f 75 74 70 75 74 20 73 74 72 69 6e 67 0a 20 20 output string.
2780: 20 20 2a 2a 20 6e 75 6c 2d 74 65 72 6d 69 6e 61 ** nul-termina
2790: 74 6f 72 2e 0a 20 20 20 20 2a 2f 0a 20 20 20 20 tor.. */.
27a0: 70 4d 65 6d 2d 3e 6e 20 26 3d 20 7e 31 3b 0a 20 pMem->n &= ~1;.
27b0: 20 20 20 6c 65 6e 20 3d 20 70 4d 65 6d 2d 3e 6e len = pMem->n
27c0: 20 2a 20 32 20 2b 20 31 3b 0a 20 20 7d 65 6c 73 * 2 + 1;. }els
27d0: 65 7b 0a 20 20 20 20 2f 2a 20 57 68 65 6e 20 63 e{. /* When c
27e0: 6f 6e 76 65 72 74 69 6e 67 20 66 72 6f 6d 20 55 onverting from U
27f0: 54 46 2d 38 20 74 6f 20 55 54 46 2d 31 36 20 74 TF-8 to UTF-16 t
2800: 68 65 20 6d 61 78 69 6d 75 6d 20 67 72 6f 77 74 he maximum growt
2810: 68 20 69 73 20 63 61 75 73 65 64 0a 20 20 20 20 h is caused.
2820: 2a 2a 20 77 68 65 6e 20 61 20 31 2d 62 79 74 65 ** when a 1-byte
2830: 20 55 54 46 2d 38 20 63 68 61 72 61 63 74 65 72 UTF-8 character
2840: 20 69 73 20 74 72 61 6e 73 6c 61 74 65 64 20 69 is translated i
2850: 6e 74 6f 20 61 20 32 2d 62 79 74 65 20 55 54 46 nto a 2-byte UTF
2860: 2d 31 36 0a 20 20 20 20 2a 2a 20 63 68 61 72 61 -16. ** chara
2870: 63 74 65 72 2e 20 54 77 6f 20 62 79 74 65 73 20 cter. Two bytes
2880: 61 72 65 20 72 65 71 75 69 72 65 64 20 69 6e 20 are required in
2890: 74 68 65 20 6f 75 74 70 75 74 20 62 75 66 66 65 the output buffe
28a0: 72 20 66 6f 72 20 74 68 65 0a 20 20 20 20 2a 2a r for the. **
28b0: 20 6e 75 6c 2d 74 65 72 6d 69 6e 61 74 6f 72 2e nul-terminator.
28c0: 0a 20 20 20 20 2a 2f 0a 20 20 20 20 6c 65 6e 20 . */. len
28d0: 3d 20 70 4d 65 6d 2d 3e 6e 20 2a 20 32 20 2b 20 = pMem->n * 2 +
28e0: 32 3b 0a 20 20 7d 0a 0a 20 20 2f 2a 20 53 65 74 2;. }.. /* Set
28f0: 20 7a 49 6e 20 74 6f 20 70 6f 69 6e 74 20 61 74 zIn to point at
2900: 20 74 68 65 20 73 74 61 72 74 20 6f 66 20 74 68 the start of th
2910: 65 20 69 6e 70 75 74 20 62 75 66 66 65 72 20 61 e input buffer a
2920: 6e 64 20 7a 54 65 72 6d 20 74 6f 20 70 6f 69 6e nd zTerm to poin
2930: 74 20 31 0a 20 20 2a 2a 20 62 79 74 65 20 70 61 t 1. ** byte pa
2940: 73 74 20 74 68 65 20 65 6e 64 2e 0a 20 20 2a 2a st the end.. **
2950: 0a 20 20 2a 2a 20 56 61 72 69 61 62 6c 65 20 7a . ** Variable z
2960: 4f 75 74 20 69 73 20 73 65 74 20 74 6f 20 70 6f Out is set to po
2970: 69 6e 74 20 61 74 20 74 68 65 20 6f 75 74 70 75 int at the outpu
2980: 74 20 62 75 66 66 65 72 2c 20 73 70 61 63 65 20 t buffer, space
2990: 6f 62 74 61 69 6e 65 64 0a 20 20 2a 2a 20 66 72 obtained. ** fr
29a0: 6f 6d 20 73 71 6c 69 74 65 33 5f 6d 61 6c 6c 6f om sqlite3_mallo
29b0: 63 28 29 2e 0a 20 20 2a 2f 0a 20 20 7a 49 6e 20 c().. */. zIn
29c0: 3d 20 28 75 38 2a 29 70 4d 65 6d 2d 3e 7a 3b 0a = (u8*)pMem->z;.
29d0: 20 20 7a 54 65 72 6d 20 3d 20 26 7a 49 6e 5b 70 zTerm = &zIn[p
29e0: 4d 65 6d 2d 3e 6e 5d 3b 0a 20 20 7a 4f 75 74 20 Mem->n];. zOut
29f0: 3d 20 73 71 6c 69 74 65 33 44 62 4d 61 6c 6c 6f = sqlite3DbMallo
2a00: 63 52 61 77 28 70 4d 65 6d 2d 3e 64 62 2c 20 6c cRaw(pMem->db, l
2a10: 65 6e 29 3b 0a 20 20 69 66 28 20 21 7a 4f 75 74 en);. if( !zOut
2a20: 20 29 7b 0a 20 20 20 20 72 65 74 75 72 6e 20 53 ){. return S
2a30: 51 4c 49 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20 7d QLITE_NOMEM;. }
2a40: 0a 20 20 7a 20 3d 20 7a 4f 75 74 3b 0a 0a 20 20 . z = zOut;..
2a50: 69 66 28 20 70 4d 65 6d 2d 3e 65 6e 63 3d 3d 53 if( pMem->enc==S
2a60: 51 4c 49 54 45 5f 55 54 46 38 20 29 7b 0a 20 20 QLITE_UTF8 ){.
2a70: 20 20 69 66 28 20 64 65 73 69 72 65 64 45 6e 63 if( desiredEnc
2a80: 3d 3d 53 51 4c 49 54 45 5f 55 54 46 31 36 4c 45 ==SQLITE_UTF16LE
2a90: 20 29 7b 0a 20 20 20 20 20 20 2f 2a 20 55 54 46 ){. /* UTF
2aa0: 2d 38 20 2d 3e 20 55 54 46 2d 31 36 20 4c 69 74 -8 -> UTF-16 Lit
2ab0: 74 6c 65 2d 65 6e 64 69 61 6e 20 2a 2f 0a 20 20 tle-endian */.
2ac0: 20 20 20 20 77 68 69 6c 65 28 20 7a 49 6e 3c 7a while( zIn<z
2ad0: 54 65 72 6d 20 29 7b 0a 20 20 20 20 20 20 20 20 Term ){.
2ae0: 2f 2a 20 63 20 3d 20 73 71 6c 69 74 65 33 55 74 /* c = sqlite3Ut
2af0: 66 38 52 65 61 64 28 7a 49 6e 2c 20 7a 54 65 72 f8Read(zIn, zTer
2b00: 6d 2c 20 28 63 6f 6e 73 74 20 75 38 2a 2a 29 26 m, (const u8**)&
2b10: 7a 49 6e 29 3b 20 2a 2f 0a 20 20 20 20 20 20 20 zIn); */.
2b20: 20 52 45 41 44 5f 55 54 46 38 28 7a 49 6e 2c 20 READ_UTF8(zIn,
2b30: 7a 54 65 72 6d 2c 20 63 29 3b 0a 20 20 20 20 20 zTerm, c);.
2b40: 20 20 20 57 52 49 54 45 5f 55 54 46 31 36 4c 45 WRITE_UTF16LE
2b50: 28 7a 2c 20 63 29 3b 0a 20 20 20 20 20 20 7d 0a (z, c);. }.
2b60: 20 20 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 20 }else{.
2b70: 20 61 73 73 65 72 74 28 20 64 65 73 69 72 65 64 assert( desired
2b80: 45 6e 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46 31 Enc==SQLITE_UTF1
2b90: 36 42 45 20 29 3b 0a 20 20 20 20 20 20 2f 2a 20 6BE );. /*
2ba0: 55 54 46 2d 38 20 2d 3e 20 55 54 46 2d 31 36 20 UTF-8 -> UTF-16
2bb0: 42 69 67 2d 65 6e 64 69 61 6e 20 2a 2f 0a 20 20 Big-endian */.
2bc0: 20 20 20 20 77 68 69 6c 65 28 20 7a 49 6e 3c 7a while( zIn<z
2bd0: 54 65 72 6d 20 29 7b 0a 20 20 20 20 20 20 20 20 Term ){.
2be0: 2f 2a 20 63 20 3d 20 73 71 6c 69 74 65 33 55 74 /* c = sqlite3Ut
2bf0: 66 38 52 65 61 64 28 7a 49 6e 2c 20 7a 54 65 72 f8Read(zIn, zTer
2c00: 6d 2c 20 28 63 6f 6e 73 74 20 75 38 2a 2a 29 26 m, (const u8**)&
2c10: 7a 49 6e 29 3b 20 2a 2f 0a 20 20 20 20 20 20 20 zIn); */.
2c20: 20 52 45 41 44 5f 55 54 46 38 28 7a 49 6e 2c 20 READ_UTF8(zIn,
2c30: 7a 54 65 72 6d 2c 20 63 29 3b 0a 20 20 20 20 20 zTerm, c);.
2c40: 20 20 20 57 52 49 54 45 5f 55 54 46 31 36 42 45 WRITE_UTF16BE
2c50: 28 7a 2c 20 63 29 3b 0a 20 20 20 20 20 20 7d 0a (z, c);. }.
2c60: 20 20 20 20 7d 0a 20 20 20 20 70 4d 65 6d 2d 3e }. pMem->
2c70: 6e 20 3d 20 28 69 6e 74 29 28 7a 20 2d 20 7a 4f n = (int)(z - zO
2c80: 75 74 29 3b 0a 20 20 20 20 2a 7a 2b 2b 20 3d 20 ut);. *z++ =
2c90: 30 3b 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 0;. }else{.
2ca0: 61 73 73 65 72 74 28 20 64 65 73 69 72 65 64 45 assert( desiredE
2cb0: 6e 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46 38 20 nc==SQLITE_UTF8
2cc0: 29 3b 0a 20 20 20 20 69 66 28 20 70 4d 65 6d 2d );. if( pMem-
2cd0: 3e 65 6e 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46 >enc==SQLITE_UTF
2ce0: 31 36 4c 45 20 29 7b 0a 20 20 20 20 20 20 2f 2a 16LE ){. /*
2cf0: 20 55 54 46 2d 31 36 20 4c 69 74 74 6c 65 2d 65 UTF-16 Little-e
2d00: 6e 64 69 61 6e 20 2d 3e 20 55 54 46 2d 38 20 2a ndian -> UTF-8 *
2d10: 2f 0a 20 20 20 20 20 20 77 68 69 6c 65 28 20 7a /. while( z
2d20: 49 6e 3c 7a 54 65 72 6d 20 29 7b 0a 20 20 20 20 In<zTerm ){.
2d30: 20 20 20 20 52 45 41 44 5f 55 54 46 31 36 4c 45 READ_UTF16LE
2d40: 28 7a 49 6e 2c 20 63 29 3b 20 0a 20 20 20 20 20 (zIn, c); .
2d50: 20 20 20 57 52 49 54 45 5f 55 54 46 38 28 7a 2c WRITE_UTF8(z,
2d60: 20 63 29 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20 c);. }.
2d70: 20 7d 65 6c 73 65 7b 0a 20 20 20 20 20 20 2f 2a }else{. /*
2d80: 20 55 54 46 2d 31 36 20 42 69 67 2d 65 6e 64 69 UTF-16 Big-endi
2d90: 61 6e 20 2d 3e 20 55 54 46 2d 38 20 2a 2f 0a 20 an -> UTF-8 */.
2da0: 20 20 20 20 20 77 68 69 6c 65 28 20 7a 49 6e 3c while( zIn<
2db0: 7a 54 65 72 6d 20 29 7b 0a 20 20 20 20 20 20 20 zTerm ){.
2dc0: 20 52 45 41 44 5f 55 54 46 31 36 42 45 28 7a 49 READ_UTF16BE(zI
2dd0: 6e 2c 20 63 29 3b 20 0a 20 20 20 20 20 20 20 20 n, c); .
2de0: 57 52 49 54 45 5f 55 54 46 38 28 7a 2c 20 63 29 WRITE_UTF8(z, c)
2df0: 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20 20 7d 0a ;. }. }.
2e00: 20 20 20 20 70 4d 65 6d 2d 3e 6e 20 3d 20 28 69 pMem->n = (i
2e10: 6e 74 29 28 7a 20 2d 20 7a 4f 75 74 29 3b 0a 20 nt)(z - zOut);.
2e20: 20 7d 0a 20 20 2a 7a 20 3d 20 30 3b 0a 20 20 61 }. *z = 0;. a
2e30: 73 73 65 72 74 28 20 28 70 4d 65 6d 2d 3e 6e 2b ssert( (pMem->n+
2e40: 28 64 65 73 69 72 65 64 45 6e 63 3d 3d 53 51 4c (desiredEnc==SQL
2e50: 49 54 45 5f 55 54 46 38 3f 31 3a 32 29 29 3c 3d ITE_UTF8?1:2))<=
2e60: 6c 65 6e 20 29 3b 0a 0a 20 20 73 71 6c 69 74 65 len );.. sqlite
2e70: 33 56 64 62 65 4d 65 6d 52 65 6c 65 61 73 65 28 3VdbeMemRelease(
2e80: 70 4d 65 6d 29 3b 0a 20 20 70 4d 65 6d 2d 3e 66 pMem);. pMem->f
2e90: 6c 61 67 73 20 26 3d 20 7e 28 4d 45 4d 5f 53 74 lags &= ~(MEM_St
2ea0: 61 74 69 63 7c 4d 45 4d 5f 44 79 6e 7c 4d 45 4d atic|MEM_Dyn|MEM
2eb0: 5f 45 70 68 65 6d 29 3b 0a 20 20 70 4d 65 6d 2d _Ephem);. pMem-
2ec0: 3e 65 6e 63 20 3d 20 64 65 73 69 72 65 64 45 6e >enc = desiredEn
2ed0: 63 3b 0a 20 20 70 4d 65 6d 2d 3e 66 6c 61 67 73 c;. pMem->flags
2ee0: 20 7c 3d 20 28 4d 45 4d 5f 54 65 72 6d 7c 4d 45 |= (MEM_Term|ME
2ef0: 4d 5f 44 79 6e 29 3b 0a 20 20 70 4d 65 6d 2d 3e M_Dyn);. pMem->
2f00: 7a 20 3d 20 28 63 68 61 72 2a 29 7a 4f 75 74 3b z = (char*)zOut;
2f10: 0a 20 20 70 4d 65 6d 2d 3e 7a 4d 61 6c 6c 6f 63 . pMem->zMalloc
2f20: 20 3d 20 70 4d 65 6d 2d 3e 7a 3b 0a 0a 74 72 61 = pMem->z;..tra
2f30: 6e 73 6c 61 74 65 5f 6f 75 74 3a 0a 23 69 66 20 nslate_out:.#if
2f40: 64 65 66 69 6e 65 64 28 54 52 41 4e 53 4c 41 54 defined(TRANSLAT
2f50: 45 5f 54 52 41 43 45 29 20 26 26 20 64 65 66 69 E_TRACE) && defi
2f60: 6e 65 64 28 53 51 4c 49 54 45 5f 44 45 42 55 47 ned(SQLITE_DEBUG
2f70: 29 0a 20 20 7b 0a 20 20 20 20 63 68 61 72 20 7a ). {. char z
2f80: 42 75 66 5b 31 30 30 5d 3b 0a 20 20 20 20 73 71 Buf[100];. sq
2f90: 6c 69 74 65 33 56 64 62 65 4d 65 6d 50 72 65 74 lite3VdbeMemPret
2fa0: 74 79 50 72 69 6e 74 28 70 4d 65 6d 2c 20 7a 42 tyPrint(pMem, zB
2fb0: 75 66 29 3b 0a 20 20 20 20 66 70 72 69 6e 74 66 uf);. fprintf
2fc0: 28 73 74 64 65 72 72 2c 20 22 4f 55 54 50 55 54 (stderr, "OUTPUT
2fd0: 3a 20 25 73 5c 6e 22 2c 20 7a 42 75 66 29 3b 0a : %s\n", zBuf);.
2fe0: 20 20 7d 0a 23 65 6e 64 69 66 0a 20 20 72 65 74 }.#endif. ret
2ff0: 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d urn SQLITE_OK;.}
3000: 0a 0a 2f 2a 0a 2a 2a 20 54 68 69 73 20 72 6f 75 ../*.** This rou
3010: 74 69 6e 65 20 63 68 65 63 6b 73 20 66 6f 72 20 tine checks for
3020: 61 20 62 79 74 65 2d 6f 72 64 65 72 20 6d 61 72 a byte-order mar
3030: 6b 20 61 74 20 74 68 65 20 62 65 67 69 6e 6e 69 k at the beginni
3040: 6e 67 20 6f 66 20 74 68 65 20 0a 2a 2a 20 55 54 ng of the .** UT
3050: 46 2d 31 36 20 73 74 72 69 6e 67 20 73 74 6f 72 F-16 string stor
3060: 65 64 20 69 6e 20 2a 70 4d 65 6d 2e 20 49 66 20 ed in *pMem. If
3070: 6f 6e 65 20 69 73 20 70 72 65 73 65 6e 74 2c 20 one is present,
3080: 69 74 20 69 73 20 72 65 6d 6f 76 65 64 20 61 6e it is removed an
3090: 64 0a 2a 2a 20 74 68 65 20 65 6e 63 6f 64 69 6e d.** the encodin
30a0: 67 20 6f 66 20 74 68 65 20 4d 65 6d 20 61 64 6a g of the Mem adj
30b0: 75 73 74 65 64 2e 20 54 68 69 73 20 72 6f 75 74 usted. This rout
30c0: 69 6e 65 20 64 6f 65 73 20 6e 6f 74 20 64 6f 20 ine does not do
30d0: 61 6e 79 0a 2a 2a 20 62 79 74 65 2d 73 77 61 70 any.** byte-swap
30e0: 70 69 6e 67 2c 20 69 74 20 6a 75 73 74 20 73 65 ping, it just se
30f0: 74 73 20 4d 65 6d 2e 65 6e 63 20 61 70 70 72 6f ts Mem.enc appro
3100: 70 72 69 61 74 65 6c 79 2e 0a 2a 2a 0a 2a 2a 20 priately..**.**
3110: 54 68 65 20 61 6c 6c 6f 63 61 74 69 6f 6e 20 28 The allocation (
3120: 73 74 61 74 69 63 2c 20 64 79 6e 61 6d 69 63 20 static, dynamic
3130: 65 74 63 2e 29 20 61 6e 64 20 65 6e 63 6f 64 69 etc.) and encodi
3140: 6e 67 20 6f 66 20 74 68 65 20 4d 65 6d 20 6d 61 ng of the Mem ma
3150: 79 20 62 65 0a 2a 2a 20 63 68 61 6e 67 65 64 20 y be.** changed
3160: 62 79 20 74 68 69 73 20 66 75 6e 63 74 69 6f 6e by this function
3170: 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 ..*/.int sqlite3
3180: 56 64 62 65 4d 65 6d 48 61 6e 64 6c 65 42 6f 6d VdbeMemHandleBom
3190: 28 4d 65 6d 20 2a 70 4d 65 6d 29 7b 0a 20 20 69 (Mem *pMem){. i
31a0: 6e 74 20 72 63 20 3d 20 53 51 4c 49 54 45 5f 4f nt rc = SQLITE_O
31b0: 4b 3b 0a 20 20 75 38 20 62 6f 6d 20 3d 20 30 3b K;. u8 bom = 0;
31c0: 0a 0a 20 20 61 73 73 65 72 74 28 20 70 4d 65 6d .. assert( pMem
31d0: 2d 3e 6e 3e 3d 30 20 29 3b 0a 20 20 69 66 28 20 ->n>=0 );. if(
31e0: 70 4d 65 6d 2d 3e 6e 3e 31 20 29 7b 0a 20 20 20 pMem->n>1 ){.
31f0: 20 75 38 20 62 31 20 3d 20 2a 28 75 38 20 2a 29 u8 b1 = *(u8 *)
3200: 70 4d 65 6d 2d 3e 7a 3b 0a 20 20 20 20 75 38 20 pMem->z;. u8
3210: 62 32 20 3d 20 2a 28 28 28 75 38 20 2a 29 70 4d b2 = *(((u8 *)pM
3220: 65 6d 2d 3e 7a 29 20 2b 20 31 29 3b 0a 20 20 20 em->z) + 1);.
3230: 20 69 66 28 20 62 31 3d 3d 30 78 46 45 20 26 26 if( b1==0xFE &&
3240: 20 62 32 3d 3d 30 78 46 46 20 29 7b 0a 20 20 20 b2==0xFF ){.
3250: 20 20 20 62 6f 6d 20 3d 20 53 51 4c 49 54 45 5f bom = SQLITE_
3260: 55 54 46 31 36 42 45 3b 0a 20 20 20 20 7d 0a 20 UTF16BE;. }.
3270: 20 20 20 69 66 28 20 62 31 3d 3d 30 78 46 46 20 if( b1==0xFF
3280: 26 26 20 62 32 3d 3d 30 78 46 45 20 29 7b 0a 20 && b2==0xFE ){.
3290: 20 20 20 20 20 62 6f 6d 20 3d 20 53 51 4c 49 54 bom = SQLIT
32a0: 45 5f 55 54 46 31 36 4c 45 3b 0a 20 20 20 20 7d E_UTF16LE;. }
32b0: 0a 20 20 7d 0a 20 20 0a 20 20 69 66 28 20 62 6f . }. . if( bo
32c0: 6d 20 29 7b 0a 20 20 20 20 72 63 20 3d 20 73 71 m ){. rc = sq
32d0: 6c 69 74 65 33 56 64 62 65 4d 65 6d 4d 61 6b 65 lite3VdbeMemMake
32e0: 57 72 69 74 65 61 62 6c 65 28 70 4d 65 6d 29 3b Writeable(pMem);
32f0: 0a 20 20 20 20 69 66 28 20 72 63 3d 3d 53 51 4c . if( rc==SQL
3300: 49 54 45 5f 4f 4b 20 29 7b 0a 20 20 20 20 20 20 ITE_OK ){.
3310: 70 4d 65 6d 2d 3e 6e 20 2d 3d 20 32 3b 0a 20 20 pMem->n -= 2;.
3320: 20 20 20 20 6d 65 6d 6d 6f 76 65 28 70 4d 65 6d memmove(pMem
3330: 2d 3e 7a 2c 20 26 70 4d 65 6d 2d 3e 7a 5b 32 5d ->z, &pMem->z[2]
3340: 2c 20 70 4d 65 6d 2d 3e 6e 29 3b 0a 20 20 20 20 , pMem->n);.
3350: 20 20 70 4d 65 6d 2d 3e 7a 5b 70 4d 65 6d 2d 3e pMem->z[pMem->
3360: 6e 5d 20 3d 20 27 5c 30 27 3b 0a 20 20 20 20 20 n] = '\0';.
3370: 20 70 4d 65 6d 2d 3e 7a 5b 70 4d 65 6d 2d 3e 6e pMem->z[pMem->n
3380: 2b 31 5d 20 3d 20 27 5c 30 27 3b 0a 20 20 20 20 +1] = '\0';.
3390: 20 20 70 4d 65 6d 2d 3e 66 6c 61 67 73 20 7c 3d pMem->flags |=
33a0: 20 4d 45 4d 5f 54 65 72 6d 3b 0a 20 20 20 20 20 MEM_Term;.
33b0: 20 70 4d 65 6d 2d 3e 65 6e 63 20 3d 20 62 6f 6d pMem->enc = bom
33c0: 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 72 65 ;. }. }. re
33d0: 74 75 72 6e 20 72 63 3b 0a 7d 0a 23 65 6e 64 69 turn rc;.}.#endi
33e0: 66 20 2f 2a 20 53 51 4c 49 54 45 5f 4f 4d 49 54 f /* SQLITE_OMIT
33f0: 5f 55 54 46 31 36 20 2a 2f 0a 0a 2f 2a 0a 2a 2a _UTF16 */../*.**
3400: 20 70 5a 20 69 73 20 61 20 55 54 46 2d 38 20 65 pZ is a UTF-8 e
3410: 6e 63 6f 64 65 64 20 75 6e 69 63 6f 64 65 20 73 ncoded unicode s
3420: 74 72 69 6e 67 2e 20 49 66 20 6e 42 79 74 65 20 tring. If nByte
3430: 69 73 20 6c 65 73 73 20 74 68 61 6e 20 7a 65 72 is less than zer
3440: 6f 2c 0a 2a 2a 20 72 65 74 75 72 6e 20 74 68 65 o,.** return the
3450: 20 6e 75 6d 62 65 72 20 6f 66 20 75 6e 69 63 6f number of unico
3460: 64 65 20 63 68 61 72 61 63 74 65 72 73 20 69 6e de characters in
3470: 20 70 5a 20 75 70 20 74 6f 20 28 62 75 74 20 6e pZ up to (but n
3480: 6f 74 20 69 6e 63 6c 75 64 69 6e 67 29 0a 2a 2a ot including).**
3490: 20 74 68 65 20 66 69 72 73 74 20 30 78 30 30 20 the first 0x00
34a0: 62 79 74 65 2e 20 49 66 20 6e 42 79 74 65 20 69 byte. If nByte i
34b0: 73 20 6e 6f 74 20 6c 65 73 73 20 74 68 61 6e 20 s not less than
34c0: 7a 65 72 6f 2c 20 72 65 74 75 72 6e 20 74 68 65 zero, return the
34d0: 0a 2a 2a 20 6e 75 6d 62 65 72 20 6f 66 20 75 6e .** number of un
34e0: 69 63 6f 64 65 20 63 68 61 72 61 63 74 65 72 73 icode characters
34f0: 20 69 6e 20 74 68 65 20 66 69 72 73 74 20 6e 42 in the first nB
3500: 79 74 65 20 6f 66 20 70 5a 20 28 6f 72 20 75 70 yte of pZ (or up
3510: 20 74 6f 20 0a 2a 2a 20 74 68 65 20 66 69 72 73 to .** the firs
3520: 74 20 30 78 30 30 2c 20 77 68 69 63 68 65 76 65 t 0x00, whicheve
3530: 72 20 63 6f 6d 65 73 20 66 69 72 73 74 29 2e 0a r comes first)..
3540: 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 55 74 */.int sqlite3Ut
3550: 66 38 43 68 61 72 4c 65 6e 28 63 6f 6e 73 74 20 f8CharLen(const
3560: 63 68 61 72 20 2a 7a 49 6e 2c 20 69 6e 74 20 6e char *zIn, int n
3570: 42 79 74 65 29 7b 0a 20 20 69 6e 74 20 72 20 3d Byte){. int r =
3580: 20 30 3b 0a 20 20 63 6f 6e 73 74 20 75 38 20 2a 0;. const u8 *
3590: 7a 20 3d 20 28 63 6f 6e 73 74 20 75 38 2a 29 7a z = (const u8*)z
35a0: 49 6e 3b 0a 20 20 63 6f 6e 73 74 20 75 38 20 2a In;. const u8 *
35b0: 7a 54 65 72 6d 3b 0a 20 20 69 66 28 20 6e 42 79 zTerm;. if( nBy
35c0: 74 65 3e 3d 30 20 29 7b 0a 20 20 20 20 7a 54 65 te>=0 ){. zTe
35d0: 72 6d 20 3d 20 26 7a 5b 6e 42 79 74 65 5d 3b 0a rm = &z[nByte];.
35e0: 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 7a 54 65 }else{. zTe
35f0: 72 6d 20 3d 20 28 63 6f 6e 73 74 20 75 38 2a 29 rm = (const u8*)
3600: 28 2d 31 29 3b 0a 20 20 7d 0a 20 20 61 73 73 65 (-1);. }. asse
3610: 72 74 28 20 7a 3c 3d 7a 54 65 72 6d 20 29 3b 0a rt( z<=zTerm );.
3620: 20 20 77 68 69 6c 65 28 20 2a 7a 21 3d 30 20 26 while( *z!=0 &
3630: 26 20 7a 3c 7a 54 65 72 6d 20 29 7b 0a 20 20 20 & z<zTerm ){.
3640: 20 53 51 4c 49 54 45 5f 53 4b 49 50 5f 55 54 46 SQLITE_SKIP_UTF
3650: 38 28 7a 29 3b 0a 20 20 20 20 72 2b 2b 3b 0a 20 8(z);. r++;.
3660: 20 7d 0a 20 20 72 65 74 75 72 6e 20 72 3b 0a 7d }. return r;.}
3670: 0a 0a 2f 2a 20 54 68 69 73 20 74 65 73 74 20 66 ../* This test f
3680: 75 6e 63 74 69 6f 6e 20 69 73 20 6e 6f 74 20 63 unction is not c
3690: 75 72 72 65 6e 74 6c 79 20 75 73 65 64 20 62 79 urrently used by
36a0: 20 74 68 65 20 61 75 74 6f 6d 61 74 65 64 20 74 the automated t
36b0: 65 73 74 2d 73 75 69 74 65 2e 20 0a 2a 2a 20 48 est-suite. .** H
36c0: 65 6e 63 65 20 69 74 20 69 73 20 6f 6e 6c 79 20 ence it is only
36d0: 61 76 61 69 6c 61 62 6c 65 20 69 6e 20 64 65 62 available in deb
36e0: 75 67 20 62 75 69 6c 64 73 2e 0a 2a 2f 0a 23 69 ug builds..*/.#i
36f0: 66 20 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45 f defined(SQLITE
3700: 5f 54 45 53 54 29 20 26 26 20 64 65 66 69 6e 65 _TEST) && define
3710: 64 28 53 51 4c 49 54 45 5f 44 45 42 55 47 29 0a d(SQLITE_DEBUG).
3720: 2f 2a 0a 2a 2a 20 54 72 61 6e 73 6c 61 74 65 20 /*.** Translate
3730: 55 54 46 2d 38 20 74 6f 20 55 54 46 2d 38 2e 0a UTF-8 to UTF-8..
3740: 2a 2a 0a 2a 2a 20 54 68 69 73 20 68 61 73 20 74 **.** This has t
3750: 68 65 20 65 66 66 65 63 74 20 6f 66 20 6d 61 6b he effect of mak
3760: 69 6e 67 20 73 75 72 65 20 74 68 61 74 20 74 68 ing sure that th
3770: 65 20 73 74 72 69 6e 67 20 69 73 20 77 65 6c 6c e string is well
3780: 2d 66 6f 72 6d 65 64 0a 2a 2a 20 55 54 46 2d 38 -formed.** UTF-8
3790: 2e 20 20 4d 69 73 63 6f 64 65 64 20 63 68 61 72 . Miscoded char
37a0: 61 63 74 65 72 73 20 61 72 65 20 72 65 6d 6f 76 acters are remov
37b0: 65 64 2e 0a 2a 2a 0a 2a 2a 20 54 68 65 20 74 72 ed..**.** The tr
37c0: 61 6e 73 6c 61 74 69 6f 6e 20 69 73 20 64 6f 6e anslation is don
37d0: 65 20 69 6e 2d 70 6c 61 63 65 20 28 73 69 6e 63 e in-place (sinc
37e0: 65 20 69 74 20 69 73 20 69 6d 70 6f 73 73 69 62 e it is impossib
37f0: 6c 65 20 66 6f 72 20 74 68 65 0a 2a 2a 20 63 6f le for the.** co
3800: 72 72 65 63 74 20 55 54 46 2d 38 20 65 6e 63 6f rrect UTF-8 enco
3810: 64 69 6e 67 20 74 6f 20 62 65 20 6c 6f 6e 67 65 ding to be longe
3820: 72 20 74 68 61 6e 20 61 20 6d 61 6c 66 6f 72 6d r than a malform
3830: 65 64 20 65 6e 63 6f 64 69 6e 67 29 2e 0a 2a 2f ed encoding)..*/
3840: 0a 69 6e 74 20 73 71 6c 69 74 65 33 55 74 66 38 .int sqlite3Utf8
3850: 54 6f 38 28 75 6e 73 69 67 6e 65 64 20 63 68 61 To8(unsigned cha
3860: 72 20 2a 7a 49 6e 29 7b 0a 20 20 75 6e 73 69 67 r *zIn){. unsig
3870: 6e 65 64 20 63 68 61 72 20 2a 7a 4f 75 74 20 3d ned char *zOut =
3880: 20 7a 49 6e 3b 0a 20 20 75 6e 73 69 67 6e 65 64 zIn;. unsigned
3890: 20 63 68 61 72 20 2a 7a 53 74 61 72 74 20 3d 20 char *zStart =
38a0: 7a 49 6e 3b 0a 20 20 75 33 32 20 63 3b 0a 0a 20 zIn;. u32 c;..
38b0: 20 77 68 69 6c 65 28 20 7a 49 6e 5b 30 5d 20 29 while( zIn[0] )
38c0: 7b 0a 20 20 20 20 63 20 3d 20 73 71 6c 69 74 65 {. c = sqlite
38d0: 33 55 74 66 38 52 65 61 64 28 7a 49 6e 2c 20 28 3Utf8Read(zIn, (
38e0: 63 6f 6e 73 74 20 75 38 2a 2a 29 26 7a 49 6e 29 const u8**)&zIn)
38f0: 3b 0a 20 20 20 20 69 66 28 20 63 21 3d 30 78 66 ;. if( c!=0xf
3900: 66 66 64 20 29 7b 0a 20 20 20 20 20 20 57 52 49 ffd ){. WRI
3910: 54 45 5f 55 54 46 38 28 7a 4f 75 74 2c 20 63 29 TE_UTF8(zOut, c)
3920: 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 2a 7a ;. }. }. *z
3930: 4f 75 74 20 3d 20 30 3b 0a 20 20 72 65 74 75 72 Out = 0;. retur
3940: 6e 20 28 69 6e 74 29 28 7a 4f 75 74 20 2d 20 7a n (int)(zOut - z
3950: 53 74 61 72 74 29 3b 0a 7d 0a 23 65 6e 64 69 66 Start);.}.#endif
3960: 0a 0a 23 69 66 6e 64 65 66 20 53 51 4c 49 54 45 ..#ifndef SQLITE
3970: 5f 4f 4d 49 54 5f 55 54 46 31 36 0a 2f 2a 0a 2a _OMIT_UTF16./*.*
3980: 2a 20 43 6f 6e 76 65 72 74 20 61 20 55 54 46 2d * Convert a UTF-
3990: 31 36 20 73 74 72 69 6e 67 20 69 6e 20 74 68 65 16 string in the
39a0: 20 6e 61 74 69 76 65 20 65 6e 63 6f 64 69 6e 67 native encoding
39b0: 20 69 6e 74 6f 20 61 20 55 54 46 2d 38 20 73 74 into a UTF-8 st
39c0: 72 69 6e 67 2e 0a 2a 2a 20 4d 65 6d 6f 72 79 20 ring..** Memory
39d0: 74 6f 20 68 6f 6c 64 20 74 68 65 20 55 54 46 2d to hold the UTF-
39e0: 38 20 73 74 72 69 6e 67 20 69 73 20 6f 62 74 61 8 string is obta
39f0: 69 6e 65 64 20 66 72 6f 6d 20 73 71 6c 69 74 65 ined from sqlite
3a00: 33 5f 6d 61 6c 6c 6f 63 20 61 6e 64 20 6d 75 73 3_malloc and mus
3a10: 74 0a 2a 2a 20 62 65 20 66 72 65 65 64 20 62 79 t.** be freed by
3a20: 20 74 68 65 20 63 61 6c 6c 69 6e 67 20 66 75 6e the calling fun
3a30: 63 74 69 6f 6e 2e 0a 2a 2a 0a 2a 2a 20 4e 55 4c ction..**.** NUL
3a40: 4c 20 69 73 20 72 65 74 75 72 6e 65 64 20 69 66 L is returned if
3a50: 20 74 68 65 72 65 20 69 73 20 61 6e 20 61 6c 6c there is an all
3a60: 6f 63 61 74 69 6f 6e 20 65 72 72 6f 72 2e 0a 2a ocation error..*
3a70: 2f 0a 63 68 61 72 20 2a 73 71 6c 69 74 65 33 55 /.char *sqlite3U
3a80: 74 66 31 36 74 6f 38 28 73 71 6c 69 74 65 33 20 tf16to8(sqlite3
3a90: 2a 64 62 2c 20 63 6f 6e 73 74 20 76 6f 69 64 20 *db, const void
3aa0: 2a 7a 2c 20 69 6e 74 20 6e 42 79 74 65 29 7b 0a *z, int nByte){.
3ab0: 20 20 4d 65 6d 20 6d 3b 0a 20 20 6d 65 6d 73 65 Mem m;. memse
3ac0: 74 28 26 6d 2c 20 30 2c 20 73 69 7a 65 6f 66 28 t(&m, 0, sizeof(
3ad0: 6d 29 29 3b 0a 20 20 6d 2e 64 62 20 3d 20 64 62 m));. m.db = db
3ae0: 3b 0a 20 20 73 71 6c 69 74 65 33 56 64 62 65 4d ;. sqlite3VdbeM
3af0: 65 6d 53 65 74 53 74 72 28 26 6d 2c 20 7a 2c 20 emSetStr(&m, z,
3b00: 6e 42 79 74 65 2c 20 53 51 4c 49 54 45 5f 55 54 nByte, SQLITE_UT
3b10: 46 31 36 4e 41 54 49 56 45 2c 20 53 51 4c 49 54 F16NATIVE, SQLIT
3b20: 45 5f 53 54 41 54 49 43 29 3b 0a 20 20 73 71 6c E_STATIC);. sql
3b30: 69 74 65 33 56 64 62 65 43 68 61 6e 67 65 45 6e ite3VdbeChangeEn
3b40: 63 6f 64 69 6e 67 28 26 6d 2c 20 53 51 4c 49 54 coding(&m, SQLIT
3b50: 45 5f 55 54 46 38 29 3b 0a 20 20 69 66 28 20 64 E_UTF8);. if( d
3b60: 62 2d 3e 6d 61 6c 6c 6f 63 46 61 69 6c 65 64 20 b->mallocFailed
3b70: 29 7b 0a 20 20 20 20 73 71 6c 69 74 65 33 56 64 ){. sqlite3Vd
3b80: 62 65 4d 65 6d 52 65 6c 65 61 73 65 28 26 6d 29 beMemRelease(&m)
3b90: 3b 0a 20 20 20 20 6d 2e 7a 20 3d 20 30 3b 0a 20 ;. m.z = 0;.
3ba0: 20 7d 0a 20 20 61 73 73 65 72 74 28 20 28 6d 2e }. assert( (m.
3bb0: 66 6c 61 67 73 20 26 20 4d 45 4d 5f 54 65 72 6d flags & MEM_Term
3bc0: 29 21 3d 30 20 7c 7c 20 64 62 2d 3e 6d 61 6c 6c )!=0 || db->mall
3bd0: 6f 63 46 61 69 6c 65 64 20 29 3b 0a 20 20 61 73 ocFailed );. as
3be0: 73 65 72 74 28 20 28 6d 2e 66 6c 61 67 73 20 26 sert( (m.flags &
3bf0: 20 4d 45 4d 5f 53 74 72 29 21 3d 30 20 7c 7c 20 MEM_Str)!=0 ||
3c00: 64 62 2d 3e 6d 61 6c 6c 6f 63 46 61 69 6c 65 64 db->mallocFailed
3c10: 20 29 3b 0a 20 20 72 65 74 75 72 6e 20 28 6d 2e );. return (m.
3c20: 66 6c 61 67 73 20 26 20 4d 45 4d 5f 44 79 6e 29 flags & MEM_Dyn)
3c30: 21 3d 30 20 3f 20 6d 2e 7a 20 3a 20 73 71 6c 69 !=0 ? m.z : sqli
3c40: 74 65 33 44 62 53 74 72 44 75 70 28 64 62 2c 20 te3DbStrDup(db,
3c50: 6d 2e 7a 29 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 70 m.z);.}../*.** p
3c60: 5a 20 69 73 20 61 20 55 54 46 2d 31 36 20 65 6e Z is a UTF-16 en
3c70: 63 6f 64 65 64 20 75 6e 69 63 6f 64 65 20 73 74 coded unicode st
3c80: 72 69 6e 67 2e 20 49 66 20 6e 43 68 61 72 20 69 ring. If nChar i
3c90: 73 20 6c 65 73 73 20 74 68 61 6e 20 7a 65 72 6f s less than zero
3ca0: 2c 0a 2a 2a 20 72 65 74 75 72 6e 20 74 68 65 20 ,.** return the
3cb0: 6e 75 6d 62 65 72 20 6f 66 20 62 79 74 65 73 20 number of bytes
3cc0: 75 70 20 74 6f 20 28 62 75 74 20 6e 6f 74 20 69 up to (but not i
3cd0: 6e 63 6c 75 64 69 6e 67 29 2c 20 74 68 65 20 66 ncluding), the f
3ce0: 69 72 73 74 20 70 61 69 72 0a 2a 2a 20 6f 66 20 irst pair.** of
3cf0: 63 6f 6e 73 65 63 75 74 69 76 65 20 30 78 30 30 consecutive 0x00
3d00: 20 62 79 74 65 73 20 69 6e 20 70 5a 2e 20 49 66 bytes in pZ. If
3d10: 20 6e 43 68 61 72 20 69 73 20 6e 6f 74 20 6c 65 nChar is not le
3d20: 73 73 20 74 68 61 6e 20 7a 65 72 6f 2c 0a 2a 2a ss than zero,.**
3d30: 20 74 68 65 6e 20 72 65 74 75 72 6e 20 74 68 65 then return the
3d40: 20 6e 75 6d 62 65 72 20 6f 66 20 62 79 74 65 73 number of bytes
3d50: 20 69 6e 20 74 68 65 20 66 69 72 73 74 20 6e 43 in the first nC
3d60: 68 61 72 20 75 6e 69 63 6f 64 65 20 63 68 61 72 har unicode char
3d70: 61 63 74 65 72 73 0a 2a 2a 20 69 6e 20 70 5a 20 acters.** in pZ
3d80: 28 6f 72 20 75 70 20 75 6e 74 69 6c 20 74 68 65 (or up until the
3d90: 20 66 69 72 73 74 20 70 61 69 72 20 6f 66 20 30 first pair of 0
3da0: 78 30 30 20 62 79 74 65 73 2c 20 77 68 69 63 68 x00 bytes, which
3db0: 65 76 65 72 20 63 6f 6d 65 73 20 66 69 72 73 74 ever comes first
3dc0: 29 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 )..*/.int sqlite
3dd0: 33 55 74 66 31 36 42 79 74 65 4c 65 6e 28 63 6f 3Utf16ByteLen(co
3de0: 6e 73 74 20 76 6f 69 64 20 2a 7a 49 6e 2c 20 69 nst void *zIn, i
3df0: 6e 74 20 6e 43 68 61 72 29 7b 0a 20 20 75 6e 73 nt nChar){. uns
3e00: 69 67 6e 65 64 20 69 6e 74 20 63 20 3d 20 31 3b igned int c = 1;
3e10: 0a 20 20 63 68 61 72 20 63 6f 6e 73 74 20 2a 7a . char const *z
3e20: 20 3d 20 7a 49 6e 3b 0a 20 20 69 6e 74 20 6e 20 = zIn;. int n
3e30: 3d 20 30 3b 0a 20 20 69 66 28 20 53 51 4c 49 54 = 0;. if( SQLIT
3e40: 45 5f 55 54 46 31 36 4e 41 54 49 56 45 3d 3d 53 E_UTF16NATIVE==S
3e50: 51 4c 49 54 45 5f 55 54 46 31 36 42 45 20 29 7b QLITE_UTF16BE ){
3e60: 0a 20 20 20 20 2f 2a 20 55 73 69 6e 67 20 61 6e . /* Using an
3e70: 20 22 69 66 20 28 53 51 4c 49 54 45 5f 55 54 46 "if (SQLITE_UTF
3e80: 31 36 4e 41 54 49 56 45 3d 3d 53 51 4c 49 54 45 16NATIVE==SQLITE
3e90: 5f 55 54 46 31 36 42 45 29 22 20 63 6f 6e 73 74 _UTF16BE)" const
3ea0: 72 75 63 74 20 68 65 72 65 0a 20 20 20 20 2a 2a ruct here. **
3eb0: 20 61 6e 64 20 69 6e 20 6f 74 68 65 72 20 70 61 and in other pa
3ec0: 72 74 73 20 6f 66 20 74 68 69 73 20 66 69 6c 65 rts of this file
3ed0: 20 6d 65 61 6e 73 20 74 68 61 74 20 61 74 20 6f means that at o
3ee0: 6e 65 20 62 72 61 6e 63 68 20 77 69 6c 6c 0a 20 ne branch will.
3ef0: 20 20 20 2a 2a 20 6e 6f 74 20 62 65 20 63 6f 76 ** not be cov
3f00: 65 72 65 64 20 62 79 20 63 6f 76 65 72 61 67 65 ered by coverage
3f10: 20 74 65 73 74 69 6e 67 20 6f 6e 20 61 6e 79 20 testing on any
3f20: 73 69 6e 67 6c 65 20 68 6f 73 74 2e 20 42 75 74 single host. But
3f30: 20 63 6f 76 65 72 61 67 65 0a 20 20 20 20 2a 2a coverage. **
3f40: 20 77 69 6c 6c 20 62 65 20 63 6f 6d 70 6c 65 74 will be complet
3f50: 65 20 69 66 20 74 68 65 20 74 65 73 74 73 20 61 e if the tests a
3f60: 72 65 20 72 75 6e 20 6f 6e 20 62 6f 74 68 20 61 re run on both a
3f70: 20 6c 69 74 74 6c 65 2d 65 6e 64 69 61 6e 20 61 little-endian a
3f80: 6e 64 20 0a 20 20 20 20 2a 2a 20 62 69 67 2d 65 nd . ** big-e
3f90: 6e 64 69 61 6e 20 68 6f 73 74 2e 20 42 65 63 61 ndian host. Beca
3fa0: 75 73 65 20 62 6f 74 68 20 74 68 65 20 55 54 46 use both the UTF
3fb0: 31 36 4e 41 54 49 56 45 20 61 6e 64 20 53 51 4c 16NATIVE and SQL
3fc0: 49 54 45 5f 55 54 46 31 36 42 45 0a 20 20 20 20 ITE_UTF16BE.
3fd0: 2a 2a 20 6d 61 63 72 6f 73 20 61 72 65 20 63 6f ** macros are co
3fe0: 6e 73 74 61 6e 74 20 61 74 20 63 6f 6d 70 69 6c nstant at compil
3ff0: 65 20 74 69 6d 65 20 74 68 65 20 63 6f 6d 70 69 e time the compi
4000: 6c 65 72 20 63 61 6e 20 64 65 74 65 72 6d 69 6e ler can determin
4010: 65 0a 20 20 20 20 2a 2a 20 77 68 69 63 68 20 62 e. ** which b
4020: 72 61 6e 63 68 20 77 69 6c 6c 20 62 65 20 66 6f ranch will be fo
4030: 6c 6c 6f 77 65 64 2e 20 49 74 20 69 73 20 74 68 llowed. It is th
4040: 65 72 65 66 6f 72 65 20 61 73 73 75 6d 65 64 20 erefore assumed
4050: 74 68 61 74 20 6e 6f 20 72 75 6e 74 69 6d 65 0a that no runtime.
4060: 20 20 20 20 2a 2a 20 70 65 6e 61 6c 74 79 20 69 ** penalty i
4070: 73 20 70 61 69 64 20 66 6f 72 20 74 68 69 73 20 s paid for this
4080: 22 69 66 22 20 73 74 61 74 65 6d 65 6e 74 2e 0a "if" statement..
4090: 20 20 20 20 2a 2f 0a 20 20 20 20 77 68 69 6c 65 */. while
40a0: 28 20 63 20 26 26 20 28 28 6e 43 68 61 72 3c 30 ( c && ((nChar<0
40b0: 29 20 7c 7c 20 6e 3c 6e 43 68 61 72 29 20 29 7b ) || n<nChar) ){
40c0: 0a 20 20 20 20 20 20 52 45 41 44 5f 55 54 46 31 . READ_UTF1
40d0: 36 42 45 28 7a 2c 20 63 29 3b 0a 20 20 20 20 20 6BE(z, c);.
40e0: 20 6e 2b 2b 3b 0a 20 20 20 20 7d 0a 20 20 7d 65 n++;. }. }e
40f0: 6c 73 65 7b 0a 20 20 20 20 77 68 69 6c 65 28 20 lse{. while(
4100: 63 20 26 26 20 28 28 6e 43 68 61 72 3c 30 29 20 c && ((nChar<0)
4110: 7c 7c 20 6e 3c 6e 43 68 61 72 29 20 29 7b 0a 20 || n<nChar) ){.
4120: 20 20 20 20 20 52 45 41 44 5f 55 54 46 31 36 4c READ_UTF16L
4130: 45 28 7a 2c 20 63 29 3b 0a 20 20 20 20 20 20 6e E(z, c);. n
4140: 2b 2b 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 ++;. }. }.
4150: 72 65 74 75 72 6e 20 28 69 6e 74 29 28 7a 2d 28 return (int)(z-(
4160: 63 68 61 72 20 63 6f 6e 73 74 20 2a 29 7a 49 6e char const *)zIn
4170: 29 2d 28 28 63 3d 3d 30 29 3f 32 3a 30 29 3b 0a )-((c==0)?2:0);.
4180: 7d 0a 0a 23 69 66 20 64 65 66 69 6e 65 64 28 53 }..#if defined(S
4190: 51 4c 49 54 45 5f 54 45 53 54 29 0a 2f 2a 0a 2a QLITE_TEST)./*.*
41a0: 2a 20 54 68 69 73 20 72 6f 75 74 69 6e 65 20 69 * This routine i
41b0: 73 20 63 61 6c 6c 65 64 20 66 72 6f 6d 20 74 68 s called from th
41c0: 65 20 54 43 4c 20 74 65 73 74 20 66 75 6e 63 74 e TCL test funct
41d0: 69 6f 6e 20 22 74 72 61 6e 73 6c 61 74 65 5f 73 ion "translate_s
41e0: 65 6c 66 74 65 73 74 22 2e 0a 2a 2a 20 49 74 20 elftest"..** It
41f0: 63 68 65 63 6b 73 20 74 68 61 74 20 74 68 65 20 checks that the
4200: 70 72 69 6d 69 74 69 76 65 73 20 66 6f 72 20 73 primitives for s
4210: 65 72 69 61 6c 69 7a 69 6e 67 20 61 6e 64 20 64 erializing and d
4220: 65 73 65 72 69 61 6c 69 7a 69 6e 67 0a 2a 2a 20 eserializing.**
4230: 63 68 61 72 61 63 74 65 72 73 20 69 6e 20 65 61 characters in ea
4240: 63 68 20 65 6e 63 6f 64 69 6e 67 20 61 72 65 20 ch encoding are
4250: 69 6e 76 65 72 73 65 73 20 6f 66 20 65 61 63 68 inverses of each
4260: 20 6f 74 68 65 72 2e 0a 2a 2f 0a 76 6f 69 64 20 other..*/.void
4270: 73 71 6c 69 74 65 33 55 74 66 53 65 6c 66 54 65 sqlite3UtfSelfTe
4280: 73 74 28 76 6f 69 64 29 7b 0a 20 20 75 6e 73 69 st(void){. unsi
4290: 67 6e 65 64 20 69 6e 74 20 69 2c 20 74 3b 0a 20 gned int i, t;.
42a0: 20 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20 7a unsigned char z
42b0: 42 75 66 5b 32 30 5d 3b 0a 20 20 75 6e 73 69 67 Buf[20];. unsig
42c0: 6e 65 64 20 63 68 61 72 20 2a 7a 3b 0a 20 20 69 ned char *z;. i
42d0: 6e 74 20 6e 3b 0a 20 20 75 6e 73 69 67 6e 65 64 nt n;. unsigned
42e0: 20 69 6e 74 20 63 3b 0a 0a 20 20 66 6f 72 28 69 int c;.. for(i
42f0: 3d 30 3b 20 69 3c 30 78 30 30 31 31 30 30 30 30 =0; i<0x00110000
4300: 3b 20 69 2b 2b 29 7b 0a 20 20 20 20 7a 20 3d 20 ; i++){. z =
4310: 7a 42 75 66 3b 0a 20 20 20 20 57 52 49 54 45 5f zBuf;. WRITE_
4320: 55 54 46 38 28 7a 2c 20 69 29 3b 0a 20 20 20 20 UTF8(z, i);.
4330: 6e 20 3d 20 28 69 6e 74 29 28 7a 2d 7a 42 75 66 n = (int)(z-zBuf
4340: 29 3b 0a 20 20 20 20 61 73 73 65 72 74 28 20 6e );. assert( n
4350: 3e 30 20 26 26 20 6e 3c 3d 34 20 29 3b 0a 20 20 >0 && n<=4 );.
4360: 20 20 7a 5b 30 5d 20 3d 20 30 3b 0a 20 20 20 20 z[0] = 0;.
4370: 7a 20 3d 20 7a 42 75 66 3b 0a 20 20 20 20 63 20 z = zBuf;. c
4380: 3d 20 73 71 6c 69 74 65 33 55 74 66 38 52 65 61 = sqlite3Utf8Rea
4390: 64 28 7a 2c 20 28 63 6f 6e 73 74 20 75 38 2a 2a d(z, (const u8**
43a0: 29 26 7a 29 3b 0a 20 20 20 20 74 20 3d 20 69 3b )&z);. t = i;
43b0: 0a 20 20 20 20 69 66 28 20 69 3e 3d 30 78 44 38 . if( i>=0xD8
43c0: 30 30 20 26 26 20 69 3c 3d 30 78 44 46 46 46 20 00 && i<=0xDFFF
43d0: 29 20 74 20 3d 20 30 78 46 46 46 44 3b 0a 20 20 ) t = 0xFFFD;.
43e0: 20 20 69 66 28 20 28 69 26 30 78 46 46 46 46 46 if( (i&0xFFFFF
43f0: 46 46 45 29 3d 3d 30 78 46 46 46 45 20 29 20 74 FFE)==0xFFFE ) t
4400: 20 3d 20 30 78 46 46 46 44 3b 0a 20 20 20 20 61 = 0xFFFD;. a
4410: 73 73 65 72 74 28 20 63 3d 3d 74 20 29 3b 0a 20 ssert( c==t );.
4420: 20 20 20 61 73 73 65 72 74 28 20 28 7a 2d 7a 42 assert( (z-zB
4430: 75 66 29 3d 3d 6e 20 29 3b 0a 20 20 7d 0a 20 20 uf)==n );. }.
4440: 66 6f 72 28 69 3d 30 3b 20 69 3c 30 78 30 30 31 for(i=0; i<0x001
4450: 31 30 30 30 30 3b 20 69 2b 2b 29 7b 0a 20 20 20 10000; i++){.
4460: 20 69 66 28 20 69 3e 3d 30 78 44 38 30 30 20 26 if( i>=0xD800 &
4470: 26 20 69 3c 30 78 45 30 30 30 20 29 20 63 6f 6e & i<0xE000 ) con
4480: 74 69 6e 75 65 3b 0a 20 20 20 20 7a 20 3d 20 7a tinue;. z = z
4490: 42 75 66 3b 0a 20 20 20 20 57 52 49 54 45 5f 55 Buf;. WRITE_U
44a0: 54 46 31 36 4c 45 28 7a 2c 20 69 29 3b 0a 20 20 TF16LE(z, i);.
44b0: 20 20 6e 20 3d 20 28 69 6e 74 29 28 7a 2d 7a 42 n = (int)(z-zB
44c0: 75 66 29 3b 0a 20 20 20 20 61 73 73 65 72 74 28 uf);. assert(
44d0: 20 6e 3e 30 20 26 26 20 6e 3c 3d 34 20 29 3b 0a n>0 && n<=4 );.
44e0: 20 20 20 20 7a 5b 30 5d 20 3d 20 30 3b 0a 20 20 z[0] = 0;.
44f0: 20 20 7a 20 3d 20 7a 42 75 66 3b 0a 20 20 20 20 z = zBuf;.
4500: 52 45 41 44 5f 55 54 46 31 36 4c 45 28 7a 2c 20 READ_UTF16LE(z,
4510: 63 29 3b 0a 20 20 20 20 61 73 73 65 72 74 28 20 c);. assert(
4520: 63 3d 3d 69 20 29 3b 0a 20 20 20 20 61 73 73 65 c==i );. asse
4530: 72 74 28 20 28 7a 2d 7a 42 75 66 29 3d 3d 6e 20 rt( (z-zBuf)==n
4540: 29 3b 0a 20 20 7d 0a 20 20 66 6f 72 28 69 3d 30 );. }. for(i=0
4550: 3b 20 69 3c 30 78 30 30 31 31 30 30 30 30 3b 20 ; i<0x00110000;
4560: 69 2b 2b 29 7b 0a 20 20 20 20 69 66 28 20 69 3e i++){. if( i>
4570: 3d 30 78 44 38 30 30 20 26 26 20 69 3c 30 78 45 =0xD800 && i<0xE
4580: 30 30 30 20 29 20 63 6f 6e 74 69 6e 75 65 3b 0a 000 ) continue;.
4590: 20 20 20 20 7a 20 3d 20 7a 42 75 66 3b 0a 20 20 z = zBuf;.
45a0: 20 20 57 52 49 54 45 5f 55 54 46 31 36 42 45 28 WRITE_UTF16BE(
45b0: 7a 2c 20 69 29 3b 0a 20 20 20 20 6e 20 3d 20 28 z, i);. n = (
45c0: 69 6e 74 29 28 7a 2d 7a 42 75 66 29 3b 0a 20 20 int)(z-zBuf);.
45d0: 20 20 61 73 73 65 72 74 28 20 6e 3e 30 20 26 26 assert( n>0 &&
45e0: 20 6e 3c 3d 34 20 29 3b 0a 20 20 20 20 7a 5b 30 n<=4 );. z[0
45f0: 5d 20 3d 20 30 3b 0a 20 20 20 20 7a 20 3d 20 7a ] = 0;. z = z
4600: 42 75 66 3b 0a 20 20 20 20 52 45 41 44 5f 55 54 Buf;. READ_UT
4610: 46 31 36 42 45 28 7a 2c 20 63 29 3b 0a 20 20 20 F16BE(z, c);.
4620: 20 61 73 73 65 72 74 28 20 63 3d 3d 69 20 29 3b assert( c==i );
4630: 0a 20 20 20 20 61 73 73 65 72 74 28 20 28 7a 2d . assert( (z-
4640: 7a 42 75 66 29 3d 3d 6e 20 29 3b 0a 20 20 7d 0a zBuf)==n );. }.
4650: 7d 0a 23 65 6e 64 69 66 20 2f 2a 20 53 51 4c 49 }.#endif /* SQLI
4660: 54 45 5f 54 45 53 54 20 2a 2f 0a 23 65 6e 64 69 TE_TEST */.#endi
4670: 66 20 2f 2a 20 53 51 4c 49 54 45 5f 4f 4d 49 54 f /* SQLITE_OMIT
4680: 5f 55 54 46 31 36 20 2a 2f 0a _UTF16 */.