/ Hex Artifact Content
Login

Artifact 106bb4ff6365b36301fa4a009e5b4bf6ed02a2fbe9156349be9dfd9a92697cde:


0000: 0a 73 6f 75 72 63 65 20 5b 66 69 6c 65 20 6a 6f  .source [file jo
0010: 69 6e 20 5b 66 69 6c 65 20 64 69 72 6e 61 6d 65  in [file dirname
0020: 20 5b 69 6e 66 6f 20 73 63 72 69 70 74 5d 5d 20   [info script]] 
0030: 70 61 72 73 65 75 6e 69 63 6f 64 65 2e 74 63 6c  parseunicode.tcl
0040: 5d 0a 0a 70 72 6f 63 20 70 72 69 6e 74 5f 72 64  ]..proc print_rd
0050: 20 7b 6d 61 70 7d 20 7b 0a 20 20 67 6c 6f 62 61   {map} {.  globa
0060: 6c 20 74 6c 5f 6c 6f 6f 6b 75 70 5f 74 61 62 6c  l tl_lookup_tabl
0070: 65 0a 20 20 73 65 74 20 61 43 68 61 72 20 5b 6c  e.  set aChar [l
0080: 69 73 74 5d 0a 20 20 73 65 74 20 6c 52 61 6e 67  ist].  set lRang
0090: 65 20 5b 6c 69 73 74 5d 0a 0a 20 20 73 65 74 20  e [list]..  set 
00a0: 6e 52 61 6e 67 65 20 31 0a 20 20 73 65 74 20 69  nRange 1.  set i
00b0: 46 69 72 73 74 20 20 5b 6c 69 6e 64 65 78 20 24  First  [lindex $
00c0: 6d 61 70 20 30 20 30 5d 0a 20 20 73 65 74 20 63  map 0 0].  set c
00d0: 50 72 65 76 20 20 20 5b 6c 69 6e 64 65 78 20 24  Prev   [lindex $
00e0: 6d 61 70 20 30 20 31 5d 0a 20 20 73 65 74 20 66  map 0 1].  set f
00f0: 50 72 65 76 20 20 20 5b 6c 69 6e 64 65 78 20 24  Prev   [lindex $
0100: 6d 61 70 20 30 20 32 5d 0a 0a 20 20 66 6f 72 65  map 0 2]..  fore
0110: 61 63 68 20 6d 20 5b 6c 72 61 6e 67 65 20 24 6d  ach m [lrange $m
0120: 61 70 20 31 20 65 6e 64 5d 20 7b 0a 20 20 20 20  ap 1 end] {.    
0130: 66 6f 72 65 61 63 68 20 7b 69 20 63 20 66 7d 20  foreach {i c f} 
0140: 24 6d 20 7b 7d 0a 0a 20 20 20 20 69 66 20 7b 24  $m {}..    if {$
0150: 63 50 72 65 76 20 3d 3d 20 24 63 20 26 26 20 24  cPrev == $c && $
0160: 66 50 72 65 76 3d 3d 24 66 7d 20 7b 0a 20 20 20  fPrev==$f} {.   
0170: 20 20 20 66 6f 72 20 7b 73 65 74 20 6a 20 5b 65     for {set j [e
0180: 78 70 72 20 24 69 46 69 72 73 74 2b 24 6e 52 61  xpr $iFirst+$nRa
0190: 6e 67 65 5d 7d 20 7b 24 6a 3c 24 69 7d 20 7b 69  nge]} {$j<$i} {i
01a0: 6e 63 72 20 6a 7d 20 7b 0a 20 20 20 20 20 20 20  ncr j} {.       
01b0: 20 69 66 20 7b 5b 69 6e 66 6f 20 65 78 69 73 74   if {[info exist
01c0: 73 20 74 6c 5f 6c 6f 6f 6b 75 70 5f 74 61 62 6c  s tl_lookup_tabl
01d0: 65 28 24 6a 29 5d 3d 3d 30 7d 20 62 72 65 61 6b  e($j)]==0} break
01e0: 0a 20 20 20 20 20 20 7d 0a 0a 20 20 20 20 20 20  .      }..      
01f0: 69 66 20 7b 24 6a 3d 3d 24 69 7d 20 7b 0a 20 20  if {$j==$i} {.  
0200: 20 20 20 20 20 20 73 65 74 20 6e 4e 65 77 20 5b        set nNew [
0210: 65 78 70 72 20 7b 28 31 20 2b 20 24 69 20 2d 20  expr {(1 + $i - 
0220: 24 69 46 69 72 73 74 29 7d 5d 0a 20 20 20 20 20  $iFirst)}].     
0230: 20 20 20 69 66 20 7b 24 6e 4e 65 77 3c 3d 38 7d     if {$nNew<=8}
0240: 20 7b 0a 20 20 20 20 20 20 20 20 20 20 73 65 74   {.          set
0250: 20 6e 52 61 6e 67 65 20 24 6e 4e 65 77 0a 20 20   nRange $nNew.  
0260: 20 20 20 20 20 20 20 20 63 6f 6e 74 69 6e 75 65          continue
0270: 0a 20 20 20 20 20 20 20 20 7d 0a 20 20 20 20 20  .        }.     
0280: 20 7d 0a 20 20 20 20 7d 0a 0a 20 20 20 20 6c 61   }.    }..    la
0290: 70 70 65 6e 64 20 6c 52 61 6e 67 65 20 5b 6c 69  ppend lRange [li
02a0: 73 74 20 24 69 46 69 72 73 74 20 24 6e 52 61 6e  st $iFirst $nRan
02b0: 67 65 5d 0a 20 20 20 20 6c 61 70 70 65 6e 64 20  ge].    lappend 
02c0: 61 43 68 61 72 20 20 24 63 50 72 65 76 0a 20 20  aChar  $cPrev.  
02d0: 20 20 6c 61 70 70 65 6e 64 20 61 46 6c 61 67 20    lappend aFlag 
02e0: 20 24 66 50 72 65 76 0a 0a 20 20 20 20 73 65 74   $fPrev..    set
02f0: 20 69 46 69 72 73 74 20 24 69 0a 20 20 20 20 73   iFirst $i.    s
0300: 65 74 20 63 50 72 65 76 20 20 24 63 0a 20 20 20  et cPrev  $c.   
0310: 20 73 65 74 20 66 50 72 65 76 20 20 24 66 0a 20   set fPrev  $f. 
0320: 20 20 20 73 65 74 20 6e 52 61 6e 67 65 20 31 0a     set nRange 1.
0330: 20 20 7d 0a 20 20 6c 61 70 70 65 6e 64 20 6c 52    }.  lappend lR
0340: 61 6e 67 65 20 5b 6c 69 73 74 20 24 69 46 69 72  ange [list $iFir
0350: 73 74 20 24 6e 52 61 6e 67 65 5d 0a 20 20 6c 61  st $nRange].  la
0360: 70 70 65 6e 64 20 61 43 68 61 72 20 24 63 50 72  ppend aChar $cPr
0370: 65 76 0a 20 20 6c 61 70 70 65 6e 64 20 61 46 6c  ev.  lappend aFl
0380: 61 67 20 24 66 50 72 65 76 0a 0a 20 20 70 75 74  ag $fPrev..  put
0390: 73 20 22 2f 2a 22 0a 20 20 70 75 74 73 20 22 2a  s "/*".  puts "*
03a0: 2a 20 49 66 20 74 68 65 20 61 72 67 75 6d 65 6e  * If the argumen
03b0: 74 20 69 73 20 61 20 63 6f 64 65 70 6f 69 6e 74  t is a codepoint
03c0: 20 63 6f 72 72 65 73 70 6f 6e 64 69 6e 67 20 74   corresponding t
03d0: 6f 20 61 20 6c 6f 77 65 72 63 61 73 65 20 6c 65  o a lowercase le
03e0: 74 74 65 72 22 0a 20 20 70 75 74 73 20 22 2a 2a  tter".  puts "**
03f0: 20 69 6e 20 74 68 65 20 41 53 43 49 49 20 72 61   in the ASCII ra
0400: 6e 67 65 20 77 69 74 68 20 61 20 64 69 61 63 72  nge with a diacr
0410: 69 74 69 63 20 61 64 64 65 64 2c 20 72 65 74 75  itic added, retu
0420: 72 6e 20 74 68 65 20 63 6f 64 65 70 6f 69 6e 74  rn the codepoint
0430: 22 0a 20 20 70 75 74 73 20 22 2a 2a 20 6f 66 20  ".  puts "** of 
0440: 74 68 65 20 41 53 43 49 49 20 6c 65 74 74 65 72  the ASCII letter
0450: 20 6f 6e 6c 79 2e 20 46 6f 72 20 65 78 61 6d 70   only. For examp
0460: 6c 65 2c 20 69 66 20 70 61 73 73 65 64 20 32 33  le, if passed 23
0470: 35 20 2d 20 5c 22 4c 41 54 49 4e 22 0a 20 20 70  5 - \"LATIN".  p
0480: 75 74 73 20 22 2a 2a 20 53 4d 41 4c 4c 20 4c 45  uts "** SMALL LE
0490: 54 54 45 52 20 45 20 57 49 54 48 20 44 49 41 45  TTER E WITH DIAE
04a0: 52 45 53 49 53 5c 22 20 2d 20 72 65 74 75 72 6e  RESIS\" - return
04b0: 20 36 35 20 28 5c 22 4c 41 54 49 4e 20 53 4d 41   65 (\"LATIN SMA
04c0: 4c 4c 20 4c 45 54 54 45 52 22 0a 20 20 70 75 74  LL LETTER".  put
04d0: 73 20 22 2a 2a 20 45 5c 22 29 2e 20 54 68 65 20  s "** E\"). The 
04e0: 72 65 73 75 6c 73 20 6f 66 20 70 61 73 73 69 6e  resuls of passin
04f0: 67 20 61 20 63 6f 64 65 70 6f 69 6e 74 20 74 68  g a codepoint th
0500: 61 74 20 63 6f 72 72 65 73 70 6f 6e 64 73 20 74  at corresponds t
0510: 6f 20 61 6e 22 0a 20 20 70 75 74 73 20 22 2a 2a  o an".  puts "**
0520: 20 75 70 70 65 72 63 61 73 65 20 6c 65 74 74 65   uppercase lette
0530: 72 20 61 72 65 20 75 6e 64 65 66 69 6e 65 64 2e  r are undefined.
0540: 22 0a 20 20 70 75 74 73 20 22 2a 2f 22 0a 20 20  ".  puts "*/".  
0550: 70 75 74 73 20 22 73 74 61 74 69 63 20 69 6e 74  puts "static int
0560: 20 24 7b 3a 3a 72 65 6d 6f 76 65 5f 64 69 61 63   ${::remove_diac
0570: 72 69 74 69 63 7d 28 69 6e 74 20 63 2c 20 69 6e  ritic}(int c, in
0580: 74 20 62 43 6f 6d 70 6c 65 78 29 5c 7b 22 0a 20  t bComplex)\{". 
0590: 20 70 75 74 73 20 22 20 20 75 6e 73 69 67 6e 65   puts "  unsigne
05a0: 64 20 73 68 6f 72 74 20 61 44 69 61 5c 5b 5c 5d  d short aDia\[\]
05b0: 20 3d 20 5c 7b 22 0a 20 20 70 75 74 73 20 2d 6e   = \{".  puts -n
05c0: 6f 6e 65 77 6c 69 6e 65 20 22 20 20 20 20 20 20  onewline "      
05d0: 20 20 30 2c 20 22 0a 20 20 73 65 74 20 69 20 31    0, ".  set i 1
05e0: 0a 20 20 66 6f 72 65 61 63 68 20 72 20 24 6c 52  .  foreach r $lR
05f0: 61 6e 67 65 20 7b 0a 20 20 20 20 66 6f 72 65 61  ange {.    forea
0600: 63 68 20 7b 69 43 6f 64 65 20 6e 52 61 6e 67 65  ch {iCode nRange
0610: 7d 20 24 72 20 7b 7d 0a 20 20 20 20 69 66 20 7b  } $r {}.    if {
0620: 28 24 69 20 25 20 38 29 3d 3d 30 7d 20 7b 70 75  ($i % 8)==0} {pu
0630: 74 73 20 22 22 20 3b 20 70 75 74 73 20 2d 6e 6f  ts "" ; puts -no
0640: 6e 65 77 6c 69 6e 65 20 22 20 20 20 20 22 20 7d  newline "    " }
0650: 0a 20 20 20 20 69 6e 63 72 20 69 0a 0a 20 20 20  .    incr i..   
0660: 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65   puts -nonewline
0670: 20 5b 66 6f 72 6d 61 74 20 22 25 35 64 22 20 5b   [format "%5d" [
0680: 65 78 70 72 20 28 24 69 43 6f 64 65 3c 3c 33 29  expr ($iCode<<3)
0690: 20 2b 20 24 6e 52 61 6e 67 65 2d 31 5d 5d 0a 20   + $nRange-1]]. 
06a0: 20 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69     puts -nonewli
06b0: 6e 65 20 22 2c 20 22 0a 20 20 7d 0a 20 20 70 75  ne ", ".  }.  pu
06c0: 74 73 20 22 22 0a 20 20 70 75 74 73 20 22 20 20  ts "".  puts "  
06d0: 5c 7d 3b 22 0a 20 20 70 75 74 73 20 22 20 20 63  \};".  puts "  c
06e0: 68 61 72 20 61 43 68 61 72 5c 5b 5c 5d 20 3d 20  har aChar\[\] = 
06f0: 5c 7b 22 0a 20 20 70 75 74 73 20 2d 6e 6f 6e 65  \{".  puts -none
0700: 77 6c 69 6e 65 20 22 20 20 20 20 27 5c 5c 30 27  wline "    '\\0'
0710: 2c 20 20 20 20 20 20 22 0a 20 20 73 65 74 20 69  ,      ".  set i
0720: 20 31 0a 20 20 66 6f 72 65 61 63 68 20 63 20 24   1.  foreach c $
0730: 61 43 68 61 72 20 66 20 24 61 46 6c 61 67 20 7b  aChar f $aFlag {
0740: 0a 20 20 20 20 69 66 20 7b 20 24 66 20 7d 20 7b  .    if { $f } {
0750: 0a 20 20 20 20 20 20 73 65 74 20 73 74 72 20 22  .      set str "
0760: 27 24 63 27 7c 30 78 38 30 2c 20 20 22 0a 20 20  '$c'|0x80,  ".  
0770: 20 20 7d 20 65 6c 73 65 20 7b 0a 20 20 20 20 20    } else {.     
0780: 20 73 65 74 20 73 74 72 20 22 27 24 63 27 7c 30   set str "'$c'|0
0790: 78 30 30 2c 20 20 22 0a 20 20 20 20 7d 0a 20 20  x00,  ".    }.  
07a0: 20 20 69 66 20 7b 24 63 20 3d 3d 20 22 22 7d 20    if {$c == ""} 
07b0: 7b 20 73 65 74 20 73 74 72 20 22 27 5c 5c 30 27  { set str "'\\0'
07c0: 2c 20 20 20 20 20 20 22 20 7d 0a 0a 20 20 20 20  ,      " }..    
07d0: 69 66 20 7b 28 24 69 20 25 20 36 29 3d 3d 30 7d  if {($i % 6)==0}
07e0: 20 7b 70 75 74 73 20 22 22 20 3b 20 70 75 74 73   {puts "" ; puts
07f0: 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22 20 20 20   -nonewline "   
0800: 20 22 20 7d 0a 20 20 20 20 69 6e 63 72 20 69 0a   " }.    incr i.
0810: 20 20 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c      puts -nonewl
0820: 69 6e 65 20 22 24 73 74 72 22 0a 20 20 7d 0a 20  ine "$str".  }. 
0830: 20 70 75 74 73 20 22 22 0a 20 20 70 75 74 73 20   puts "".  puts 
0840: 22 20 20 5c 7d 3b 22 0a 20 20 70 75 74 73 20 7b  "  \};".  puts {
0850: 0a 20 20 75 6e 73 69 67 6e 65 64 20 69 6e 74 20  .  unsigned int 
0860: 6b 65 79 20 3d 20 28 28 28 75 6e 73 69 67 6e 65  key = (((unsigne
0870: 64 20 69 6e 74 29 63 29 3c 3c 33 29 20 7c 20 30  d int)c)<<3) | 0
0880: 78 30 30 30 30 30 30 30 37 3b 0a 20 20 69 6e 74  x00000007;.  int
0890: 20 69 52 65 73 20 3d 20 30 3b 0a 20 20 69 6e 74   iRes = 0;.  int
08a0: 20 69 48 69 20 3d 20 73 69 7a 65 6f 66 28 61 44   iHi = sizeof(aD
08b0: 69 61 29 2f 73 69 7a 65 6f 66 28 61 44 69 61 5b  ia)/sizeof(aDia[
08c0: 30 5d 29 20 2d 20 31 3b 0a 20 20 69 6e 74 20 69  0]) - 1;.  int i
08d0: 4c 6f 20 3d 20 30 3b 0a 20 20 77 68 69 6c 65 28  Lo = 0;.  while(
08e0: 20 69 48 69 3e 3d 69 4c 6f 20 29 7b 0a 20 20 20   iHi>=iLo ){.   
08f0: 20 69 6e 74 20 69 54 65 73 74 20 3d 20 28 69 48   int iTest = (iH
0900: 69 20 2b 20 69 4c 6f 29 20 2f 20 32 3b 0a 20 20  i + iLo) / 2;.  
0910: 20 20 69 66 28 20 6b 65 79 20 3e 3d 20 61 44 69    if( key >= aDi
0920: 61 5b 69 54 65 73 74 5d 20 29 7b 0a 20 20 20 20  a[iTest] ){.    
0930: 20 20 69 52 65 73 20 3d 20 69 54 65 73 74 3b 0a    iRes = iTest;.
0940: 20 20 20 20 20 20 69 4c 6f 20 3d 20 69 54 65 73        iLo = iTes
0950: 74 2b 31 3b 0a 20 20 20 20 7d 65 6c 73 65 7b 0a  t+1;.    }else{.
0960: 20 20 20 20 20 20 69 48 69 20 3d 20 69 54 65 73        iHi = iTes
0970: 74 2d 31 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20  t-1;.    }.  }. 
0980: 20 61 73 73 65 72 74 28 20 6b 65 79 3e 3d 61 44   assert( key>=aD
0990: 69 61 5b 69 52 65 73 5d 20 29 3b 0a 20 20 69 66  ia[iRes] );.  if
09a0: 28 20 62 43 6f 6d 70 6c 65 78 3d 3d 30 20 26 26  ( bComplex==0 &&
09b0: 20 28 61 43 68 61 72 5b 69 52 65 73 5d 20 26 20   (aChar[iRes] & 
09c0: 30 78 38 30 29 20 29 20 72 65 74 75 72 6e 20 63  0x80) ) return c
09d0: 3b 0a 20 20 72 65 74 75 72 6e 20 28 63 20 3e 20  ;.  return (c > 
09e0: 28 61 44 69 61 5b 69 52 65 73 5d 3e 3e 33 29 20  (aDia[iRes]>>3) 
09f0: 2b 20 28 61 44 69 61 5b 69 52 65 73 5d 26 30 78  + (aDia[iRes]&0x
0a00: 30 37 29 29 20 3f 20 63 20 3a 20 28 28 69 6e 74  07)) ? c : ((int
0a10: 29 61 43 68 61 72 5b 69 52 65 73 5d 20 26 20 30  )aChar[iRes] & 0
0a20: 78 37 46 29 3b 7d 0a 20 20 70 75 74 73 20 22 5c  x7F);}.  puts "\
0a30: 7d 22 0a 7d 0a 0a 70 72 6f 63 20 70 72 69 6e 74  }".}..proc print
0a40: 5f 69 73 64 69 61 63 72 69 74 69 63 20 7b 7a 46  _isdiacritic {zF
0a50: 75 6e 63 20 6d 61 70 7d 20 7b 0a 0a 20 20 73 65  unc map} {..  se
0a60: 74 20 6c 43 6f 64 65 20 5b 6c 69 73 74 5d 0a 20  t lCode [list]. 
0a70: 20 66 6f 72 65 61 63 68 20 6d 20 24 6d 61 70 20   foreach m $map 
0a80: 7b 0a 20 20 20 20 66 6f 72 65 61 63 68 20 7b 63  {.    foreach {c
0a90: 6f 64 65 20 63 68 61 72 20 66 6c 61 67 7d 20 24  ode char flag} $
0aa0: 6d 20 7b 7d 0a 20 20 20 20 69 66 20 7b 24 66 6c  m {}.    if {$fl
0ab0: 61 67 7d 20 63 6f 6e 74 69 6e 75 65 0a 20 20 20  ag} continue.   
0ac0: 20 69 66 20 7b 24 63 6f 64 65 20 26 26 20 24 63   if {$code && $c
0ad0: 68 61 72 20 3d 3d 20 22 22 7d 20 7b 20 6c 61 70  har == ""} { lap
0ae0: 70 65 6e 64 20 6c 43 6f 64 65 20 24 63 6f 64 65  pend lCode $code
0af0: 20 7d 0a 20 20 7d 0a 20 20 73 65 74 20 6c 43 6f   }.  }.  set lCo
0b00: 64 65 20 5b 6c 73 6f 72 74 20 2d 69 6e 74 65 67  de [lsort -integ
0b10: 65 72 20 24 6c 43 6f 64 65 5d 0a 20 20 73 65 74  er $lCode].  set
0b20: 20 69 46 69 72 73 74 20 5b 6c 69 6e 64 65 78 20   iFirst [lindex 
0b30: 24 6c 43 6f 64 65 20 30 5d 0a 20 20 73 65 74 20  $lCode 0].  set 
0b40: 69 4c 61 73 74 20 5b 6c 69 6e 64 65 78 20 24 6c  iLast [lindex $l
0b50: 43 6f 64 65 20 65 6e 64 5d 0a 0a 20 20 73 65 74  Code end]..  set
0b60: 20 69 31 20 30 0a 20 20 73 65 74 20 69 32 20 30   i1 0.  set i2 0
0b70: 0a 0a 20 20 66 6f 72 65 61 63 68 20 63 20 24 6c  ..  foreach c $l
0b80: 43 6f 64 65 20 7b 0a 20 20 20 20 73 65 74 20 69  Code {.    set i
0b90: 20 5b 65 78 70 72 20 24 63 20 2d 20 24 69 46 69   [expr $c - $iFi
0ba0: 72 73 74 5d 0a 20 20 20 20 69 66 20 7b 24 69 20  rst].    if {$i 
0bb0: 3c 20 33 32 7d 20 7b 0a 20 20 20 20 20 20 73 65  < 32} {.      se
0bc0: 74 20 69 31 20 5b 65 78 70 72 20 7b 24 69 31 20  t i1 [expr {$i1 
0bd0: 7c 20 28 31 3c 3c 24 69 29 7d 5d 0a 20 20 20 20  | (1<<$i)}].    
0be0: 7d 20 65 6c 73 65 20 7b 0a 20 20 20 20 20 20 73  } else {.      s
0bf0: 65 74 20 69 32 20 5b 65 78 70 72 20 7b 24 69 32  et i2 [expr {$i2
0c00: 20 7c 20 28 31 3c 3c 28 24 69 2d 33 32 29 29 7d   | (1<<($i-32))}
0c10: 5d 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 70  ].    }.  }..  p
0c20: 75 74 73 20 22 2f 2a 22 0a 20 20 70 75 74 73 20  uts "/*".  puts 
0c30: 22 2a 2a 20 52 65 74 75 72 6e 20 74 72 75 65 20  "** Return true 
0c40: 69 66 20 74 68 65 20 61 72 67 75 6d 65 6e 74 20  if the argument 
0c50: 69 6e 74 65 72 70 72 65 74 65 64 20 61 73 20 61  interpreted as a
0c60: 20 75 6e 69 63 6f 64 65 20 63 6f 64 65 70 6f 69   unicode codepoi
0c70: 6e 74 22 20 0a 20 20 70 75 74 73 20 22 2a 2a 20  nt" .  puts "** 
0c80: 69 73 20 61 20 64 69 61 63 72 69 74 69 63 61 6c  is a diacritical
0c90: 20 6d 6f 64 69 66 69 65 72 20 63 68 61 72 61 63   modifier charac
0ca0: 74 65 72 2e 22 0a 20 20 70 75 74 73 20 22 2a 2f  ter.".  puts "*/
0cb0: 22 0a 20 20 70 75 74 73 20 22 69 6e 74 20 24 7b  ".  puts "int ${
0cc0: 7a 46 75 6e 63 7d 5c 28 69 6e 74 20 63 29 5c 7b  zFunc}\(int c)\{
0cd0: 22 0a 20 20 70 75 74 73 20 22 20 20 75 6e 73 69  ".  puts "  unsi
0ce0: 67 6e 65 64 20 69 6e 74 20 6d 61 73 6b 30 20 3d  gned int mask0 =
0cf0: 20 5b 66 6f 72 6d 61 74 20 22 30 78 25 30 38 58   [format "0x%08X
0d00: 22 20 24 69 31 5d 3b 22 0a 20 20 70 75 74 73 20  " $i1];".  puts 
0d10: 22 20 20 75 6e 73 69 67 6e 65 64 20 69 6e 74 20  "  unsigned int 
0d20: 6d 61 73 6b 31 20 3d 20 5b 66 6f 72 6d 61 74 20  mask1 = [format 
0d30: 22 30 78 25 30 38 58 22 20 24 69 32 5d 3b 22 0a  "0x%08X" $i2];".
0d40: 0a 20 20 70 75 74 73 20 22 20 20 69 66 28 20 63  .  puts "  if( c
0d50: 3c 24 69 46 69 72 73 74 20 7c 7c 20 63 3e 24 69  <$iFirst || c>$i
0d60: 4c 61 73 74 20 29 20 72 65 74 75 72 6e 20 30 3b  Last ) return 0;
0d70: 22 0a 20 20 70 75 74 73 20 22 20 20 72 65 74 75  ".  puts "  retu
0d80: 72 6e 20 28 63 20 3c 20 24 69 46 69 72 73 74 2b  rn (c < $iFirst+
0d90: 33 32 29 20 3f 22 0a 20 20 70 75 74 73 20 22 20  32) ?".  puts " 
0da0: 20 20 20 20 20 28 6d 61 73 6b 30 20 26 20 28 31       (mask0 & (1
0db0: 20 3c 3c 20 28 63 2d 24 69 46 69 72 73 74 29 29   << (c-$iFirst))
0dc0: 29 20 3a 22 0a 20 20 70 75 74 73 20 22 20 20 20  ) :".  puts "   
0dd0: 20 20 20 28 6d 61 73 6b 31 20 26 20 28 31 20 3c     (mask1 & (1 <
0de0: 3c 20 28 63 2d 24 69 46 69 72 73 74 2d 33 32 29  < (c-$iFirst-32)
0df0: 29 29 3b 22 0a 20 20 70 75 74 73 20 22 5c 7d 22  ));".  puts "\}"
0e00: 0a 7d 0a 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  .}...#----------
0e10: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0e20: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0e30: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0e40: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a  ---------------.
0e50: 0a 70 72 6f 63 20 61 6e 5f 6c 6f 61 64 5f 73 65  .proc an_load_se
0e60: 70 61 72 61 74 6f 72 5f 72 61 6e 67 65 73 20 7b  parator_ranges {
0e70: 7d 20 7b 0a 20 20 67 6c 6f 62 61 6c 20 75 6e 69  } {.  global uni
0e80: 63 6f 64 65 64 61 74 61 2e 74 78 74 0a 20 20 73  codedata.txt.  s
0e90: 65 74 20 6c 53 65 70 20 5b 61 6e 5f 6c 6f 61 64  et lSep [an_load
0ea0: 5f 75 6e 69 63 6f 64 65 64 61 74 61 5f 74 65 78  _unicodedata_tex
0eb0: 74 20 24 7b 75 6e 69 63 6f 64 65 64 61 74 61 2e  t ${unicodedata.
0ec0: 74 78 74 7d 5d 0a 20 20 75 6e 73 65 74 20 2d 6e  txt}].  unset -n
0ed0: 6f 63 6f 6d 70 6c 61 69 6e 20 69 46 69 72 73 74  ocomplain iFirst
0ee0: 20 0a 20 20 75 6e 73 65 74 20 2d 6e 6f 63 6f 6d   .  unset -nocom
0ef0: 70 6c 61 69 6e 20 6e 52 61 6e 67 65 20 0a 20 20  plain nRange .  
0f00: 73 65 74 20 6c 52 61 6e 67 65 20 5b 6c 69 73 74  set lRange [list
0f10: 5d 0a 20 20 66 6f 72 65 61 63 68 20 73 65 70 20  ].  foreach sep 
0f20: 24 6c 53 65 70 20 7b 0a 20 20 20 20 69 66 20 7b  $lSep {.    if {
0f30: 30 3d 3d 5b 69 6e 66 6f 20 65 78 69 73 74 73 20  0==[info exists 
0f40: 69 46 69 72 73 74 5d 7d 20 7b 0a 20 20 20 20 20  iFirst]} {.     
0f50: 20 73 65 74 20 69 46 69 72 73 74 20 24 73 65 70   set iFirst $sep
0f60: 0a 20 20 20 20 20 20 73 65 74 20 6e 52 61 6e 67  .      set nRang
0f70: 65 20 31 0a 20 20 20 20 7d 20 65 6c 73 65 69 66  e 1.    } elseif
0f80: 20 7b 20 24 73 65 70 20 3d 3d 20 28 24 69 46 69   { $sep == ($iFi
0f90: 72 73 74 2b 24 6e 52 61 6e 67 65 29 20 7d 20 7b  rst+$nRange) } {
0fa0: 0a 20 20 20 20 20 20 69 6e 63 72 20 6e 52 61 6e  .      incr nRan
0fb0: 67 65 0a 20 20 20 20 7d 20 65 6c 73 65 20 7b 0a  ge.    } else {.
0fc0: 20 20 20 20 20 20 6c 61 70 70 65 6e 64 20 6c 52        lappend lR
0fd0: 61 6e 67 65 20 5b 6c 69 73 74 20 24 69 46 69 72  ange [list $iFir
0fe0: 73 74 20 24 6e 52 61 6e 67 65 5d 0a 20 20 20 20  st $nRange].    
0ff0: 20 20 73 65 74 20 69 46 69 72 73 74 20 24 73 65    set iFirst $se
1000: 70 0a 20 20 20 20 20 20 73 65 74 20 6e 52 61 6e  p.      set nRan
1010: 67 65 20 31 0a 20 20 20 20 7d 0a 20 20 7d 20 0a  ge 1.    }.  } .
1020: 20 20 6c 61 70 70 65 6e 64 20 6c 52 61 6e 67 65    lappend lRange
1030: 20 5b 6c 69 73 74 20 24 69 46 69 72 73 74 20 24   [list $iFirst $
1040: 6e 52 61 6e 67 65 5d 0a 20 20 73 65 74 20 6c 52  nRange].  set lR
1050: 61 6e 67 65 0a 7d 0a 0a 70 72 6f 63 20 61 6e 5f  ange.}..proc an_
1060: 70 72 69 6e 74 5f 72 61 6e 67 65 5f 61 72 72 61  print_range_arra
1070: 79 20 7b 6c 52 61 6e 67 65 7d 20 7b 0a 20 20 73  y {lRange} {.  s
1080: 65 74 20 69 46 69 72 73 74 4d 61 78 20 30 0a 20  et iFirstMax 0. 
1090: 20 73 65 74 20 6e 52 61 6e 67 65 4d 61 78 20 30   set nRangeMax 0
10a0: 0a 20 20 66 6f 72 65 61 63 68 20 72 61 6e 67 65  .  foreach range
10b0: 20 24 6c 52 61 6e 67 65 20 7b 0a 20 20 20 20 66   $lRange {.    f
10c0: 6f 72 65 61 63 68 20 7b 69 46 69 72 73 74 20 6e  oreach {iFirst n
10d0: 52 61 6e 67 65 7d 20 24 72 61 6e 67 65 20 7b 7d  Range} $range {}
10e0: 0a 20 20 20 20 69 66 20 7b 24 69 46 69 72 73 74  .    if {$iFirst
10f0: 20 3e 20 24 69 46 69 72 73 74 4d 61 78 7d 20 7b   > $iFirstMax} {
1100: 73 65 74 20 69 46 69 72 73 74 4d 61 78 20 24 69  set iFirstMax $i
1110: 46 69 72 73 74 7d 0a 20 20 20 20 69 66 20 7b 24  First}.    if {$
1120: 6e 52 61 6e 67 65 20 3e 20 24 6e 52 61 6e 67 65  nRange > $nRange
1130: 4d 61 78 7d 20 7b 73 65 74 20 6e 52 61 6e 67 65  Max} {set nRange
1140: 4d 61 78 20 24 6e 52 61 6e 67 65 7d 0a 20 20 7d  Max $nRange}.  }
1150: 0a 20 20 69 66 20 7b 24 69 46 69 72 73 74 4d 61  .  if {$iFirstMa
1160: 78 20 3e 3d 20 28 31 3c 3c 32 32 29 7d 20 7b 65  x >= (1<<22)} {e
1170: 72 72 6f 72 20 22 66 69 72 73 74 2d 6d 61 78 20  rror "first-max 
1180: 69 73 20 74 6f 6f 20 6c 61 72 67 65 20 66 6f 72  is too large for
1190: 20 66 6f 72 6d 61 74 22 7d 0a 20 20 69 66 20 7b   format"}.  if {
11a0: 24 6e 52 61 6e 67 65 4d 61 78 20 3e 3d 20 28 31  $nRangeMax >= (1
11b0: 3c 3c 31 30 29 7d 20 7b 65 72 72 6f 72 20 22 72  <<10)} {error "r
11c0: 61 6e 67 65 2d 6d 61 78 20 69 73 20 74 6f 6f 20  ange-max is too 
11d0: 6c 61 72 67 65 20 66 6f 72 20 66 6f 72 6d 61 74  large for format
11e0: 22 7d 0a 0a 20 20 70 75 74 73 20 2d 6e 6f 6e 65  "}..  puts -none
11f0: 77 6c 69 6e 65 20 22 20 20 22 0a 20 20 70 75 74  wline "  ".  put
1200: 73 20 5b 73 74 72 69 6e 67 20 74 72 69 6d 20 7b  s [string trim {
1210: 0a 20 20 2f 2a 20 45 61 63 68 20 75 6e 73 69 67  .  /* Each unsig
1220: 6e 65 64 20 69 6e 74 65 67 65 72 20 69 6e 20 74  ned integer in t
1230: 68 65 20 66 6f 6c 6c 6f 77 69 6e 67 20 61 72 72  he following arr
1240: 61 79 20 63 6f 72 72 65 73 70 6f 6e 64 73 20 74  ay corresponds t
1250: 6f 20 61 20 63 6f 6e 74 69 67 75 6f 75 73 0a 20  o a contiguous. 
1260: 20 2a 2a 20 72 61 6e 67 65 20 6f 66 20 75 6e 69   ** range of uni
1270: 63 6f 64 65 20 63 6f 64 65 70 6f 69 6e 74 73 20  code codepoints 
1280: 74 68 61 74 20 61 72 65 20 6e 6f 74 20 65 69 74  that are not eit
1290: 68 65 72 20 6c 65 74 74 65 72 73 20 6f 72 20 6e  her letters or n
12a0: 75 6d 62 65 72 73 20 28 69 2e 65 2e 0a 20 20 2a  umbers (i.e..  *
12b0: 2a 20 63 6f 64 65 70 6f 69 6e 74 73 20 66 6f 72  * codepoints for
12c0: 20 77 68 69 63 68 20 74 68 69 73 20 66 75 6e 63   which this func
12d0: 74 69 6f 6e 20 73 68 6f 75 6c 64 20 72 65 74 75  tion should retu
12e0: 72 6e 20 30 29 2e 0a 20 20 2a 2a 0a 20 20 2a 2a  rn 0)..  **.  **
12f0: 20 54 68 65 20 6d 6f 73 74 20 73 69 67 6e 69 66   The most signif
1300: 69 63 61 6e 74 20 32 32 20 62 69 74 73 20 69 6e  icant 22 bits in
1310: 20 65 61 63 68 20 33 32 2d 62 69 74 20 76 61 6c   each 32-bit val
1320: 75 65 20 63 6f 6e 74 61 69 6e 20 74 68 65 20 66  ue contain the f
1330: 69 72 73 74 20 0a 20 20 2a 2a 20 63 6f 64 65 70  irst .  ** codep
1340: 6f 69 6e 74 20 69 6e 20 74 68 65 20 72 61 6e 67  oint in the rang
1350: 65 2e 20 54 68 65 20 6c 65 61 73 74 20 73 69 67  e. The least sig
1360: 6e 69 66 69 63 61 6e 74 20 31 30 20 62 69 74 73  nificant 10 bits
1370: 20 61 72 65 20 75 73 65 64 20 74 6f 20 73 74 6f   are used to sto
1380: 72 65 0a 20 20 2a 2a 20 74 68 65 20 73 69 7a 65  re.  ** the size
1390: 20 6f 66 20 74 68 65 20 72 61 6e 67 65 20 28 61   of the range (a
13a0: 6c 77 61 79 73 20 61 74 20 6c 65 61 73 74 20 31  lways at least 1
13b0: 29 2e 20 49 6e 20 6f 74 68 65 72 20 77 6f 72 64  ). In other word
13c0: 73 2c 20 74 68 65 20 76 61 6c 75 65 20 0a 20 20  s, the value .  
13d0: 2a 2a 20 28 28 43 3c 3c 32 32 29 20 2b 20 4e 29  ** ((C<<22) + N)
13e0: 20 72 65 70 72 65 73 65 6e 74 73 20 61 20 72 61   represents a ra
13f0: 6e 67 65 20 6f 66 20 4e 20 63 6f 64 65 70 6f 69  nge of N codepoi
1400: 6e 74 73 20 73 74 61 72 74 69 6e 67 20 77 69 74  nts starting wit
1410: 68 20 63 6f 64 65 70 6f 69 6e 74 20 0a 20 20 2a  h codepoint .  *
1420: 2a 20 43 2e 20 49 74 20 69 73 20 6e 6f 74 20 70  * C. It is not p
1430: 6f 73 73 69 62 6c 65 20 74 6f 20 72 65 70 72 65  ossible to repre
1440: 73 65 6e 74 20 61 20 72 61 6e 67 65 20 6c 61 72  sent a range lar
1450: 67 65 72 20 74 68 61 6e 20 31 30 32 33 20 63 6f  ger than 1023 co
1460: 64 65 70 6f 69 6e 74 73 20 0a 20 20 2a 2a 20 75  depoints .  ** u
1470: 73 69 6e 67 20 74 68 69 73 20 66 6f 72 6d 61 74  sing this format
1480: 2e 0a 20 20 2a 2f 0a 20 20 7d 5d 0a 20 20 70 75  ..  */.  }].  pu
1490: 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22 20  ts -nonewline " 
14a0: 20 73 74 61 74 69 63 20 63 6f 6e 73 74 20 75 6e   static const un
14b0: 73 69 67 6e 65 64 20 69 6e 74 20 61 45 6e 74 72  signed int aEntr
14c0: 79 5c 5b 5c 5d 20 3d 20 5c 7b 22 0a 20 20 73 65  y\[\] = \{".  se
14d0: 74 20 69 20 30 0a 20 20 66 6f 72 65 61 63 68 20  t i 0.  foreach 
14e0: 72 61 6e 67 65 20 24 6c 52 61 6e 67 65 20 7b 0a  range $lRange {.
14f0: 20 20 20 20 66 6f 72 65 61 63 68 20 7b 69 46 69      foreach {iFi
1500: 72 73 74 20 6e 52 61 6e 67 65 7d 20 24 72 61 6e  rst nRange} $ran
1510: 67 65 20 7b 7d 0a 20 20 20 20 73 65 74 20 75 33  ge {}.    set u3
1520: 32 20 5b 66 6f 72 6d 61 74 20 22 30 78 25 30 38  2 [format "0x%08
1530: 58 22 20 5b 65 78 70 72 20 28 24 69 46 69 72 73  X" [expr ($iFirs
1540: 74 3c 3c 31 30 29 20 2b 20 24 6e 52 61 6e 67 65  t<<10) + $nRange
1550: 5d 5d 0a 0a 20 20 20 20 69 66 20 7b 28 24 69 20  ]]..    if {($i 
1560: 25 20 35 29 3d 3d 30 7d 20 7b 70 75 74 73 20 22  % 5)==0} {puts "
1570: 22 20 3b 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c  " ; puts -nonewl
1580: 69 6e 65 20 22 20 20 20 22 7d 0a 20 20 20 20 70  ine "   "}.    p
1590: 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22  uts -nonewline "
15a0: 20 24 75 33 32 2c 22 0a 20 20 20 20 69 6e 63 72   $u32,".    incr
15b0: 20 69 0a 20 20 7d 0a 20 20 70 75 74 73 20 22 22   i.  }.  puts ""
15c0: 0a 20 20 70 75 74 73 20 22 20 20 5c 7d 3b 22 0a  .  puts "  \};".
15d0: 7d 0a 0a 70 72 6f 63 20 61 6e 5f 70 72 69 6e 74  }..proc an_print
15e0: 5f 61 73 63 69 69 5f 62 69 74 6d 61 70 20 7b 6c  _ascii_bitmap {l
15f0: 52 61 6e 67 65 7d 20 7b 0a 20 20 66 6f 72 65 61  Range} {.  forea
1600: 63 68 20 72 61 6e 67 65 20 24 6c 52 61 6e 67 65  ch range $lRange
1610: 20 7b 0a 20 20 20 20 66 6f 72 65 61 63 68 20 7b   {.    foreach {
1620: 69 46 69 72 73 74 20 6e 52 61 6e 67 65 7d 20 24  iFirst nRange} $
1630: 72 61 6e 67 65 20 7b 7d 0a 20 20 20 20 66 6f 72  range {}.    for
1640: 20 7b 73 65 74 20 69 20 24 69 46 69 72 73 74 7d   {set i $iFirst}
1650: 20 7b 24 69 20 3c 20 28 24 69 46 69 72 73 74 2b   {$i < ($iFirst+
1660: 24 6e 52 61 6e 67 65 29 7d 20 7b 69 6e 63 72 20  $nRange)} {incr 
1670: 69 7d 20 7b 0a 20 20 20 20 20 20 69 66 20 7b 24  i} {.      if {$
1680: 69 3c 3d 31 32 37 7d 20 7b 20 73 65 74 20 61 28  i<=127} { set a(
1690: 24 69 29 20 31 20 7d 0a 20 20 20 20 7d 0a 20 20  $i) 1 }.    }.  
16a0: 7d 0a 0a 20 20 73 65 74 20 61 41 73 63 69 69 20  }..  set aAscii 
16b0: 5b 6c 69 73 74 20 30 20 30 20 30 20 30 5d 0a 20  [list 0 0 0 0]. 
16c0: 20 66 6f 72 65 61 63 68 20 6b 65 79 20 5b 61 72   foreach key [ar
16d0: 72 61 79 20 6e 61 6d 65 73 20 61 5d 20 7b 0a 20  ray names a] {. 
16e0: 20 20 20 73 65 74 20 69 64 78 20 5b 65 78 70 72     set idx [expr
16f0: 20 24 6b 65 79 20 3e 3e 20 35 5d 0a 20 20 20 20   $key >> 5].    
1700: 6c 73 65 74 20 61 41 73 63 69 69 20 24 69 64 78  lset aAscii $idx
1710: 20 5b 65 78 70 72 20 5b 6c 69 6e 64 65 78 20 24   [expr [lindex $
1720: 61 41 73 63 69 69 20 24 69 64 78 5d 20 7c 20 28  aAscii $idx] | (
1730: 31 20 3c 3c 20 28 24 6b 65 79 26 30 78 30 30 31  1 << ($key&0x001
1740: 46 29 29 5d 0a 20 20 7d 0a 0a 20 20 70 75 74 73  F))].  }..  puts
1750: 20 22 20 20 73 74 61 74 69 63 20 63 6f 6e 73 74   "  static const
1760: 20 75 6e 73 69 67 6e 65 64 20 69 6e 74 20 61 41   unsigned int aA
1770: 73 63 69 69 5c 5b 34 5c 5d 20 3d 20 5c 7b 22 0a  scii\[4\] = \{".
1780: 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e    puts -nonewlin
1790: 65 20 22 20 20 20 22 0a 20 20 66 6f 72 65 61 63  e "   ".  foreac
17a0: 68 20 76 20 24 61 41 73 63 69 69 20 7b 20 70 75  h v $aAscii { pu
17b0: 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 5b 66  ts -nonewline [f
17c0: 6f 72 6d 61 74 20 22 20 30 78 25 30 38 58 2c 22  ormat " 0x%08X,"
17d0: 20 24 76 5d 20 7d 0a 20 20 70 75 74 73 20 22 22   $v] }.  puts ""
17e0: 0a 20 20 70 75 74 73 20 22 20 20 5c 7d 3b 22 0a  .  puts "  \};".
17f0: 7d 0a 0a 70 72 6f 63 20 70 72 69 6e 74 5f 69 73  }..proc print_is
1800: 61 6c 6e 75 6d 20 7b 7a 46 75 6e 63 20 6c 52 61  alnum {zFunc lRa
1810: 6e 67 65 7d 20 7b 0a 20 20 70 75 74 73 20 22 2f  nge} {.  puts "/
1820: 2a 22 0a 20 20 70 75 74 73 20 22 2a 2a 20 52 65  *".  puts "** Re
1830: 74 75 72 6e 20 74 72 75 65 20 69 66 20 74 68 65  turn true if the
1840: 20 61 72 67 75 6d 65 6e 74 20 63 6f 72 72 65 73   argument corres
1850: 70 6f 6e 64 73 20 74 6f 20 61 20 75 6e 69 63 6f  ponds to a unico
1860: 64 65 20 63 6f 64 65 70 6f 69 6e 74 22 0a 20 20  de codepoint".  
1870: 70 75 74 73 20 22 2a 2a 20 63 6c 61 73 73 69 66  puts "** classif
1880: 69 65 64 20 61 73 20 65 69 74 68 65 72 20 61 20  ied as either a 
1890: 6c 65 74 74 65 72 20 6f 72 20 61 20 6e 75 6d 62  letter or a numb
18a0: 65 72 2e 20 4f 74 68 65 72 77 69 73 65 20 66 61  er. Otherwise fa
18b0: 6c 73 65 2e 22 0a 20 20 70 75 74 73 20 22 2a 2a  lse.".  puts "**
18c0: 22 0a 20 20 70 75 74 73 20 22 2a 2a 20 54 68 65  ".  puts "** The
18d0: 20 72 65 73 75 6c 74 73 20 61 72 65 20 75 6e 64   results are und
18e0: 65 66 69 6e 65 64 20 69 66 20 74 68 65 20 76 61  efined if the va
18f0: 6c 75 65 20 70 61 73 73 65 64 20 74 6f 20 74 68  lue passed to th
1900: 69 73 20 66 75 6e 63 74 69 6f 6e 22 0a 20 20 70  is function".  p
1910: 75 74 73 20 22 2a 2a 20 69 73 20 6c 65 73 73 20  uts "** is less 
1920: 74 68 61 6e 20 7a 65 72 6f 2e 22 0a 20 20 70 75  than zero.".  pu
1930: 74 73 20 22 2a 2f 22 0a 20 20 70 75 74 73 20 22  ts "*/".  puts "
1940: 69 6e 74 20 24 7b 7a 46 75 6e 63 7d 5c 28 69 6e  int ${zFunc}\(in
1950: 74 20 63 29 5c 7b 22 0a 20 20 61 6e 5f 70 72 69  t c)\{".  an_pri
1960: 6e 74 5f 72 61 6e 67 65 5f 61 72 72 61 79 20 24  nt_range_array $
1970: 6c 52 61 6e 67 65 0a 20 20 61 6e 5f 70 72 69 6e  lRange.  an_prin
1980: 74 5f 61 73 63 69 69 5f 62 69 74 6d 61 70 20 24  t_ascii_bitmap $
1990: 6c 52 61 6e 67 65 0a 20 20 70 75 74 73 20 7b 0a  lRange.  puts {.
19a0: 20 20 69 66 28 20 28 75 6e 73 69 67 6e 65 64 20    if( (unsigned 
19b0: 69 6e 74 29 63 3c 31 32 38 20 29 7b 0a 20 20 20  int)c<128 ){.   
19c0: 20 72 65 74 75 72 6e 20 28 20 28 61 41 73 63 69   return ( (aAsci
19d0: 69 5b 63 20 3e 3e 20 35 5d 20 26 20 28 28 75 6e  i[c >> 5] & ((un
19e0: 73 69 67 6e 65 64 20 69 6e 74 29 31 20 3c 3c 20  signed int)1 << 
19f0: 28 63 20 26 20 30 78 30 30 31 46 29 29 29 3d 3d  (c & 0x001F)))==
1a00: 30 20 29 3b 0a 20 20 7d 65 6c 73 65 20 69 66 28  0 );.  }else if(
1a10: 20 28 75 6e 73 69 67 6e 65 64 20 69 6e 74 29 63   (unsigned int)c
1a20: 3c 28 31 3c 3c 32 32 29 20 29 7b 0a 20 20 20 20  <(1<<22) ){.    
1a30: 75 6e 73 69 67 6e 65 64 20 69 6e 74 20 6b 65 79  unsigned int key
1a40: 20 3d 20 28 28 28 75 6e 73 69 67 6e 65 64 20 69   = (((unsigned i
1a50: 6e 74 29 63 29 3c 3c 31 30 29 20 7c 20 30 78 30  nt)c)<<10) | 0x0
1a60: 30 30 30 30 33 46 46 3b 0a 20 20 20 20 69 6e 74  00003FF;.    int
1a70: 20 69 52 65 73 20 3d 20 30 3b 0a 20 20 20 20 69   iRes = 0;.    i
1a80: 6e 74 20 69 48 69 20 3d 20 73 69 7a 65 6f 66 28  nt iHi = sizeof(
1a90: 61 45 6e 74 72 79 29 2f 73 69 7a 65 6f 66 28 61  aEntry)/sizeof(a
1aa0: 45 6e 74 72 79 5b 30 5d 29 20 2d 20 31 3b 0a 20  Entry[0]) - 1;. 
1ab0: 20 20 20 69 6e 74 20 69 4c 6f 20 3d 20 30 3b 0a     int iLo = 0;.
1ac0: 20 20 20 20 77 68 69 6c 65 28 20 69 48 69 3e 3d      while( iHi>=
1ad0: 69 4c 6f 20 29 7b 0a 20 20 20 20 20 20 69 6e 74  iLo ){.      int
1ae0: 20 69 54 65 73 74 20 3d 20 28 69 48 69 20 2b 20   iTest = (iHi + 
1af0: 69 4c 6f 29 20 2f 20 32 3b 0a 20 20 20 20 20 20  iLo) / 2;.      
1b00: 69 66 28 20 6b 65 79 20 3e 3d 20 61 45 6e 74 72  if( key >= aEntr
1b10: 79 5b 69 54 65 73 74 5d 20 29 7b 0a 20 20 20 20  y[iTest] ){.    
1b20: 20 20 20 20 69 52 65 73 20 3d 20 69 54 65 73 74      iRes = iTest
1b30: 3b 0a 20 20 20 20 20 20 20 20 69 4c 6f 20 3d 20  ;.        iLo = 
1b40: 69 54 65 73 74 2b 31 3b 0a 20 20 20 20 20 20 7d  iTest+1;.      }
1b50: 65 6c 73 65 7b 0a 20 20 20 20 20 20 20 20 69 48  else{.        iH
1b60: 69 20 3d 20 69 54 65 73 74 2d 31 3b 0a 20 20 20  i = iTest-1;.   
1b70: 20 20 20 7d 0a 20 20 20 20 7d 0a 20 20 20 20 61     }.    }.    a
1b80: 73 73 65 72 74 28 20 61 45 6e 74 72 79 5b 30 5d  ssert( aEntry[0]
1b90: 3c 6b 65 79 20 29 3b 0a 20 20 20 20 61 73 73 65  <key );.    asse
1ba0: 72 74 28 20 6b 65 79 3e 3d 61 45 6e 74 72 79 5b  rt( key>=aEntry[
1bb0: 69 52 65 73 5d 20 29 3b 0a 20 20 20 20 72 65 74  iRes] );.    ret
1bc0: 75 72 6e 20 28 28 28 75 6e 73 69 67 6e 65 64 20  urn (((unsigned 
1bd0: 69 6e 74 29 63 29 20 3e 3d 20 28 28 61 45 6e 74  int)c) >= ((aEnt
1be0: 72 79 5b 69 52 65 73 5d 3e 3e 31 30 29 20 2b 20  ry[iRes]>>10) + 
1bf0: 28 61 45 6e 74 72 79 5b 69 52 65 73 5d 26 30 78  (aEntry[iRes]&0x
1c00: 33 46 46 29 29 29 3b 0a 20 20 7d 0a 20 20 72 65  3FF)));.  }.  re
1c10: 74 75 72 6e 20 31 3b 7d 0a 20 20 70 75 74 73 20  turn 1;}.  puts 
1c20: 22 5c 7d 22 0a 7d 0a 0a 70 72 6f 63 20 70 72 69  "\}".}..proc pri
1c30: 6e 74 5f 74 65 73 74 5f 69 73 61 6c 6e 75 6d 20  nt_test_isalnum 
1c40: 7b 7a 46 75 6e 63 20 6c 52 61 6e 67 65 7d 20 7b  {zFunc lRange} {
1c50: 0a 20 20 66 6f 72 65 61 63 68 20 72 61 6e 67 65  .  foreach range
1c60: 20 24 6c 52 61 6e 67 65 20 7b 0a 20 20 20 20 66   $lRange {.    f
1c70: 6f 72 65 61 63 68 20 7b 69 46 69 72 73 74 20 6e  oreach {iFirst n
1c80: 52 61 6e 67 65 7d 20 24 72 61 6e 67 65 20 7b 7d  Range} $range {}
1c90: 0a 20 20 20 20 66 6f 72 20 7b 73 65 74 20 69 20  .    for {set i 
1ca0: 24 69 46 69 72 73 74 7d 20 7b 24 69 20 3c 20 28  $iFirst} {$i < (
1cb0: 24 69 46 69 72 73 74 2b 24 6e 52 61 6e 67 65 29  $iFirst+$nRange)
1cc0: 7d 20 7b 69 6e 63 72 20 69 7d 20 7b 20 73 65 74  } {incr i} { set
1cd0: 20 61 28 24 69 29 20 31 20 7d 0a 20 20 7d 0a 0a   a($i) 1 }.  }..
1ce0: 20 20 70 75 74 73 20 22 73 74 61 74 69 63 20 69    puts "static i
1cf0: 6e 74 20 69 73 61 6c 6e 75 6d 5f 74 65 73 74 28  nt isalnum_test(
1d00: 69 6e 74 20 2a 70 69 43 6f 64 65 29 5c 7b 22 0a  int *piCode)\{".
1d10: 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e    puts -nonewlin
1d20: 65 20 22 20 20 75 6e 73 69 67 6e 65 64 20 63 68  e "  unsigned ch
1d30: 61 72 20 61 41 6c 6e 75 6d 5c 5b 5c 5d 20 3d 20  ar aAlnum\[\] = 
1d40: 5c 7b 22 0a 20 20 66 6f 72 20 7b 73 65 74 20 69  \{".  for {set i
1d50: 20 30 7d 20 7b 24 69 20 3c 20 37 30 30 30 30 7d   0} {$i < 70000}
1d60: 20 7b 69 6e 63 72 20 69 7d 20 7b 0a 20 20 20 20   {incr i} {.    
1d70: 69 66 20 7b 28 24 69 20 25 20 33 32 29 3d 3d 30  if {($i % 32)==0
1d80: 7d 20 7b 20 70 75 74 73 20 22 22 20 3b 20 70 75  } { puts "" ; pu
1d90: 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22 20  ts -nonewline " 
1da0: 20 20 20 22 20 7d 0a 20 20 20 20 73 65 74 20 62     " }.    set b
1db0: 46 6c 61 67 20 5b 65 78 70 72 20 21 5b 69 6e 66  Flag [expr ![inf
1dc0: 6f 20 65 78 69 73 74 73 20 61 28 24 69 29 5d 5d  o exists a($i)]]
1dd0: 0a 20 20 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77  .    puts -nonew
1de0: 6c 69 6e 65 20 22 24 7b 62 46 6c 61 67 7d 2c 22  line "${bFlag},"
1df0: 0a 20 20 7d 0a 20 20 70 75 74 73 20 22 22 0a 20  .  }.  puts "". 
1e00: 20 70 75 74 73 20 22 20 20 5c 7d 3b 22 0a 0a 20   puts "  \};".. 
1e10: 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65   puts -nonewline
1e20: 20 22 20 20 69 6e 74 20 61 4c 61 72 67 65 53 65   "  int aLargeSe
1e30: 70 5c 5b 5c 5d 20 3d 20 5c 7b 22 0a 20 20 73 65  p\[\] = \{".  se
1e40: 74 20 69 20 30 0a 20 20 66 6f 72 65 61 63 68 20  t i 0.  foreach 
1e50: 69 53 65 70 20 5b 6c 73 6f 72 74 20 2d 69 6e 74  iSep [lsort -int
1e60: 65 67 65 72 20 5b 61 72 72 61 79 20 6e 61 6d 65  eger [array name
1e70: 73 20 61 5d 5d 20 7b 0a 20 20 20 20 69 66 20 7b  s a]] {.    if {
1e80: 24 69 53 65 70 3c 37 30 30 30 30 7d 20 63 6f 6e  $iSep<70000} con
1e90: 74 69 6e 75 65 0a 20 20 20 20 69 66 20 7b 28 24  tinue.    if {($
1ea0: 69 20 25 20 38 29 3d 3d 30 7d 20 7b 20 70 75 74  i % 8)==0} { put
1eb0: 73 20 22 22 20 3b 20 70 75 74 73 20 2d 6e 6f 6e  s "" ; puts -non
1ec0: 65 77 6c 69 6e 65 20 22 20 20 20 22 20 7d 0a 20  ewline "   " }. 
1ed0: 20 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69     puts -nonewli
1ee0: 6e 65 20 22 20 24 69 53 65 70 2c 22 0a 20 20 20  ne " $iSep,".   
1ef0: 20 69 6e 63 72 20 69 0a 20 20 7d 0a 20 20 70 75   incr i.  }.  pu
1f00: 74 73 20 22 22 0a 20 20 70 75 74 73 20 22 20 20  ts "".  puts "  
1f10: 5c 7d 3b 22 0a 20 20 70 75 74 73 20 2d 6e 6f 6e  \};".  puts -non
1f20: 65 77 6c 69 6e 65 20 22 20 20 69 6e 74 20 61 4c  ewline "  int aL
1f30: 61 72 67 65 4f 74 68 65 72 5c 5b 5c 5d 20 3d 20  argeOther\[\] = 
1f40: 5c 7b 22 0a 20 20 73 65 74 20 69 20 30 0a 20 20  \{".  set i 0.  
1f50: 66 6f 72 65 61 63 68 20 69 53 65 70 20 5b 6c 73  foreach iSep [ls
1f60: 6f 72 74 20 2d 69 6e 74 65 67 65 72 20 5b 61 72  ort -integer [ar
1f70: 72 61 79 20 6e 61 6d 65 73 20 61 5d 5d 20 7b 0a  ray names a]] {.
1f80: 20 20 20 20 69 66 20 7b 24 69 53 65 70 3c 37 30      if {$iSep<70
1f90: 30 30 30 7d 20 63 6f 6e 74 69 6e 75 65 0a 20 20  000} continue.  
1fa0: 20 20 69 66 20 7b 5b 69 6e 66 6f 20 65 78 69 73    if {[info exis
1fb0: 74 73 20 61 28 5b 65 78 70 72 20 24 69 53 65 70  ts a([expr $iSep
1fc0: 2d 31 5d 29 5d 3d 3d 30 7d 20 7b 0a 20 20 20 20  -1])]==0} {.    
1fd0: 20 20 69 66 20 7b 28 24 69 20 25 20 38 29 3d 3d    if {($i % 8)==
1fe0: 30 7d 20 7b 20 70 75 74 73 20 22 22 20 3b 20 70  0} { puts "" ; p
1ff0: 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22  uts -nonewline "
2000: 20 20 20 22 20 7d 0a 20 20 20 20 20 20 70 75 74     " }.      put
2010: 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22 20 5b  s -nonewline " [
2020: 65 78 70 72 20 24 69 53 65 70 2d 31 5d 2c 22 0a  expr $iSep-1],".
2030: 20 20 20 20 20 20 69 6e 63 72 20 69 0a 20 20 20        incr i.   
2040: 20 7d 0a 20 20 20 20 69 66 20 7b 5b 69 6e 66 6f   }.    if {[info
2050: 20 65 78 69 73 74 73 20 61 28 5b 65 78 70 72 20   exists a([expr 
2060: 24 69 53 65 70 2b 31 5d 29 5d 3d 3d 30 7d 20 7b  $iSep+1])]==0} {
2070: 0a 20 20 20 20 20 20 69 66 20 7b 28 24 69 20 25  .      if {($i %
2080: 20 38 29 3d 3d 30 7d 20 7b 20 70 75 74 73 20 22   8)==0} { puts "
2090: 22 20 3b 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c  " ; puts -nonewl
20a0: 69 6e 65 20 22 20 20 20 22 20 7d 0a 20 20 20 20  ine "   " }.    
20b0: 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e    puts -nonewlin
20c0: 65 20 22 20 5b 65 78 70 72 20 24 69 53 65 70 2b  e " [expr $iSep+
20d0: 31 5d 2c 22 0a 20 20 20 20 20 20 69 6e 63 72 20  1],".      incr 
20e0: 69 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 70 75  i.    }.  }.  pu
20f0: 74 73 20 22 22 0a 20 20 70 75 74 73 20 22 20 20  ts "".  puts "  
2100: 5c 7d 3b 22 0a 0a 20 20 70 75 74 73 20 5b 73 75  \};"..  puts [su
2110: 62 73 74 20 2d 6e 6f 63 6f 6d 6d 61 6e 64 73 20  bst -nocommands 
2120: 7b 0a 20 20 69 6e 74 20 69 3b 0a 20 20 66 6f 72  {.  int i;.  for
2130: 28 69 3d 30 3b 20 69 3c 73 69 7a 65 6f 66 28 61  (i=0; i<sizeof(a
2140: 41 6c 6e 75 6d 29 2f 73 69 7a 65 6f 66 28 61 41  Alnum)/sizeof(aA
2150: 6c 6e 75 6d 5b 30 5d 29 3b 20 69 2b 2b 29 7b 0a  lnum[0]); i++){.
2160: 20 20 20 20 69 66 28 20 24 7b 7a 46 75 6e 63 7d      if( ${zFunc}
2170: 28 69 29 21 3d 61 41 6c 6e 75 6d 5b 69 5d 20 29  (i)!=aAlnum[i] )
2180: 7b 0a 20 20 20 20 20 20 2a 70 69 43 6f 64 65 20  {.      *piCode 
2190: 3d 20 69 3b 0a 20 20 20 20 20 20 72 65 74 75 72  = i;.      retur
21a0: 6e 20 31 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20  n 1;.    }.  }. 
21b0: 20 66 6f 72 28 69 3d 30 3b 20 69 3c 73 69 7a 65   for(i=0; i<size
21c0: 6f 66 28 61 4c 61 72 67 65 53 65 70 29 2f 73 69  of(aLargeSep)/si
21d0: 7a 65 6f 66 28 61 4c 61 72 67 65 53 65 70 5b 30  zeof(aLargeSep[0
21e0: 5d 29 3b 20 69 2b 2b 29 7b 0a 20 20 20 20 69 66  ]); i++){.    if
21f0: 28 20 24 7b 7a 46 75 6e 63 7d 28 61 4c 61 72 67  ( ${zFunc}(aLarg
2200: 65 53 65 70 5b 69 5d 29 21 3d 30 20 29 7b 0a 20  eSep[i])!=0 ){. 
2210: 20 20 20 20 20 2a 70 69 43 6f 64 65 20 3d 20 61       *piCode = a
2220: 4c 61 72 67 65 53 65 70 5b 69 5d 3b 0a 20 20 20  LargeSep[i];.   
2230: 20 20 20 72 65 74 75 72 6e 20 31 3b 0a 20 20 20     return 1;.   
2240: 20 7d 0a 20 20 7d 0a 20 20 66 6f 72 28 69 3d 30   }.  }.  for(i=0
2250: 3b 20 69 3c 73 69 7a 65 6f 66 28 61 4c 61 72 67  ; i<sizeof(aLarg
2260: 65 4f 74 68 65 72 29 2f 73 69 7a 65 6f 66 28 61  eOther)/sizeof(a
2270: 4c 61 72 67 65 4f 74 68 65 72 5b 30 5d 29 3b 20  LargeOther[0]); 
2280: 69 2b 2b 29 7b 0a 20 20 20 20 69 66 28 20 24 7b  i++){.    if( ${
2290: 7a 46 75 6e 63 7d 28 61 4c 61 72 67 65 4f 74 68  zFunc}(aLargeOth
22a0: 65 72 5b 69 5d 29 21 3d 31 20 29 7b 0a 20 20 20  er[i])!=1 ){.   
22b0: 20 20 20 2a 70 69 43 6f 64 65 20 3d 20 61 4c 61     *piCode = aLa
22c0: 72 67 65 4f 74 68 65 72 5b 69 5d 3b 0a 20 20 20  rgeOther[i];.   
22d0: 20 20 20 72 65 74 75 72 6e 20 31 3b 0a 20 20 20     return 1;.   
22e0: 20 7d 0a 20 20 7d 0a 20 20 7d 5d 0a 20 20 70 75   }.  }.  }].  pu
22f0: 74 73 20 22 20 20 72 65 74 75 72 6e 20 30 3b 22  ts "  return 0;"
2300: 0a 20 20 70 75 74 73 20 22 5c 7d 22 0a 7d 0a 0a  .  puts "\}".}..
2310: 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  #---------------
2320: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
2330: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
2340: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
2350: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 0a 70 72 6f 63  ----------..proc
2360: 20 74 6c 5f 63 72 65 61 74 65 5f 72 65 63 6f 72   tl_create_recor
2370: 64 73 20 7b 7d 20 7b 0a 20 20 67 6c 6f 62 61 6c  ds {} {.  global
2380: 20 74 6c 5f 6c 6f 6f 6b 75 70 5f 74 61 62 6c 65   tl_lookup_table
2390: 0a 0a 20 20 73 65 74 20 69 46 69 72 73 74 20 22  ..  set iFirst "
23a0: 22 0a 20 20 73 65 74 20 6e 4f 66 66 20 30 0a 20  ".  set nOff 0. 
23b0: 20 73 65 74 20 6e 52 61 6e 67 65 20 30 0a 20 20   set nRange 0.  
23c0: 73 65 74 20 6e 49 6e 63 72 20 30 0a 0a 20 20 73  set nIncr 0..  s
23d0: 65 74 20 6c 52 65 63 6f 72 64 20 5b 6c 69 73 74  et lRecord [list
23e0: 5d 0a 20 20 66 6f 72 65 61 63 68 20 63 6f 64 65  ].  foreach code
23f0: 20 5b 6c 73 6f 72 74 20 2d 69 6e 74 65 67 65 72   [lsort -integer
2400: 20 5b 61 72 72 61 79 20 6e 61 6d 65 73 20 74 6c   [array names tl
2410: 5f 6c 6f 6f 6b 75 70 5f 74 61 62 6c 65 5d 5d 20  _lookup_table]] 
2420: 7b 0a 20 20 20 20 73 65 74 20 6d 61 70 70 69 6e  {.    set mappin
2430: 67 20 24 74 6c 5f 6c 6f 6f 6b 75 70 5f 74 61 62  g $tl_lookup_tab
2440: 6c 65 28 24 63 6f 64 65 29 0a 20 20 20 20 69 66  le($code).    if
2450: 20 7b 24 69 46 69 72 73 74 20 3d 3d 20 22 22 7d   {$iFirst == ""}
2460: 20 7b 0a 20 20 20 20 20 20 73 65 74 20 69 46 69   {.      set iFi
2470: 72 73 74 20 24 63 6f 64 65 0a 20 20 20 20 20 20  rst $code.      
2480: 73 65 74 20 6e 4f 66 66 20 20 20 5b 65 78 70 72  set nOff   [expr
2490: 20 24 6d 61 70 70 69 6e 67 20 2d 20 24 63 6f 64   $mapping - $cod
24a0: 65 5d 0a 20 20 20 20 20 20 73 65 74 20 6e 52 61  e].      set nRa
24b0: 6e 67 65 20 31 0a 20 20 20 20 20 20 73 65 74 20  nge 1.      set 
24c0: 6e 49 6e 63 72 20 31 0a 20 20 20 20 7d 20 65 6c  nIncr 1.    } el
24d0: 73 65 20 7b 0a 20 20 20 20 20 20 73 65 74 20 64  se {.      set d
24e0: 69 66 66 20 5b 65 78 70 72 20 24 63 6f 64 65 20  iff [expr $code 
24f0: 2d 20 28 24 69 46 69 72 73 74 20 2b 20 28 24 6e  - ($iFirst + ($n
2500: 49 6e 63 72 20 2a 20 28 24 6e 52 61 6e 67 65 20  Incr * ($nRange 
2510: 2d 20 31 29 29 29 5d 0a 20 20 20 20 20 20 69 66  - 1)))].      if
2520: 20 7b 20 24 6e 52 61 6e 67 65 3d 3d 31 20 26 26   { $nRange==1 &&
2530: 20 28 24 64 69 66 66 3d 3d 31 20 7c 7c 20 24 64   ($diff==1 || $d
2540: 69 66 66 3d 3d 32 29 20 7d 20 7b 0a 20 20 20 20  iff==2) } {.    
2550: 20 20 20 20 73 65 74 20 6e 49 6e 63 72 20 24 64      set nIncr $d
2560: 69 66 66 0a 20 20 20 20 20 20 7d 0a 0a 20 20 20  iff.      }..   
2570: 20 20 20 69 66 20 7b 24 64 69 66 66 20 21 3d 20     if {$diff != 
2580: 24 6e 49 6e 63 72 20 7c 7c 20 28 24 6d 61 70 70  $nIncr || ($mapp
2590: 69 6e 67 20 2d 20 24 63 6f 64 65 29 21 3d 24 6e  ing - $code)!=$n
25a0: 4f 66 66 7d 20 7b 0a 20 20 20 20 20 20 20 20 69  Off} {.        i
25b0: 66 20 7b 20 24 6e 52 61 6e 67 65 3d 3d 31 20 7d  f { $nRange==1 }
25c0: 20 7b 73 65 74 20 6e 49 6e 63 72 20 31 7d 0a 20   {set nIncr 1}. 
25d0: 20 20 20 20 20 20 20 6c 61 70 70 65 6e 64 20 6c         lappend l
25e0: 52 65 63 6f 72 64 20 5b 6c 69 73 74 20 24 69 46  Record [list $iF
25f0: 69 72 73 74 20 24 6e 49 6e 63 72 20 24 6e 52 61  irst $nIncr $nRa
2600: 6e 67 65 20 24 6e 4f 66 66 5d 0a 20 20 20 20 20  nge $nOff].     
2610: 20 20 20 73 65 74 20 69 46 69 72 73 74 20 24 63     set iFirst $c
2620: 6f 64 65 0a 20 20 20 20 20 20 20 20 73 65 74 20  ode.        set 
2630: 6e 4f 66 66 20 20 20 5b 65 78 70 72 20 24 6d 61  nOff   [expr $ma
2640: 70 70 69 6e 67 20 2d 20 24 63 6f 64 65 5d 0a 20  pping - $code]. 
2650: 20 20 20 20 20 20 20 73 65 74 20 6e 52 61 6e 67         set nRang
2660: 65 20 31 0a 20 20 20 20 20 20 20 20 73 65 74 20  e 1.        set 
2670: 6e 49 6e 63 72 20 31 0a 20 20 20 20 20 20 7d 20  nIncr 1.      } 
2680: 65 6c 73 65 20 7b 0a 20 20 20 20 20 20 20 20 69  else {.        i
2690: 6e 63 72 20 6e 52 61 6e 67 65 0a 20 20 20 20 20  ncr nRange.     
26a0: 20 7d 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20   }.    }.  }..  
26b0: 6c 61 70 70 65 6e 64 20 6c 52 65 63 6f 72 64 20  lappend lRecord 
26c0: 5b 6c 69 73 74 20 24 69 46 69 72 73 74 20 24 6e  [list $iFirst $n
26d0: 49 6e 63 72 20 24 6e 52 61 6e 67 65 20 24 6e 4f  Incr $nRange $nO
26e0: 66 66 5d 0a 0a 20 20 73 65 74 20 6c 52 65 63 6f  ff]..  set lReco
26f0: 72 64 0a 7d 0a 0a 70 72 6f 63 20 74 6c 5f 70 72  rd.}..proc tl_pr
2700: 69 6e 74 5f 74 61 62 6c 65 5f 68 65 61 64 65 72  int_table_header
2710: 20 7b 7d 20 7b 0a 20 20 70 75 74 73 20 2d 6e 6f   {} {.  puts -no
2720: 6e 65 77 6c 69 6e 65 20 22 20 20 22 0a 20 20 70  newline "  ".  p
2730: 75 74 73 20 5b 73 74 72 69 6e 67 20 74 72 69 6d  uts [string trim
2740: 20 7b 0a 20 20 2f 2a 20 45 61 63 68 20 65 6e 74   {.  /* Each ent
2750: 72 79 20 69 6e 20 74 68 65 20 66 6f 6c 6c 6f 77  ry in the follow
2760: 69 6e 67 20 61 72 72 61 79 20 64 65 66 69 6e 65  ing array define
2770: 73 20 61 20 72 75 6c 65 20 66 6f 72 20 66 6f 6c  s a rule for fol
2780: 64 69 6e 67 20 61 20 72 61 6e 67 65 0a 20 20 2a  ding a range.  *
2790: 2a 20 6f 66 20 63 6f 64 65 70 6f 69 6e 74 73 20  * of codepoints 
27a0: 74 6f 20 6c 6f 77 65 72 20 63 61 73 65 2e 20 54  to lower case. T
27b0: 68 65 20 72 75 6c 65 20 61 70 70 6c 69 65 73 20  he rule applies 
27c0: 74 6f 20 61 20 72 61 6e 67 65 20 6f 66 20 6e 52  to a range of nR
27d0: 61 6e 67 65 0a 20 20 2a 2a 20 63 6f 64 65 70 6f  ange.  ** codepo
27e0: 69 6e 74 73 20 73 74 61 72 74 69 6e 67 20 61 74  ints starting at
27f0: 20 63 6f 64 65 70 6f 69 6e 74 20 69 43 6f 64 65   codepoint iCode
2800: 2e 0a 20 20 2a 2a 0a 20 20 2a 2a 20 49 66 20 74  ..  **.  ** If t
2810: 68 65 20 6c 65 61 73 74 20 73 69 67 6e 69 66 69  he least signifi
2820: 63 61 6e 74 20 62 69 74 20 69 6e 20 66 6c 61 67  cant bit in flag
2830: 73 20 69 73 20 63 6c 65 61 72 2c 20 74 68 65 6e  s is clear, then
2840: 20 74 68 65 20 72 75 6c 65 20 61 70 70 6c 69 65   the rule applie
2850: 73 0a 20 20 2a 2a 20 74 6f 20 61 6c 6c 20 6e 52  s.  ** to all nR
2860: 61 6e 67 65 20 63 6f 64 65 70 6f 69 6e 74 73 20  ange codepoints 
2870: 28 69 2e 65 2e 20 61 6c 6c 20 6e 52 61 6e 67 65  (i.e. all nRange
2880: 20 63 6f 64 65 70 6f 69 6e 74 73 20 61 72 65 20   codepoints are 
2890: 75 70 70 65 72 20 63 61 73 65 20 61 6e 64 0a 20  upper case and. 
28a0: 20 2a 2a 20 6e 65 65 64 20 74 6f 20 62 65 20 66   ** need to be f
28b0: 6f 6c 64 65 64 29 2e 20 4f 72 2c 20 69 66 20 69  olded). Or, if i
28c0: 74 20 69 73 20 73 65 74 2c 20 74 68 65 6e 20 74  t is set, then t
28d0: 68 65 20 72 75 6c 65 20 6f 6e 6c 79 20 61 70 70  he rule only app
28e0: 6c 69 65 73 20 74 6f 0a 20 20 2a 2a 20 65 76 65  lies to.  ** eve
28f0: 72 79 20 73 65 63 6f 6e 64 20 63 6f 64 65 70 6f  ry second codepo
2900: 69 6e 74 20 69 6e 20 74 68 65 20 72 61 6e 67 65  int in the range
2910: 2c 20 73 74 61 72 74 69 6e 67 20 77 69 74 68 20  , starting with 
2920: 63 6f 64 65 70 6f 69 6e 74 20 43 2e 0a 20 20 2a  codepoint C..  *
2930: 2a 0a 20 20 2a 2a 20 54 68 65 20 37 20 6d 6f 73  *.  ** The 7 mos
2940: 74 20 73 69 67 6e 69 66 69 63 61 6e 74 20 62 69  t significant bi
2950: 74 73 20 69 6e 20 66 6c 61 67 73 20 61 72 65 20  ts in flags are 
2960: 61 6e 20 69 6e 64 65 78 20 69 6e 74 6f 20 74 68  an index into th
2970: 65 20 61 69 4f 66 66 5b 5d 0a 20 20 2a 2a 20 61  e aiOff[].  ** a
2980: 72 72 61 79 2e 20 49 66 20 61 20 73 70 65 63 69  rray. If a speci
2990: 66 69 63 20 63 6f 64 65 70 6f 69 6e 74 20 43 20  fic codepoint C 
29a0: 64 6f 65 73 20 72 65 71 75 69 72 65 20 66 6f 6c  does require fol
29b0: 64 69 6e 67 2c 20 74 68 65 6e 20 69 74 73 20 6c  ding, then its l
29c0: 6f 77 65 72 0a 20 20 2a 2a 20 63 61 73 65 20 65  ower.  ** case e
29d0: 71 75 69 76 61 6c 65 6e 74 20 69 73 20 28 28 43  quivalent is ((C
29e0: 20 2b 20 61 69 4f 66 66 5b 66 6c 61 67 73 3e 3e   + aiOff[flags>>
29f0: 31 5d 29 20 26 20 30 78 46 46 46 46 29 2e 0a 20  1]) & 0xFFFF).. 
2a00: 20 2a 2a 0a 20 20 2a 2a 20 54 68 65 20 63 6f 6e   **.  ** The con
2a10: 74 65 6e 74 73 20 6f 66 20 74 68 69 73 20 61 72  tents of this ar
2a20: 72 61 79 20 61 72 65 20 67 65 6e 65 72 61 74 65  ray are generate
2a30: 64 20 62 79 20 70 61 72 73 69 6e 67 20 74 68 65  d by parsing the
2a40: 20 43 61 73 65 46 6f 6c 64 69 6e 67 2e 74 78 74   CaseFolding.txt
2a50: 0a 20 20 2a 2a 20 66 69 6c 65 20 64 69 73 74 72  .  ** file distr
2a60: 69 62 75 74 65 64 20 61 73 20 70 61 72 74 20 6f  ibuted as part o
2a70: 66 20 74 68 65 20 22 55 6e 69 63 6f 64 65 20 43  f the "Unicode C
2a80: 68 61 72 61 63 74 65 72 20 44 61 74 61 62 61 73  haracter Databas
2a90: 65 22 2e 20 53 65 65 0a 20 20 2a 2a 20 68 74 74  e". See.  ** htt
2aa0: 70 3a 2f 2f 77 77 77 2e 75 6e 69 63 6f 64 65 2e  p://www.unicode.
2ab0: 6f 72 67 20 66 6f 72 20 64 65 74 61 69 6c 73 2e  org for details.
2ac0: 0a 20 20 2a 2f 0a 20 20 7d 5d 0a 20 20 70 75 74  .  */.  }].  put
2ad0: 73 20 22 20 20 73 74 61 74 69 63 20 63 6f 6e 73  s "  static cons
2ae0: 74 20 73 74 72 75 63 74 20 54 61 62 6c 65 45 6e  t struct TableEn
2af0: 74 72 79 20 5c 7b 22 0a 20 20 70 75 74 73 20 22  try \{".  puts "
2b00: 20 20 20 20 75 6e 73 69 67 6e 65 64 20 73 68 6f      unsigned sho
2b10: 72 74 20 69 43 6f 64 65 3b 22 0a 20 20 70 75 74  rt iCode;".  put
2b20: 73 20 22 20 20 20 20 75 6e 73 69 67 6e 65 64 20  s "    unsigned 
2b30: 63 68 61 72 20 66 6c 61 67 73 3b 22 0a 20 20 70  char flags;".  p
2b40: 75 74 73 20 22 20 20 20 20 75 6e 73 69 67 6e 65  uts "    unsigne
2b50: 64 20 63 68 61 72 20 6e 52 61 6e 67 65 3b 22 0a  d char nRange;".
2b60: 20 20 70 75 74 73 20 22 20 20 5c 7d 20 61 45 6e    puts "  \} aEn
2b70: 74 72 79 5c 5b 5c 5d 20 3d 20 5c 7b 22 0a 7d 0a  try\[\] = \{".}.
2b80: 0a 70 72 6f 63 20 74 6c 5f 70 72 69 6e 74 5f 74  .proc tl_print_t
2b90: 61 62 6c 65 5f 65 6e 74 72 79 20 7b 74 6f 67 67  able_entry {togg
2ba0: 6c 65 76 61 72 20 65 6e 74 72 79 20 6c 69 4f 66  levar entry liOf
2bb0: 66 7d 20 7b 0a 20 20 75 70 76 61 72 20 24 74 6f  f} {.  upvar $to
2bc0: 67 67 6c 65 76 61 72 20 74 0a 20 20 66 6f 72 65  gglevar t.  fore
2bd0: 61 63 68 20 7b 69 46 69 72 73 74 20 6e 49 6e 63  ach {iFirst nInc
2be0: 72 20 6e 52 61 6e 67 65 20 6e 4f 66 66 7d 20 24  r nRange nOff} $
2bf0: 65 6e 74 72 79 20 7b 7d 0a 0a 20 20 69 66 20 7b  entry {}..  if {
2c00: 24 69 46 69 72 73 74 20 3e 20 28 31 3c 3c 31 36  $iFirst > (1<<16
2c10: 29 7d 20 7b 20 72 65 74 75 72 6e 20 31 20 7d 0a  )} { return 1 }.
2c20: 0a 20 20 69 66 20 7b 5b 69 6e 66 6f 20 65 78 69  .  if {[info exi
2c30: 73 74 73 20 74 5d 3d 3d 30 7d 20 7b 73 65 74 20  sts t]==0} {set 
2c40: 74 20 30 7d 0a 20 20 69 66 20 7b 24 74 3d 3d 30  t 0}.  if {$t==0
2c50: 7d 20 7b 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c  } { puts -nonewl
2c60: 69 6e 65 20 22 20 20 20 20 22 20 7d 0a 0a 20 20  ine "    " }..  
2c70: 73 65 74 20 66 6c 61 67 73 20 30 0a 20 20 69 66  set flags 0.  if
2c80: 20 7b 24 6e 49 6e 63 72 3d 3d 32 7d 20 7b 20 73   {$nIncr==2} { s
2c90: 65 74 20 66 6c 61 67 73 20 31 20 3b 20 73 65 74  et flags 1 ; set
2ca0: 20 6e 52 61 6e 67 65 20 5b 65 78 70 72 20 24 6e   nRange [expr $n
2cb0: 52 61 6e 67 65 20 2a 20 32 5d 7d 0a 20 20 69 66  Range * 2]}.  if
2cc0: 20 7b 24 6e 4f 66 66 3c 30 7d 20 20 20 7b 20 69   {$nOff<0}   { i
2cd0: 6e 63 72 20 6e 4f 66 66 20 5b 65 78 70 72 20 28  ncr nOff [expr (
2ce0: 31 3c 3c 31 36 29 5d 20 7d 0a 0a 20 20 73 65 74  1<<16)] }..  set
2cf0: 20 69 64 78 20 5b 6c 73 65 61 72 63 68 20 24 6c   idx [lsearch $l
2d00: 69 4f 66 66 20 24 6e 4f 66 66 5d 0a 20 20 69 66  iOff $nOff].  if
2d10: 20 7b 24 69 64 78 3c 30 7d 20 7b 65 72 72 6f 72   {$idx<0} {error
2d20: 20 22 6d 61 6c 66 75 6e 63 74 69 6f 6e 20 67 65   "malfunction ge
2d30: 6e 65 72 61 74 69 6e 67 20 61 69 4f 66 66 22 7d  nerating aiOff"}
2d40: 0a 20 20 73 65 74 20 66 6c 61 67 73 20 5b 65 78  .  set flags [ex
2d50: 70 72 20 24 66 6c 61 67 73 20 2b 20 24 69 64 78  pr $flags + $idx
2d60: 2a 32 5d 0a 0a 20 20 73 65 74 20 74 78 74 20 22  *2]..  set txt "
2d70: 7b 24 69 46 69 72 73 74 2c 20 24 66 6c 61 67 73  {$iFirst, $flags
2d80: 2c 20 24 6e 52 61 6e 67 65 7d 2c 22 0a 20 20 69  , $nRange},".  i
2d90: 66 20 7b 24 74 3d 3d 32 7d 20 7b 0a 20 20 20 20  f {$t==2} {.    
2da0: 70 75 74 73 20 24 74 78 74 0a 20 20 7d 20 65 6c  puts $txt.  } el
2db0: 73 65 20 7b 0a 20 20 20 20 70 75 74 73 20 2d 6e  se {.    puts -n
2dc0: 6f 6e 65 77 6c 69 6e 65 20 5b 66 6f 72 6d 61 74  onewline [format
2dd0: 20 22 25 20 2d 32 33 73 22 20 24 74 78 74 5d 0a   "% -23s" $txt].
2de0: 20 20 7d 0a 20 20 73 65 74 20 74 20 5b 65 78 70    }.  set t [exp
2df0: 72 20 28 24 74 2b 31 29 25 33 5d 0a 0a 20 20 72  r ($t+1)%3]..  r
2e00: 65 74 75 72 6e 20 30 0a 7d 0a 0a 70 72 6f 63 20  eturn 0.}..proc 
2e10: 74 6c 5f 70 72 69 6e 74 5f 74 61 62 6c 65 5f 66  tl_print_table_f
2e20: 6f 6f 74 65 72 20 7b 74 6f 67 67 6c 65 76 61 72  ooter {togglevar
2e30: 7d 20 7b 0a 20 20 75 70 76 61 72 20 24 74 6f 67  } {.  upvar $tog
2e40: 67 6c 65 76 61 72 20 74 0a 20 20 69 66 20 7b 24  glevar t.  if {$
2e50: 74 21 3d 30 7d 20 7b 70 75 74 73 20 22 22 7d 0a  t!=0} {puts ""}.
2e60: 20 20 70 75 74 73 20 22 20 20 5c 7d 3b 22 0a 7d    puts "  \};".}
2e70: 0a 0a 70 72 6f 63 20 74 6c 5f 70 72 69 6e 74 5f  ..proc tl_print_
2e80: 69 66 5f 65 6e 74 72 79 20 7b 65 6e 74 72 79 7d  if_entry {entry}
2e90: 20 7b 0a 20 20 66 6f 72 65 61 63 68 20 7b 69 46   {.  foreach {iF
2ea0: 69 72 73 74 20 6e 49 6e 63 72 20 6e 52 61 6e 67  irst nIncr nRang
2eb0: 65 20 6e 4f 66 66 7d 20 24 65 6e 74 72 79 20 7b  e nOff} $entry {
2ec0: 7d 0a 20 20 69 66 20 7b 24 6e 49 6e 63 72 3d 3d  }.  if {$nIncr==
2ed0: 32 7d 20 7b 65 72 72 6f 72 20 22 74 6c 5f 70 72  2} {error "tl_pr
2ee0: 69 6e 74 5f 69 66 5f 65 6e 74 72 79 20 6e 65 65  int_if_entry nee
2ef0: 64 73 20 69 6d 70 72 6f 76 65 6d 65 6e 74 21 22  ds improvement!"
2f00: 7d 0a 0a 20 20 70 75 74 73 20 22 20 20 65 6c 73  }..  puts "  els
2f10: 65 20 69 66 28 20 63 3e 3d 24 69 46 69 72 73 74  e if( c>=$iFirst
2f20: 20 26 26 20 63 3c 5b 65 78 70 72 20 24 69 46 69   && c<[expr $iFi
2f30: 72 73 74 2b 24 6e 52 61 6e 67 65 5d 20 29 5c 7b  rst+$nRange] )\{
2f40: 22 0a 20 20 70 75 74 73 20 22 20 20 20 20 72 65  ".  puts "    re
2f50: 74 20 3d 20 63 20 2b 20 24 6e 4f 66 66 3b 22 0a  t = c + $nOff;".
2f60: 20 20 70 75 74 73 20 22 20 20 5c 7d 22 0a 7d 0a    puts "  \}".}.
2f70: 0a 70 72 6f 63 20 74 6c 5f 67 65 6e 65 72 61 74  .proc tl_generat
2f80: 65 5f 69 6f 66 66 5f 74 61 62 6c 65 20 7b 6c 52  e_ioff_table {lR
2f90: 65 63 6f 72 64 7d 20 7b 0a 20 20 66 6f 72 65 61  ecord} {.  forea
2fa0: 63 68 20 65 6e 74 72 79 20 24 6c 52 65 63 6f 72  ch entry $lRecor
2fb0: 64 20 7b 0a 20 20 20 20 66 6f 72 65 61 63 68 20  d {.    foreach 
2fc0: 7b 69 46 69 72 73 74 20 6e 49 6e 63 72 20 6e 52  {iFirst nIncr nR
2fd0: 61 6e 67 65 20 69 4f 66 66 7d 20 24 65 6e 74 72  ange iOff} $entr
2fe0: 79 20 7b 7d 0a 20 20 20 20 69 66 20 7b 24 69 4f  y {}.    if {$iO
2ff0: 66 66 3c 30 7d 20 20 20 7b 20 69 6e 63 72 20 69  ff<0}   { incr i
3000: 4f 66 66 20 5b 65 78 70 72 20 28 31 3c 3c 31 36  Off [expr (1<<16
3010: 29 5d 20 7d 0a 20 20 20 20 69 66 20 7b 5b 69 6e  )] }.    if {[in
3020: 66 6f 20 65 78 69 73 74 73 20 61 28 24 69 4f 66  fo exists a($iOf
3030: 66 29 5d 7d 20 63 6f 6e 74 69 6e 75 65 0a 20 20  f)]} continue.  
3040: 20 20 73 65 74 20 61 28 24 69 4f 66 66 29 20 31    set a($iOff) 1
3050: 0a 20 20 7d 0a 0a 20 20 73 65 74 20 6c 69 4f 66  .  }..  set liOf
3060: 66 20 5b 6c 73 6f 72 74 20 2d 69 6e 74 65 67 65  f [lsort -intege
3070: 72 20 5b 61 72 72 61 79 20 6e 61 6d 65 73 20 61  r [array names a
3080: 5d 5d 0a 20 20 69 66 20 7b 5b 6c 6c 65 6e 67 74  ]].  if {[llengt
3090: 68 20 24 6c 69 4f 66 66 5d 3e 31 32 38 7d 20 7b  h $liOff]>128} {
30a0: 20 65 72 72 6f 72 20 22 54 6f 6f 20 6d 61 6e 79   error "Too many
30b0: 20 64 69 73 74 69 6e 63 74 20 69 6f 66 66 73 22   distinct ioffs"
30c0: 20 7d 0a 20 20 72 65 74 75 72 6e 20 24 6c 69 4f   }.  return $liO
30d0: 66 66 0a 7d 0a 0a 70 72 6f 63 20 74 6c 5f 70 72  ff.}..proc tl_pr
30e0: 69 6e 74 5f 69 6f 66 66 5f 74 61 62 6c 65 20 7b  int_ioff_table {
30f0: 6c 69 4f 66 66 7d 20 7b 0a 20 20 70 75 74 73 20  liOff} {.  puts 
3100: 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22 20 20 73 74  -nonewline "  st
3110: 61 74 69 63 20 63 6f 6e 73 74 20 75 6e 73 69 67  atic const unsig
3120: 6e 65 64 20 73 68 6f 72 74 20 61 69 4f 66 66 5c  ned short aiOff\
3130: 5b 5c 5d 20 3d 20 5c 7b 22 0a 20 20 73 65 74 20  [\] = \{".  set 
3140: 69 20 30 0a 20 20 66 6f 72 65 61 63 68 20 6f 66  i 0.  foreach of
3150: 66 20 24 6c 69 4f 66 66 20 7b 0a 20 20 20 20 69  f $liOff {.    i
3160: 66 20 7b 28 24 69 20 25 20 38 29 3d 3d 30 7d 20  f {($i % 8)==0} 
3170: 7b 70 75 74 73 20 22 22 20 3b 20 70 75 74 73 20  {puts "" ; puts 
3180: 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22 20 20 20 22  -nonewline "   "
3190: 7d 0a 20 20 20 20 70 75 74 73 20 2d 6e 6f 6e 65  }.    puts -none
31a0: 77 6c 69 6e 65 20 5b 66 6f 72 6d 61 74 20 22 25  wline [format "%
31b0: 20 2d 37 73 22 20 22 24 6f 66 66 2c 22 5d 0a 20   -7s" "$off,"]. 
31c0: 20 20 20 69 6e 63 72 20 69 0a 20 20 7d 0a 20 20     incr i.  }.  
31d0: 70 75 74 73 20 22 22 0a 20 20 70 75 74 73 20 22  puts "".  puts "
31e0: 20 20 5c 7d 3b 22 0a 0a 7d 0a 0a 70 72 6f 63 20    \};"..}..proc 
31f0: 70 72 69 6e 74 5f 66 6f 6c 64 20 7b 7a 46 75 6e  print_fold {zFun
3200: 63 7d 20 7b 0a 0a 20 20 73 65 74 20 6c 52 65 63  c} {..  set lRec
3210: 6f 72 64 20 5b 74 6c 5f 63 72 65 61 74 65 5f 72  ord [tl_create_r
3220: 65 63 6f 72 64 73 5d 0a 0a 20 20 73 65 74 20 6c  ecords]..  set l
3230: 48 69 67 68 20 5b 6c 69 73 74 5d 0a 20 20 70 75  High [list].  pu
3240: 74 73 20 22 2f 2a 22 0a 20 20 70 75 74 73 20 22  ts "/*".  puts "
3250: 2a 2a 20 49 6e 74 65 72 70 72 65 74 20 74 68 65  ** Interpret the
3260: 20 61 72 67 75 6d 65 6e 74 20 61 73 20 61 20 75   argument as a u
3270: 6e 69 63 6f 64 65 20 63 6f 64 65 70 6f 69 6e 74  nicode codepoint
3280: 2e 20 49 66 20 74 68 65 20 63 6f 64 65 70 6f 69  . If the codepoi
3290: 6e 74 22 0a 20 20 70 75 74 73 20 22 2a 2a 20 69  nt".  puts "** i
32a0: 73 20 61 6e 20 75 70 70 65 72 20 63 61 73 65 20  s an upper case 
32b0: 63 68 61 72 61 63 74 65 72 20 74 68 61 74 20 68  character that h
32c0: 61 73 20 61 20 6c 6f 77 65 72 20 63 61 73 65 20  as a lower case 
32d0: 65 71 75 69 76 61 6c 65 6e 74 2c 22 0a 20 20 70  equivalent,".  p
32e0: 75 74 73 20 22 2a 2a 20 72 65 74 75 72 6e 20 74  uts "** return t
32f0: 68 65 20 63 6f 64 65 70 6f 69 6e 74 20 63 6f 72  he codepoint cor
3300: 72 65 73 70 6f 6e 64 69 6e 67 20 74 6f 20 74 68  responding to th
3310: 65 20 6c 6f 77 65 72 20 63 61 73 65 20 76 65 72  e lower case ver
3320: 73 69 6f 6e 2e 22 0a 20 20 70 75 74 73 20 22 2a  sion.".  puts "*
3330: 2a 20 4f 74 68 65 72 77 69 73 65 2c 20 72 65 74  * Otherwise, ret
3340: 75 72 6e 20 61 20 63 6f 70 79 20 6f 66 20 74 68  urn a copy of th
3350: 65 20 61 72 67 75 6d 65 6e 74 2e 22 0a 20 20 70  e argument.".  p
3360: 75 74 73 20 22 2a 2a 22 0a 20 20 70 75 74 73 20  uts "**".  puts 
3370: 22 2a 2a 20 54 68 65 20 72 65 73 75 6c 74 73 20  "** The results 
3380: 61 72 65 20 75 6e 64 65 66 69 6e 65 64 20 69 66  are undefined if
3390: 20 74 68 65 20 76 61 6c 75 65 20 70 61 73 73 65   the value passe
33a0: 64 20 74 6f 20 74 68 69 73 20 66 75 6e 63 74 69  d to this functi
33b0: 6f 6e 22 0a 20 20 70 75 74 73 20 22 2a 2a 20 69  on".  puts "** i
33c0: 73 20 6c 65 73 73 20 74 68 61 6e 20 7a 65 72 6f  s less than zero
33d0: 2e 22 0a 20 20 70 75 74 73 20 22 2a 2f 22 0a 20  .".  puts "*/". 
33e0: 20 70 75 74 73 20 22 69 6e 74 20 24 7b 7a 46 75   puts "int ${zFu
33f0: 6e 63 7d 5c 28 69 6e 74 20 63 2c 20 69 6e 74 20  nc}\(int c, int 
3400: 65 52 65 6d 6f 76 65 44 69 61 63 72 69 74 69 63  eRemoveDiacritic
3410: 29 5c 7b 22 0a 0a 20 20 73 65 74 20 6c 69 4f 66  )\{"..  set liOf
3420: 66 20 5b 74 6c 5f 67 65 6e 65 72 61 74 65 5f 69  f [tl_generate_i
3430: 6f 66 66 5f 74 61 62 6c 65 20 24 6c 52 65 63 6f  off_table $lReco
3440: 72 64 5d 0a 20 20 74 6c 5f 70 72 69 6e 74 5f 74  rd].  tl_print_t
3450: 61 62 6c 65 5f 68 65 61 64 65 72 0a 20 20 66 6f  able_header.  fo
3460: 72 65 61 63 68 20 65 6e 74 72 79 20 24 6c 52 65  reach entry $lRe
3470: 63 6f 72 64 20 7b 20 0a 20 20 20 20 69 66 20 7b  cord { .    if {
3480: 5b 74 6c 5f 70 72 69 6e 74 5f 74 61 62 6c 65 5f  [tl_print_table_
3490: 65 6e 74 72 79 20 74 6f 67 67 6c 65 20 24 65 6e  entry toggle $en
34a0: 74 72 79 20 24 6c 69 4f 66 66 5d 7d 20 7b 20 0a  try $liOff]} { .
34b0: 20 20 20 20 20 20 6c 61 70 70 65 6e 64 20 6c 48        lappend lH
34c0: 69 67 68 20 24 65 6e 74 72 79 20 0a 20 20 20 20  igh $entry .    
34d0: 7d 20 0a 20 20 7d 0a 20 20 74 6c 5f 70 72 69 6e  } .  }.  tl_prin
34e0: 74 5f 74 61 62 6c 65 5f 66 6f 6f 74 65 72 20 74  t_table_footer t
34f0: 6f 67 67 6c 65 0a 20 20 74 6c 5f 70 72 69 6e 74  oggle.  tl_print
3500: 5f 69 6f 66 66 5f 74 61 62 6c 65 20 24 6c 69 4f  _ioff_table $liO
3510: 66 66 0a 0a 20 20 70 75 74 73 20 5b 73 75 62 73  ff..  puts [subs
3520: 74 20 2d 6e 6f 63 6f 6d 6d 61 6e 64 73 20 7b 0a  t -nocommands {.
3530: 20 20 69 6e 74 20 72 65 74 20 3d 20 63 3b 0a 0a    int ret = c;..
3540: 20 20 61 73 73 65 72 74 28 20 73 69 7a 65 6f 66    assert( sizeof
3550: 28 75 6e 73 69 67 6e 65 64 20 73 68 6f 72 74 29  (unsigned short)
3560: 3d 3d 32 20 26 26 20 73 69 7a 65 6f 66 28 75 6e  ==2 && sizeof(un
3570: 73 69 67 6e 65 64 20 63 68 61 72 29 3d 3d 31 20  signed char)==1 
3580: 29 3b 0a 0a 20 20 69 66 28 20 63 3c 31 32 38 20  );..  if( c<128 
3590: 29 7b 0a 20 20 20 20 69 66 28 20 63 3e 3d 27 41  ){.    if( c>='A
35a0: 27 20 26 26 20 63 3c 3d 27 5a 27 20 29 20 72 65  ' && c<='Z' ) re
35b0: 74 20 3d 20 63 20 2b 20 28 27 61 27 20 2d 20 27  t = c + ('a' - '
35c0: 41 27 29 3b 0a 20 20 7d 65 6c 73 65 20 69 66 28  A');.  }else if(
35d0: 20 63 3c 36 35 35 33 36 20 29 7b 0a 20 20 20 20   c<65536 ){.    
35e0: 63 6f 6e 73 74 20 73 74 72 75 63 74 20 54 61 62  const struct Tab
35f0: 6c 65 45 6e 74 72 79 20 2a 70 3b 0a 20 20 20 20  leEntry *p;.    
3600: 69 6e 74 20 69 48 69 20 3d 20 73 69 7a 65 6f 66  int iHi = sizeof
3610: 28 61 45 6e 74 72 79 29 2f 73 69 7a 65 6f 66 28  (aEntry)/sizeof(
3620: 61 45 6e 74 72 79 5b 30 5d 29 20 2d 20 31 3b 0a  aEntry[0]) - 1;.
3630: 20 20 20 20 69 6e 74 20 69 4c 6f 20 3d 20 30 3b      int iLo = 0;
3640: 0a 20 20 20 20 69 6e 74 20 69 52 65 73 20 3d 20  .    int iRes = 
3650: 2d 31 3b 0a 0a 20 20 20 20 61 73 73 65 72 74 28  -1;..    assert(
3660: 20 63 3e 61 45 6e 74 72 79 5b 30 5d 2e 69 43 6f   c>aEntry[0].iCo
3670: 64 65 20 29 3b 0a 20 20 20 20 77 68 69 6c 65 28  de );.    while(
3680: 20 69 48 69 3e 3d 69 4c 6f 20 29 7b 0a 20 20 20   iHi>=iLo ){.   
3690: 20 20 20 69 6e 74 20 69 54 65 73 74 20 3d 20 28     int iTest = (
36a0: 69 48 69 20 2b 20 69 4c 6f 29 20 2f 20 32 3b 0a  iHi + iLo) / 2;.
36b0: 20 20 20 20 20 20 69 6e 74 20 63 6d 70 20 3d 20        int cmp = 
36c0: 28 63 20 2d 20 61 45 6e 74 72 79 5b 69 54 65 73  (c - aEntry[iTes
36d0: 74 5d 2e 69 43 6f 64 65 29 3b 0a 20 20 20 20 20  t].iCode);.     
36e0: 20 69 66 28 20 63 6d 70 3e 3d 30 20 29 7b 0a 20   if( cmp>=0 ){. 
36f0: 20 20 20 20 20 20 20 69 52 65 73 20 3d 20 69 54         iRes = iT
3700: 65 73 74 3b 0a 20 20 20 20 20 20 20 20 69 4c 6f  est;.        iLo
3710: 20 3d 20 69 54 65 73 74 2b 31 3b 0a 20 20 20 20   = iTest+1;.    
3720: 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 20 20 20    }else{.       
3730: 20 69 48 69 20 3d 20 69 54 65 73 74 2d 31 3b 0a   iHi = iTest-1;.
3740: 20 20 20 20 20 20 7d 0a 20 20 20 20 7d 0a 0a 20        }.    }.. 
3750: 20 20 20 61 73 73 65 72 74 28 20 69 52 65 73 3e     assert( iRes>
3760: 3d 30 20 26 26 20 63 3e 3d 61 45 6e 74 72 79 5b  =0 && c>=aEntry[
3770: 69 52 65 73 5d 2e 69 43 6f 64 65 20 29 3b 0a 20  iRes].iCode );. 
3780: 20 20 20 70 20 3d 20 26 61 45 6e 74 72 79 5b 69     p = &aEntry[i
3790: 52 65 73 5d 3b 0a 20 20 20 20 69 66 28 20 63 3c  Res];.    if( c<
37a0: 28 70 2d 3e 69 43 6f 64 65 20 2b 20 70 2d 3e 6e  (p->iCode + p->n
37b0: 52 61 6e 67 65 29 20 26 26 20 30 3d 3d 28 30 78  Range) && 0==(0x
37c0: 30 31 20 26 20 70 2d 3e 66 6c 61 67 73 20 26 20  01 & p->flags & 
37d0: 28 70 2d 3e 69 43 6f 64 65 20 5e 20 63 29 29 20  (p->iCode ^ c)) 
37e0: 29 7b 0a 20 20 20 20 20 20 72 65 74 20 3d 20 28  ){.      ret = (
37f0: 63 20 2b 20 28 61 69 4f 66 66 5b 70 2d 3e 66 6c  c + (aiOff[p->fl
3800: 61 67 73 3e 3e 31 5d 29 29 20 26 20 30 78 30 30  ags>>1])) & 0x00
3810: 30 30 46 46 46 46 3b 0a 20 20 20 20 20 20 61 73  00FFFF;.      as
3820: 73 65 72 74 28 20 72 65 74 3e 30 20 29 3b 0a 20  sert( ret>0 );. 
3830: 20 20 20 7d 0a 0a 20 20 20 20 69 66 28 20 65 52     }..    if( eR
3840: 65 6d 6f 76 65 44 69 61 63 72 69 74 69 63 20 29  emoveDiacritic )
3850: 7b 0a 20 20 20 20 20 20 72 65 74 20 3d 20 24 7b  {.      ret = ${
3860: 3a 3a 72 65 6d 6f 76 65 5f 64 69 61 63 72 69 74  ::remove_diacrit
3870: 69 63 7d 28 72 65 74 2c 20 65 52 65 6d 6f 76 65  ic}(ret, eRemove
3880: 44 69 61 63 72 69 74 69 63 3d 3d 32 29 3b 0a 20  Diacritic==2);. 
3890: 20 20 20 7d 0a 20 20 7d 0a 20 20 7d 5d 0a 0a 20     }.  }.  }].. 
38a0: 20 66 6f 72 65 61 63 68 20 65 6e 74 72 79 20 24   foreach entry $
38b0: 6c 48 69 67 68 20 7b 0a 20 20 20 20 74 6c 5f 70  lHigh {.    tl_p
38c0: 72 69 6e 74 5f 69 66 5f 65 6e 74 72 79 20 24 65  rint_if_entry $e
38d0: 6e 74 72 79 0a 20 20 7d 0a 0a 20 20 70 75 74 73  ntry.  }..  puts
38e0: 20 22 22 0a 20 20 70 75 74 73 20 22 20 20 72 65   "".  puts "  re
38f0: 74 75 72 6e 20 72 65 74 3b 22 0a 20 20 70 75 74  turn ret;".  put
3900: 73 20 22 5c 7d 22 0a 7d 0a 0a 70 72 6f 63 20 63  s "\}".}..proc c
3910: 6f 64 65 20 7b 74 78 74 7d 20 7b 0a 20 20 73 65  ode {txt} {.  se
3920: 74 20 74 78 74 20 5b 73 74 72 69 6e 67 20 74 72  t txt [string tr
3930: 69 6d 72 69 67 68 74 20 24 74 78 74 5d 0a 20 20  imright $txt].  
3940: 73 65 74 20 74 78 74 20 5b 73 74 72 69 6e 67 20  set txt [string 
3950: 74 72 69 6d 6c 65 66 74 20 24 74 78 74 20 22 5c  trimleft $txt "\
3960: 6e 22 5d 0a 20 20 73 65 74 20 6e 20 5b 65 78 70  n"].  set n [exp
3970: 72 20 7b 5b 73 74 72 69 6e 67 20 6c 65 6e 67 74  r {[string lengt
3980: 68 20 24 74 78 74 5d 20 2d 20 5b 73 74 72 69 6e  h $txt] - [strin
3990: 67 20 6c 65 6e 67 74 68 20 5b 73 74 72 69 6e 67  g length [string
39a0: 20 74 72 69 6d 20 24 74 78 74 5d 5d 7d 5d 0a 20   trim $txt]]}]. 
39b0: 20 73 65 74 20 72 65 74 20 22 22 0a 20 20 66 6f   set ret "".  fo
39c0: 72 65 61 63 68 20 4c 20 5b 73 70 6c 69 74 20 24  reach L [split $
39d0: 74 78 74 20 22 5c 6e 22 5d 20 7b 0a 20 20 20 20  txt "\n"] {.    
39e0: 61 70 70 65 6e 64 20 72 65 74 20 22 5b 73 74 72  append ret "[str
39f0: 69 6e 67 20 72 61 6e 67 65 20 24 4c 20 24 6e 20  ing range $L $n 
3a00: 65 6e 64 5d 5c 6e 22 0a 20 20 7d 0a 20 20 72 65  end]\n".  }.  re
3a10: 74 75 72 6e 20 5b 75 70 6c 65 76 65 6c 20 22 73  turn [uplevel "s
3a20: 75 62 73 74 20 2d 6e 6f 63 6f 6d 6d 61 6e 64 73  ubst -nocommands
3a30: 20 7b 24 72 65 74 7d 22 5d 0a 7d 0a 0a 70 72 6f   {$ret}"].}..pro
3a40: 63 20 69 6e 74 61 72 72 61 79 20 7b 6c 49 6e 74  c intarray {lInt
3a50: 7d 20 7b 0a 20 20 73 65 74 20 72 65 74 20 22 22  } {.  set ret ""
3a60: 0a 20 20 73 65 74 20 6e 20 5b 6c 6c 65 6e 67 74  .  set n [llengt
3a70: 68 20 24 6c 49 6e 74 5d 0a 20 20 66 6f 72 20 7b  h $lInt].  for {
3a80: 73 65 74 20 69 20 30 7d 20 7b 24 69 20 3c 20 24  set i 0} {$i < $
3a90: 6e 7d 20 7b 69 6e 63 72 20 69 20 31 30 7d 20 7b  n} {incr i 10} {
3aa0: 0a 20 20 20 20 61 70 70 65 6e 64 20 72 65 74 20  .    append ret 
3ab0: 22 5c 6e 20 20 20 20 22 0a 20 20 20 20 66 6f 72  "\n    ".    for
3ac0: 65 61 63 68 20 69 6e 74 20 5b 6c 72 61 6e 67 65  each int [lrange
3ad0: 20 24 6c 49 6e 74 20 24 69 20 5b 65 78 70 72 20   $lInt $i [expr 
3ae0: 24 69 2b 39 5d 5d 20 7b 0a 20 20 20 20 20 20 61  $i+9]] {.      a
3af0: 70 70 65 6e 64 20 72 65 74 20 5b 66 6f 72 6d 61  ppend ret [forma
3b00: 74 20 22 25 2d 37 73 22 20 22 24 69 6e 74 2c 20  t "%-7s" "$int, 
3b10: 22 5d 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 61  "].    }.  }.  a
3b20: 70 70 65 6e 64 20 72 65 74 20 22 5c 6e 20 20 22  ppend ret "\n  "
3b30: 0a 20 20 73 65 74 20 72 65 74 0a 7d 0a 0a 70 72  .  set ret.}..pr
3b40: 6f 63 20 63 61 74 65 67 6f 72 69 65 73 5f 73 77  oc categories_sw
3b50: 69 74 63 68 20 7b 43 76 61 72 20 66 69 72 73 74  itch {Cvar first
3b60: 20 6c 53 65 63 6f 6e 64 7d 20 7b 0a 20 20 75 70   lSecond} {.  up
3b70: 76 61 72 20 24 43 76 61 72 20 43 0a 20 20 73 65  var $Cvar C.  se
3b80: 74 20 72 65 74 20 22 22 0a 20 20 61 70 70 65 6e  t ret "".  appen
3b90: 64 20 72 65 74 20 22 63 61 73 65 20 27 24 66 69  d ret "case '$fi
3ba0: 72 73 74 27 3a 5c 6e 22 0a 20 20 61 70 70 65 6e  rst':\n".  appen
3bb0: 64 20 72 65 74 20 22 20 20 20 20 20 20 20 20 20  d ret "         
3bc0: 20 73 77 69 74 63 68 28 20 7a 43 61 74 5c 5b 31   switch( zCat\[1
3bd0: 5c 5d 20 29 7b 5c 6e 22 0a 20 20 66 6f 72 65 61  \] ){\n".  forea
3be0: 63 68 20 73 20 24 6c 53 65 63 6f 6e 64 20 7b 0a  ch s $lSecond {.
3bf0: 20 20 20 20 61 70 70 65 6e 64 20 72 65 74 20 22      append ret "
3c00: 20 20 20 20 20 20 20 20 20 20 20 20 63 61 73 65              case
3c10: 20 27 24 73 27 3a 20 61 41 72 72 61 79 5c 5b 24   '$s': aArray\[$
3c20: 43 28 24 66 69 72 73 74 24 73 29 5c 5d 20 3d 20  C($first$s)\] = 
3c30: 31 3b 20 62 72 65 61 6b 3b 5c 6e 22 0a 20 20 7d  1; break;\n".  }
3c40: 0a 20 20 61 70 70 65 6e 64 20 72 65 74 20 22 20  .  append ret " 
3c50: 20 20 20 20 20 20 20 20 20 20 20 63 61 73 65 20             case 
3c60: 27 2a 27 3a 20 5c 6e 22 0a 20 20 66 6f 72 65 61  '*': \n".  forea
3c70: 63 68 20 73 20 24 6c 53 65 63 6f 6e 64 20 7b 0a  ch s $lSecond {.
3c80: 20 20 20 20 61 70 70 65 6e 64 20 72 65 74 20 22      append ret "
3c90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 61 41                aA
3ca0: 72 72 61 79 5c 5b 24 43 28 24 66 69 72 73 74 24  rray\[$C($first$
3cb0: 73 29 5c 5d 20 3d 20 31 3b 5c 6e 22 0a 20 20 7d  s)\] = 1;\n".  }
3cc0: 0a 20 20 61 70 70 65 6e 64 20 72 65 74 20 22 20  .  append ret " 
3cd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 62 72 65               bre
3ce0: 61 6b 3b 5c 6e 22 0a 20 20 61 70 70 65 6e 64 20  ak;\n".  append 
3cf0: 72 65 74 20 22 20 20 20 20 20 20 20 20 20 20 20  ret "           
3d00: 20 64 65 66 61 75 6c 74 3a 20 72 65 74 75 72 6e   default: return
3d10: 20 31 3b 22 0a 20 20 61 70 70 65 6e 64 20 72 65   1;".  append re
3d20: 74 20 22 20 20 20 20 20 20 20 20 20 20 7d 5c 6e  t "          }\n
3d30: 22 0a 20 20 61 70 70 65 6e 64 20 72 65 74 20 22  ".  append ret "
3d40: 20 20 20 20 20 20 20 20 20 20 62 72 65 61 6b 3b            break;
3d50: 5c 6e 22 0a 7d 0a 0a 23 20 41 72 67 75 6d 65 6e  \n".}..# Argumen
3d60: 74 20 69 73 20 61 20 6c 69 73 74 2e 20 45 61 63  t is a list. Eac
3d70: 68 20 65 6c 65 6d 65 6e 74 20 6f 66 20 77 68 69  h element of whi
3d80: 63 68 20 69 73 20 69 74 73 65 6c 66 20 61 20 6c  ch is itself a l
3d90: 69 73 74 20 6f 66 20 74 77 6f 20 65 6c 65 6d 65  ist of two eleme
3da0: 6e 74 73 3a 0a 23 0a 23 20 20 20 2a 20 74 68 65  nts:.#.#   * the
3db0: 20 63 6f 64 65 70 6f 69 6e 74 0a 23 20 20 20 2a   codepoint.#   *
3dc0: 20 74 68 65 20 63 61 74 65 67 6f 72 79 0a 23 0a   the category.#.
3dd0: 23 20 4c 69 73 74 20 65 6c 65 6d 65 6e 74 73 20  # List elements 
3de0: 61 72 65 20 73 6f 72 74 65 64 20 69 6e 20 6f 72  are sorted in or
3df0: 64 65 72 20 6f 66 20 63 6f 64 65 70 6f 69 6e 74  der of codepoint
3e00: 2e 0a 23 0a 70 72 6f 63 20 70 72 69 6e 74 5f 63  ..#.proc print_c
3e10: 61 74 65 67 6f 72 69 65 73 20 7b 6c 4d 61 70 7d  ategories {lMap}
3e20: 20 7b 0a 20 20 73 65 74 20 63 61 74 65 67 6f 72   {.  set categor
3e30: 69 65 73 20 7b 0a 20 20 20 20 43 63 20 43 66 20  ies {.    Cc Cf 
3e40: 43 6e 20 43 73 0a 20 20 20 20 4c 6c 20 4c 6d 20  Cn Cs.    Ll Lm 
3e50: 4c 6f 20 4c 74 20 4c 75 0a 20 20 20 20 4d 63 20  Lo Lt Lu.    Mc 
3e60: 4d 65 20 4d 6e 0a 20 20 20 20 4e 64 20 4e 6c 20  Me Mn.    Nd Nl 
3e70: 4e 6f 0a 20 20 20 20 50 63 20 50 64 20 50 65 20  No.    Pc Pd Pe 
3e80: 50 66 20 50 69 20 50 6f 20 50 73 0a 20 20 20 20  Pf Pi Po Ps.    
3e90: 53 63 20 53 6b 20 53 6d 20 53 6f 0a 20 20 20 20  Sc Sk Sm So.    
3ea0: 5a 6c 20 5a 70 20 5a 73 0a 0a 20 20 20 20 4c 43  Zl Zp Zs..    LC
3eb0: 20 43 6f 0a 20 20 7d 0a 0a 20 20 66 6f 72 20 7b   Co.  }..  for {
3ec0: 73 65 74 20 69 20 30 7d 20 7b 24 69 20 3c 20 5b  set i 0} {$i < [
3ed0: 6c 6c 65 6e 67 74 68 20 24 63 61 74 65 67 6f 72  llength $categor
3ee0: 69 65 73 5d 7d 20 7b 69 6e 63 72 20 69 7d 20 7b  ies]} {incr i} {
3ef0: 0a 20 20 20 20 73 65 74 20 43 28 5b 6c 69 6e 64  .    set C([lind
3f00: 65 78 20 24 63 61 74 65 67 6f 72 69 65 73 20 24  ex $categories $
3f10: 69 5d 29 20 5b 65 78 70 72 20 31 2b 24 69 5d 0a  i]) [expr 1+$i].
3f20: 20 20 7d 0a 0a 20 20 73 65 74 20 63 61 73 65 43    }..  set caseC
3f30: 20 5b 63 61 74 65 67 6f 72 69 65 73 5f 73 77 69   [categories_swi
3f40: 74 63 68 20 43 20 43 20 7b 63 20 66 20 6e 20 73  tch C C {c f n s
3f50: 20 6f 7d 5d 0a 20 20 73 65 74 20 63 61 73 65 4c   o}].  set caseL
3f60: 20 5b 63 61 74 65 67 6f 72 69 65 73 5f 73 77 69   [categories_swi
3f70: 74 63 68 20 43 20 4c 20 7b 6c 20 6d 20 6f 20 74  tch C L {l m o t
3f80: 20 75 20 43 7d 5d 0a 20 20 73 65 74 20 63 61 73   u C}].  set cas
3f90: 65 4d 20 5b 63 61 74 65 67 6f 72 69 65 73 5f 73  eM [categories_s
3fa0: 77 69 74 63 68 20 43 20 4d 20 7b 63 20 65 20 6e  witch C M {c e n
3fb0: 7d 5d 0a 20 20 73 65 74 20 63 61 73 65 4e 20 5b  }].  set caseN [
3fc0: 63 61 74 65 67 6f 72 69 65 73 5f 73 77 69 74 63  categories_switc
3fd0: 68 20 43 20 4e 20 7b 64 20 6c 20 6f 7d 5d 0a 20  h C N {d l o}]. 
3fe0: 20 73 65 74 20 63 61 73 65 50 20 5b 63 61 74 65   set caseP [cate
3ff0: 67 6f 72 69 65 73 5f 73 77 69 74 63 68 20 43 20  gories_switch C 
4000: 50 20 7b 63 20 64 20 65 20 66 20 69 20 6f 20 73  P {c d e f i o s
4010: 7d 5d 0a 20 20 73 65 74 20 63 61 73 65 53 20 5b  }].  set caseS [
4020: 63 61 74 65 67 6f 72 69 65 73 5f 73 77 69 74 63  categories_switc
4030: 68 20 43 20 53 20 7b 63 20 6b 20 6d 20 6f 7d 5d  h C S {c k m o}]
4040: 0a 20 20 73 65 74 20 63 61 73 65 5a 20 5b 63 61  .  set caseZ [ca
4050: 74 65 67 6f 72 69 65 73 5f 73 77 69 74 63 68 20  tegories_switch 
4060: 43 20 5a 20 7b 6c 20 70 20 73 7d 5d 0a 0a 20 20  C Z {l p s}]..  
4070: 73 65 74 20 6e 43 61 74 20 5b 65 78 70 72 20 5b  set nCat [expr [
4080: 6c 6c 65 6e 67 74 68 20 5b 61 72 72 61 79 20 6e  llength [array n
4090: 61 6d 65 73 20 43 5d 5d 20 2b 20 31 5d 0a 20 20  ames C]] + 1].  
40a0: 70 75 74 73 20 5b 63 6f 64 65 20 7b 0a 20 20 20  puts [code {.   
40b0: 20 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35   int sqlite3Fts5
40c0: 55 6e 69 63 6f 64 65 4e 43 61 74 28 76 6f 69 64  UnicodeNCat(void
40d0: 29 20 7b 20 0a 20 20 20 20 20 20 72 65 74 75 72  ) { .      retur
40e0: 6e 20 24 6e 43 61 74 3b 0a 20 20 20 20 7d 0a 0a  n $nCat;.    }..
40f0: 20 20 20 20 69 6e 74 20 73 71 6c 69 74 65 33 46      int sqlite3F
4100: 74 73 35 55 6e 69 63 6f 64 65 43 61 74 50 61 72  ts5UnicodeCatPar
4110: 73 65 28 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a  se(const char *z
4120: 43 61 74 2c 20 75 38 20 2a 61 41 72 72 61 79 29  Cat, u8 *aArray)
4130: 7b 20 0a 20 20 20 20 20 20 61 41 72 72 61 79 5b  { .      aArray[
4140: 30 5d 20 3d 20 31 3b 0a 20 20 20 20 20 20 73 77  0] = 1;.      sw
4150: 69 74 63 68 28 20 7a 43 61 74 5b 30 5d 20 29 7b  itch( zCat[0] ){
4160: 0a 20 20 20 20 20 20 20 20 24 63 61 73 65 43 0a  .        $caseC.
4170: 20 20 20 20 20 20 20 20 24 63 61 73 65 4c 0a 20          $caseL. 
4180: 20 20 20 20 20 20 20 24 63 61 73 65 4d 0a 20 20         $caseM.  
4190: 20 20 20 20 20 20 24 63 61 73 65 4e 0a 20 20 20        $caseN.   
41a0: 20 20 20 20 20 24 63 61 73 65 50 0a 20 20 20 20       $caseP.    
41b0: 20 20 20 20 24 63 61 73 65 53 0a 20 20 20 20 20      $caseS.     
41c0: 20 20 20 24 63 61 73 65 5a 0a 20 20 20 20 20 20     $caseZ.      
41d0: 7d 0a 20 20 20 20 20 20 72 65 74 75 72 6e 20 30  }.      return 0
41e0: 3b 0a 20 20 20 20 7d 0a 20 20 7d 5d 0a 0a 20 20  ;.    }.  }]..  
41f0: 73 65 74 20 6e 52 65 70 65 61 74 20 30 0a 20 20  set nRepeat 0.  
4200: 73 65 74 20 66 69 72 73 74 20 20 20 5b 6c 69 6e  set first   [lin
4210: 64 65 78 20 24 6c 4d 61 70 20 30 20 30 5d 0a 20  dex $lMap 0 0]. 
4220: 20 73 65 74 20 63 6c 61 73 73 20 20 20 5b 6c 69   set class   [li
4230: 6e 64 65 78 20 24 6c 4d 61 70 20 30 20 31 5d 0a  ndex $lMap 0 1].
4240: 20 20 73 65 74 20 70 72 65 76 20 2d 31 0a 0a 20    set prev -1.. 
4250: 20 73 65 74 20 43 41 53 45 28 30 29 20 22 4c 75   set CASE(0) "Lu
4260: 22 0a 20 20 73 65 74 20 43 41 53 45 28 31 29 20  ".  set CASE(1) 
4270: 22 4c 6c 22 0a 0a 20 20 66 6f 72 65 61 63 68 20  "Ll"..  foreach 
4280: 6d 20 24 6c 4d 61 70 20 7b 0a 20 20 20 20 66 6f  m $lMap {.    fo
4290: 72 65 61 63 68 20 7b 63 6f 64 65 70 6f 69 6e 74  reach {codepoint
42a0: 20 63 6c 7d 20 24 6d 20 7b 7d 0a 20 20 20 20 73   cl} $m {}.    s
42b0: 65 74 20 63 6f 64 65 70 6f 69 6e 74 20 5b 65 78  et codepoint [ex
42c0: 70 72 20 22 30 78 24 63 6f 64 65 70 6f 69 6e 74  pr "0x$codepoint
42d0: 22 5d 0a 20 20 20 20 69 66 20 7b 24 63 6f 64 65  "].    if {$code
42e0: 70 6f 69 6e 74 3e 3d 28 31 3c 3c 32 30 29 7d 20  point>=(1<<20)} 
42f0: 63 6f 6e 74 69 6e 75 65 0a 0a 20 20 20 20 73 65  continue..    se
4300: 74 20 62 4e 65 77 20 30 0a 20 20 20 20 69 66 20  t bNew 0.    if 
4310: 7b 24 63 6f 64 65 70 6f 69 6e 74 21 3d 28 24 70  {$codepoint!=($p
4320: 72 65 76 2b 31 29 7d 20 7b 0a 20 20 20 20 20 20  rev+1)} {.      
4330: 73 65 74 20 62 4e 65 77 20 31 0a 20 20 20 20 7d  set bNew 1.    }
4340: 20 65 6c 73 65 69 66 20 7b 0a 20 20 20 20 20 20   elseif {.      
4350: 24 63 6c 3d 3d 24 63 6c 61 73 73 20 7c 7c 20 28  $cl==$class || (
4360: 24 63 6c 61 73 73 3d 3d 22 4c 43 22 20 26 26 20  $class=="LC" && 
4370: 24 63 6c 3d 3d 24 43 41 53 45 28 5b 65 78 70 72  $cl==$CASE([expr
4380: 20 24 6e 52 65 70 65 61 74 20 26 20 30 78 30 31   $nRepeat & 0x01
4390: 5d 29 29 0a 20 20 20 20 7d 20 7b 0a 20 20 20 20  ])).    } {.    
43a0: 20 20 69 6e 63 72 20 6e 52 65 70 65 61 74 0a 20    incr nRepeat. 
43b0: 20 20 20 7d 20 65 6c 73 65 69 66 20 7b 24 63 6c     } elseif {$cl
43c0: 61 73 73 3d 3d 22 4c 75 22 20 26 26 20 24 6e 52  ass=="Lu" && $nR
43d0: 65 70 65 61 74 3d 3d 31 20 26 26 20 24 63 6c 3d  epeat==1 && $cl=
43e0: 3d 22 4c 6c 22 7d 20 7b 0a 20 20 20 20 20 20 73  ="Ll"} {.      s
43f0: 65 74 20 63 6c 61 73 73 20 4c 43 0a 20 20 20 20  et class LC.    
4400: 20 20 69 6e 63 72 20 6e 52 65 70 65 61 74 0a 20    incr nRepeat. 
4410: 20 20 20 7d 20 65 6c 73 65 20 7b 0a 20 20 20 20     } else {.    
4420: 20 20 73 65 74 20 62 4e 65 77 20 31 0a 20 20 20    set bNew 1.   
4430: 20 7d 0a 20 20 20 20 69 66 20 7b 24 62 4e 65 77   }.    if {$bNew
4440: 7d 20 7b 0a 20 20 20 20 20 20 6c 61 70 70 65 6e  } {.      lappen
4450: 64 20 6c 45 6e 74 72 69 65 73 20 5b 6c 69 73 74  d lEntries [list
4460: 20 24 66 69 72 73 74 20 24 63 6c 61 73 73 20 24   $first $class $
4470: 6e 52 65 70 65 61 74 5d 0a 20 20 20 20 20 20 73  nRepeat].      s
4480: 65 74 20 6e 52 65 70 65 61 74 20 31 0a 20 20 20  et nRepeat 1.   
4490: 20 20 20 73 65 74 20 66 69 72 73 74 20 24 63 6f     set first $co
44a0: 64 65 70 6f 69 6e 74 0a 20 20 20 20 20 20 73 65  depoint.      se
44b0: 74 20 63 6c 61 73 73 20 24 63 6c 0a 20 20 20 20  t class $cl.    
44c0: 7d 0a 20 20 20 20 73 65 74 20 70 72 65 76 20 24  }.    set prev $
44d0: 63 6f 64 65 70 6f 69 6e 74 0a 20 20 7d 0a 20 20  codepoint.  }.  
44e0: 69 66 20 7b 24 6e 52 65 70 65 61 74 3e 30 7d 20  if {$nRepeat>0} 
44f0: 7b 0a 20 20 20 20 6c 61 70 70 65 6e 64 20 6c 45  {.    lappend lE
4500: 6e 74 72 69 65 73 20 5b 6c 69 73 74 20 24 66 69  ntries [list $fi
4510: 72 73 74 20 24 63 6c 61 73 73 20 24 6e 52 65 70  rst $class $nRep
4520: 65 61 74 5d 0a 20 20 7d 0a 0a 20 20 73 65 74 20  eat].  }..  set 
4530: 61 42 6c 6f 63 6b 20 5b 6c 69 73 74 20 30 20 30  aBlock [list 0 0
4540: 20 30 20 30 20 30 20 30 20 30 20 30 20 30 20 30   0 0 0 0 0 0 0 0
4550: 20 30 20 30 20 30 20 30 20 30 20 30 20 30 5d 0a   0 0 0 0 0 0 0].
4560: 20 20 73 65 74 20 61 4d 61 70 20 5b 6c 69 73 74    set aMap [list
4570: 5d 0a 20 20 66 6f 72 65 61 63 68 20 65 20 24 6c  ].  foreach e $l
4580: 45 6e 74 72 69 65 73 20 7b 0a 20 20 20 20 66 6f  Entries {.    fo
4590: 72 65 61 63 68 20 7b 63 70 20 63 6c 61 73 73 20  reach {cp class 
45a0: 6e 52 65 70 65 61 74 7d 20 24 65 20 7b 7d 0a 20  nRepeat} $e {}. 
45b0: 20 20 20 73 65 74 20 62 6c 6f 63 6b 20 5b 65 78     set block [ex
45c0: 70 72 20 28 24 63 70 3e 3e 31 36 29 5d 0a 20 20  pr ($cp>>16)].  
45d0: 20 20 69 66 20 7b 24 62 6c 6f 63 6b 3e 30 20 26    if {$block>0 &
45e0: 26 20 5b 6c 69 6e 64 65 78 20 24 61 42 6c 6f 63  & [lindex $aBloc
45f0: 6b 20 24 62 6c 6f 63 6b 5d 3d 3d 30 7d 20 7b 0a  k $block]==0} {.
4600: 20 20 20 20 20 20 66 6f 72 20 7b 73 65 74 20 69        for {set i
4610: 20 31 7d 20 7b 24 69 3c 3d 24 62 6c 6f 63 6b 7d   1} {$i<=$block}
4620: 20 7b 69 6e 63 72 20 69 7d 20 7b 0a 20 20 20 20   {incr i} {.    
4630: 20 20 20 20 69 66 20 7b 5b 6c 69 6e 64 65 78 20      if {[lindex 
4640: 24 61 42 6c 6f 63 6b 20 24 69 5d 3d 3d 30 7d 20  $aBlock $i]==0} 
4650: 7b 0a 20 20 20 20 20 20 20 20 20 20 6c 73 65 74  {.          lset
4660: 20 61 42 6c 6f 63 6b 20 24 69 20 5b 6c 6c 65 6e   aBlock $i [llen
4670: 67 74 68 20 24 61 4d 61 70 5d 0a 20 20 20 20 20  gth $aMap].     
4680: 20 20 20 7d 0a 20 20 20 20 20 20 7d 0a 20 20 20     }.      }.   
4690: 20 7d 0a 20 20 20 20 6c 61 70 70 65 6e 64 20 61   }.    lappend a
46a0: 4d 61 70 20 5b 65 78 70 72 20 7b 24 63 70 20 26  Map [expr {$cp &
46b0: 20 30 78 46 46 46 46 7d 5d 0a 20 20 20 20 6c 61   0xFFFF}].    la
46c0: 70 70 65 6e 64 20 61 44 61 74 61 20 5b 65 78 70  ppend aData [exp
46d0: 72 20 7b 28 24 6e 52 65 70 65 61 74 20 3c 3c 20  r {($nRepeat << 
46e0: 35 29 20 2b 20 24 43 28 24 63 6c 61 73 73 29 7d  5) + $C($class)}
46f0: 5d 0a 20 20 7d 0a 20 20 66 6f 72 20 7b 73 65 74  ].  }.  for {set
4700: 20 69 20 31 7d 20 7b 24 69 3c 5b 6c 6c 65 6e 67   i 1} {$i<[lleng
4710: 74 68 20 24 61 42 6c 6f 63 6b 5d 7d 20 7b 69 6e  th $aBlock]} {in
4720: 63 72 20 69 7d 20 7b 0a 20 20 20 20 69 66 20 7b  cr i} {.    if {
4730: 5b 6c 69 6e 64 65 78 20 24 61 42 6c 6f 63 6b 20  [lindex $aBlock 
4740: 24 69 5d 3d 3d 30 7d 20 7b 0a 20 20 20 20 20 20  $i]==0} {.      
4750: 6c 73 65 74 20 61 42 6c 6f 63 6b 20 24 69 20 5b  lset aBlock $i [
4760: 6c 6c 65 6e 67 74 68 20 24 61 4d 61 70 5d 0a 20  llength $aMap]. 
4770: 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 73 65 74 20     }.  }..  set 
4780: 61 42 6c 6f 63 6b 41 72 72 61 79 20 5b 69 6e 74  aBlockArray [int
4790: 61 72 72 61 79 20 24 61 42 6c 6f 63 6b 5d 0a 20  array $aBlock]. 
47a0: 20 73 65 74 20 61 4d 61 70 41 72 72 61 79 20 5b   set aMapArray [
47b0: 69 6e 74 61 72 72 61 79 20 24 61 4d 61 70 5d 0a  intarray $aMap].
47c0: 20 20 73 65 74 20 61 44 61 74 61 41 72 72 61 79    set aDataArray
47d0: 20 5b 69 6e 74 61 72 72 61 79 20 24 61 44 61 74   [intarray $aDat
47e0: 61 5d 0a 20 20 70 75 74 73 20 5b 63 6f 64 65 20  a].  puts [code 
47f0: 7b 0a 20 20 20 20 73 74 61 74 69 63 20 75 31 36  {.    static u16
4800: 20 61 46 74 73 35 55 6e 69 63 6f 64 65 42 6c 6f   aFts5UnicodeBlo
4810: 63 6b 5b 5d 20 3d 20 7b 24 61 42 6c 6f 63 6b 41  ck[] = {$aBlockA
4820: 72 72 61 79 7d 3b 0a 20 20 20 20 73 74 61 74 69  rray};.    stati
4830: 63 20 75 31 36 20 61 46 74 73 35 55 6e 69 63 6f  c u16 aFts5Unico
4840: 64 65 4d 61 70 5b 5d 20 3d 20 7b 24 61 4d 61 70  deMap[] = {$aMap
4850: 41 72 72 61 79 7d 3b 0a 20 20 20 20 73 74 61 74  Array};.    stat
4860: 69 63 20 75 31 36 20 61 46 74 73 35 55 6e 69 63  ic u16 aFts5Unic
4870: 6f 64 65 44 61 74 61 5b 5d 20 3d 20 7b 24 61 44  odeData[] = {$aD
4880: 61 74 61 41 72 72 61 79 7d 3b 0a 0a 20 20 20 20  ataArray};..    
4890: 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35 55  int sqlite3Fts5U
48a0: 6e 69 63 6f 64 65 43 61 74 65 67 6f 72 79 28 69  nicodeCategory(i
48b0: 6e 74 20 69 43 6f 64 65 29 20 7b 20 0a 20 20 20  nt iCode) { .   
48c0: 20 20 20 69 6e 74 20 69 52 65 73 20 3d 20 2d 31     int iRes = -1
48d0: 3b 0a 20 20 20 20 20 20 69 6e 74 20 69 48 69 3b  ;.      int iHi;
48e0: 0a 20 20 20 20 20 20 69 6e 74 20 69 4c 6f 3b 0a  .      int iLo;.
48f0: 20 20 20 20 20 20 69 6e 74 20 72 65 74 3b 0a 20        int ret;. 
4900: 20 20 20 20 20 75 31 36 20 69 4b 65 79 3b 0a 0a       u16 iKey;..
4910: 20 20 20 20 20 20 69 66 28 20 69 43 6f 64 65 3e        if( iCode>
4920: 3d 28 31 3c 3c 32 30 29 20 29 7b 0a 20 20 20 20  =(1<<20) ){.    
4930: 20 20 20 20 72 65 74 75 72 6e 20 30 3b 0a 20 20      return 0;.  
4940: 20 20 20 20 7d 0a 20 20 20 20 20 20 69 4c 6f 20      }.      iLo 
4950: 3d 20 61 46 74 73 35 55 6e 69 63 6f 64 65 42 6c  = aFts5UnicodeBl
4960: 6f 63 6b 5b 28 69 43 6f 64 65 3e 3e 31 36 29 5d  ock[(iCode>>16)]
4970: 3b 0a 20 20 20 20 20 20 69 48 69 20 3d 20 61 46  ;.      iHi = aF
4980: 74 73 35 55 6e 69 63 6f 64 65 42 6c 6f 63 6b 5b  ts5UnicodeBlock[
4990: 31 2b 28 69 43 6f 64 65 3e 3e 31 36 29 5d 3b 0a  1+(iCode>>16)];.
49a0: 20 20 20 20 20 20 69 4b 65 79 20 3d 20 28 69 43        iKey = (iC
49b0: 6f 64 65 20 26 20 30 78 46 46 46 46 29 3b 0a 20  ode & 0xFFFF);. 
49c0: 20 20 20 20 20 77 68 69 6c 65 28 20 69 48 69 3e       while( iHi>
49d0: 69 4c 6f 20 29 7b 0a 20 20 20 20 20 20 20 20 69  iLo ){.        i
49e0: 6e 74 20 69 54 65 73 74 20 3d 20 28 69 48 69 20  nt iTest = (iHi 
49f0: 2b 20 69 4c 6f 29 20 2f 20 32 3b 0a 20 20 20 20  + iLo) / 2;.    
4a00: 20 20 20 20 61 73 73 65 72 74 28 20 69 54 65 73      assert( iTes
4a10: 74 3e 3d 69 4c 6f 20 26 26 20 69 54 65 73 74 3c  t>=iLo && iTest<
4a20: 69 48 69 20 29 3b 0a 20 20 20 20 20 20 20 20 69  iHi );.        i
4a30: 66 28 20 69 4b 65 79 3e 3d 61 46 74 73 35 55 6e  f( iKey>=aFts5Un
4a40: 69 63 6f 64 65 4d 61 70 5b 69 54 65 73 74 5d 20  icodeMap[iTest] 
4a50: 29 7b 0a 20 20 20 20 20 20 20 20 20 20 69 52 65  ){.          iRe
4a60: 73 20 3d 20 69 54 65 73 74 3b 0a 20 20 20 20 20  s = iTest;.     
4a70: 20 20 20 20 20 69 4c 6f 20 3d 20 69 54 65 73 74       iLo = iTest
4a80: 2b 31 3b 0a 20 20 20 20 20 20 20 20 7d 65 6c 73  +1;.        }els
4a90: 65 7b 0a 20 20 20 20 20 20 20 20 20 20 69 48 69  e{.          iHi
4aa0: 20 3d 20 69 54 65 73 74 3b 0a 20 20 20 20 20 20   = iTest;.      
4ab0: 20 20 7d 0a 20 20 20 20 20 20 7d 0a 0a 20 20 20    }.      }..   
4ac0: 20 20 20 69 66 28 20 69 52 65 73 3c 30 20 29 20     if( iRes<0 ) 
4ad0: 72 65 74 75 72 6e 20 30 3b 0a 20 20 20 20 20 20  return 0;.      
4ae0: 69 66 28 20 69 4b 65 79 3e 3d 28 61 46 74 73 35  if( iKey>=(aFts5
4af0: 55 6e 69 63 6f 64 65 4d 61 70 5b 69 52 65 73 5d  UnicodeMap[iRes]
4b00: 2b 28 61 46 74 73 35 55 6e 69 63 6f 64 65 44 61  +(aFts5UnicodeDa
4b10: 74 61 5b 69 52 65 73 5d 3e 3e 35 29 29 20 29 20  ta[iRes]>>5)) ) 
4b20: 72 65 74 75 72 6e 20 30 3b 0a 20 20 20 20 20 20  return 0;.      
4b30: 72 65 74 20 3d 20 61 46 74 73 35 55 6e 69 63 6f  ret = aFts5Unico
4b40: 64 65 44 61 74 61 5b 69 52 65 73 5d 20 26 20 30  deData[iRes] & 0
4b50: 78 31 46 3b 0a 20 20 20 20 20 20 69 66 28 20 72  x1F;.      if( r
4b60: 65 74 21 3d 24 43 28 4c 43 29 20 29 20 72 65 74  et!=$C(LC) ) ret
4b70: 75 72 6e 20 72 65 74 3b 0a 20 20 20 20 20 20 72  urn ret;.      r
4b80: 65 74 75 72 6e 20 28 28 69 4b 65 79 20 2d 20 61  eturn ((iKey - a
4b90: 46 74 73 35 55 6e 69 63 6f 64 65 4d 61 70 5b 69  Fts5UnicodeMap[i
4ba0: 52 65 73 5d 29 20 26 20 30 78 30 31 29 20 3f 20  Res]) & 0x01) ? 
4bb0: 24 43 28 4c 6c 29 20 3a 20 24 43 28 4c 75 29 3b  $C(Ll) : $C(Lu);
4bc0: 0a 20 20 20 20 7d 0a 0a 20 20 20 20 76 6f 69 64  .    }..    void
4bd0: 20 73 71 6c 69 74 65 33 46 74 73 35 55 6e 69 63   sqlite3Fts5Unic
4be0: 6f 64 65 41 73 63 69 69 28 75 38 20 2a 61 41 72  odeAscii(u8 *aAr
4bf0: 72 61 79 2c 20 75 38 20 2a 61 41 73 63 69 69 29  ray, u8 *aAscii)
4c00: 7b 0a 20 20 20 20 20 20 69 6e 74 20 69 20 3d 20  {.      int i = 
4c10: 30 3b 0a 20 20 20 20 20 20 69 6e 74 20 69 54 62  0;.      int iTb
4c20: 6c 20 3d 20 30 3b 0a 20 20 20 20 20 20 77 68 69  l = 0;.      whi
4c30: 6c 65 28 20 69 3c 31 32 38 20 29 7b 0a 20 20 20  le( i<128 ){.   
4c40: 20 20 20 20 20 69 6e 74 20 62 54 6f 6b 65 6e 20       int bToken 
4c50: 3d 20 61 41 72 72 61 79 5b 20 61 46 74 73 35 55  = aArray[ aFts5U
4c60: 6e 69 63 6f 64 65 44 61 74 61 5b 69 54 62 6c 5d  nicodeData[iTbl]
4c70: 20 26 20 30 78 31 46 20 5d 3b 0a 20 20 20 20 20   & 0x1F ];.     
4c80: 20 20 20 69 6e 74 20 6e 20 3d 20 28 61 46 74 73     int n = (aFts
4c90: 35 55 6e 69 63 6f 64 65 44 61 74 61 5b 69 54 62  5UnicodeData[iTb
4ca0: 6c 5d 20 3e 3e 20 35 29 20 2b 20 69 3b 0a 20 20  l] >> 5) + i;.  
4cb0: 20 20 20 20 20 20 66 6f 72 28 3b 20 69 3c 31 32        for(; i<12
4cc0: 38 20 26 26 20 69 3c 6e 3b 20 69 2b 2b 29 7b 0a  8 && i<n; i++){.
4cd0: 20 20 20 20 20 20 20 20 20 20 61 41 73 63 69 69            aAscii
4ce0: 5b 69 5d 20 3d 20 62 54 6f 6b 65 6e 3b 0a 20 20  [i] = bToken;.  
4cf0: 20 20 20 20 20 20 7d 0a 20 20 20 20 20 20 20 20        }.        
4d00: 69 54 62 6c 2b 2b 3b 0a 20 20 20 20 20 20 7d 0a  iTbl++;.      }.
4d10: 20 20 20 20 7d 0a 20 20 7d 5d 0a 7d 0a 0a 70 72      }.  }].}..pr
4d20: 6f 63 20 70 72 69 6e 74 5f 74 65 73 74 5f 63 61  oc print_test_ca
4d30: 74 65 67 6f 72 69 65 73 20 7b 6c 4d 61 70 7d 20  tegories {lMap} 
4d40: 7b 0a 0a 20 20 73 65 74 20 6c 43 50 20 5b 6c 69  {..  set lCP [li
4d50: 73 74 5d 0a 20 20 66 6f 72 65 61 63 68 20 65 20  st].  foreach e 
4d60: 24 6c 4d 61 70 20 7b 0a 20 20 20 20 66 6f 72 65  $lMap {.    fore
4d70: 61 63 68 20 7b 63 70 20 63 61 74 7d 20 24 65 20  ach {cp cat} $e 
4d80: 7b 7d 0a 20 20 20 20 69 66 20 7b 5b 65 78 70 72  {}.    if {[expr
4d90: 20 30 78 24 63 70 5d 20 3c 20 28 31 3c 3c 32 30   0x$cp] < (1<<20
4da0: 29 7d 20 7b 0a 20 20 20 20 20 20 6c 61 70 70 65  )} {.      lappe
4db0: 6e 64 20 6c 43 50 20 22 7b 30 78 24 63 70 2c 20  nd lCP "{0x$cp, 
4dc0: 5c 22 24 63 61 74 5c 22 7d 2c 20 22 0a 20 20 20  \"$cat\"}, ".   
4dd0: 20 7d 0a 20 20 7d 0a 0a 20 20 73 65 74 20 61 43   }.  }..  set aC
4de0: 50 20 22 5c 6e 22 0a 20 20 66 6f 72 20 7b 73 65  P "\n".  for {se
4df0: 74 20 69 20 30 7d 20 7b 24 69 20 3c 20 5b 6c 6c  t i 0} {$i < [ll
4e00: 65 6e 67 74 68 20 24 6c 43 50 5d 7d 20 7b 69 6e  ength $lCP]} {in
4e10: 63 72 20 69 20 34 7d 20 7b 0a 20 20 20 20 61 70  cr i 4} {.    ap
4e20: 70 65 6e 64 20 61 43 50 20 22 20 20 20 20 5b 6a  pend aCP "    [j
4e30: 6f 69 6e 20 5b 6c 72 61 6e 67 65 20 24 6c 43 50  oin [lrange $lCP
4e40: 20 24 69 20 24 69 2b 33 5d 5d 5c 6e 22 0a 20 20   $i $i+3]]\n".  
4e50: 7d 0a 0a 0a 20 20 70 75 74 73 20 5b 63 6f 64 65  }...  puts [code
4e60: 20 7b 0a 20 20 20 20 73 74 61 74 69 63 20 69 6e   {.    static in
4e70: 74 20 63 61 74 65 67 6f 72 69 65 73 5f 74 65 73  t categories_tes
4e80: 74 20 28 69 6e 74 20 2a 70 69 43 6f 64 65 29 7b  t (int *piCode){
4e90: 0a 20 20 20 20 20 20 73 74 72 75 63 74 20 43 6f  .      struct Co
4ea0: 64 65 70 6f 69 6e 74 20 7b 0a 20 20 20 20 20 20  depoint {.      
4eb0: 20 20 69 6e 74 20 69 43 6f 64 65 3b 0a 20 20 20    int iCode;.   
4ec0: 20 20 20 20 20 63 6f 6e 73 74 20 63 68 61 72 20       const char 
4ed0: 2a 7a 43 61 74 3b 0a 20 20 20 20 20 20 7d 20 61  *zCat;.      } a
4ee0: 43 50 5b 5d 20 3d 20 7b 24 61 43 50 7d 3b 0a 20  CP[] = {$aCP};. 
4ef0: 20 20 20 20 20 69 6e 74 20 69 3b 0a 20 20 20 20       int i;.    
4f00: 20 20 69 6e 74 20 69 43 50 20 3d 20 30 3b 0a 0a    int iCP = 0;..
4f10: 20 20 20 20 20 20 66 6f 72 28 69 3d 30 3b 20 69        for(i=0; i
4f20: 3c 31 30 30 30 30 30 30 3b 20 69 2b 2b 29 7b 0a  <1000000; i++){.
4f30: 20 20 20 20 20 20 20 20 75 38 20 61 41 72 72 61          u8 aArra
4f40: 79 5b 34 30 5d 3b 0a 20 20 20 20 20 20 20 20 69  y[40];.        i
4f50: 6e 74 20 63 61 74 20 3d 20 30 3b 0a 20 20 20 20  nt cat = 0;.    
4f60: 20 20 20 20 69 6e 74 20 63 20 3d 20 30 3b 0a 20      int c = 0;. 
4f70: 20 20 20 20 20 20 20 6d 65 6d 73 65 74 28 61 41         memset(aA
4f80: 72 72 61 79 2c 20 30 2c 20 73 69 7a 65 6f 66 28  rray, 0, sizeof(
4f90: 61 41 72 72 61 79 29 29 3b 0a 20 20 20 20 20 20  aArray));.      
4fa0: 20 20 69 66 28 20 61 43 50 5b 69 43 50 5d 2e 69    if( aCP[iCP].i
4fb0: 43 6f 64 65 3d 3d 69 20 29 7b 0a 20 20 20 20 20  Code==i ){.     
4fc0: 20 20 20 20 20 73 71 6c 69 74 65 33 46 74 73 35       sqlite3Fts5
4fd0: 55 6e 69 63 6f 64 65 43 61 74 50 61 72 73 65 28  UnicodeCatParse(
4fe0: 61 43 50 5b 69 43 50 5d 2e 7a 43 61 74 2c 20 61  aCP[iCP].zCat, a
4ff0: 41 72 72 61 79 29 3b 0a 20 20 20 20 20 20 20 20  Array);.        
5000: 20 20 69 43 50 2b 2b 3b 0a 20 20 20 20 20 20 20    iCP++;.       
5010: 20 7d 65 6c 73 65 7b 0a 20 20 20 20 20 20 20 20   }else{.        
5020: 20 20 61 41 72 72 61 79 5b 30 5d 20 3d 20 31 3b    aArray[0] = 1;
5030: 0a 20 20 20 20 20 20 20 20 7d 0a 0a 20 20 20 20  .        }..    
5040: 20 20 20 20 63 20 3d 20 73 71 6c 69 74 65 33 46      c = sqlite3F
5050: 74 73 35 55 6e 69 63 6f 64 65 43 61 74 65 67 6f  ts5UnicodeCatego
5060: 72 79 28 69 29 3b 0a 20 20 20 20 20 20 20 20 69  ry(i);.        i
5070: 66 28 20 61 41 72 72 61 79 5b 63 5d 3d 3d 30 20  f( aArray[c]==0 
5080: 29 7b 0a 20 20 20 20 20 20 20 20 20 20 2a 70 69  ){.          *pi
5090: 43 6f 64 65 20 3d 20 69 3b 0a 20 20 20 20 20 20  Code = i;.      
50a0: 20 20 20 20 72 65 74 75 72 6e 20 31 3b 0a 20 20      return 1;.  
50b0: 20 20 20 20 20 20 7d 0a 20 20 20 20 20 20 7d 0a        }.      }.
50c0: 0a 20 20 20 20 20 20 72 65 74 75 72 6e 20 30 3b  .      return 0;
50d0: 0a 20 20 20 20 7d 0a 20 20 7d 5d 0a 7d 0a 0a 70  .    }.  }].}..p
50e0: 72 6f 63 20 70 72 69 6e 74 5f 66 6f 6c 64 5f 74  roc print_fold_t
50f0: 65 73 74 20 7b 7a 46 75 6e 63 20 6d 61 70 70 69  est {zFunc mappi
5100: 6e 67 73 7d 20 7b 0a 20 20 67 6c 6f 62 61 6c 20  ngs} {.  global 
5110: 74 6c 5f 6c 6f 6f 6b 75 70 5f 74 61 62 6c 65 0a  tl_lookup_table.
5120: 0a 20 20 66 6f 72 65 61 63 68 20 6d 20 24 6d 61  .  foreach m $ma
5130: 70 70 69 6e 67 73 20 7b 0a 20 20 20 20 73 65 74  ppings {.    set
5140: 20 63 20 5b 6c 69 6e 64 65 78 20 24 6d 20 31 5d   c [lindex $m 1]
5150: 0a 20 20 20 20 69 66 20 7b 24 63 20 3d 3d 20 22  .    if {$c == "
5160: 22 7d 20 7b 0a 20 20 20 20 20 20 73 65 74 20 65  "} {.      set e
5170: 78 74 72 61 28 5b 6c 69 6e 64 65 78 20 24 6d 20  xtra([lindex $m 
5180: 30 5d 29 20 30 0a 20 20 20 20 7d 20 65 6c 73 65  0]) 0.    } else
5190: 20 7b 0a 20 20 20 20 20 20 73 63 61 6e 20 24 63   {.      scan $c
51a0: 20 25 63 20 69 0a 20 20 20 20 20 20 73 65 74 20   %c i.      set 
51b0: 65 78 74 72 61 28 5b 6c 69 6e 64 65 78 20 24 6d  extra([lindex $m
51c0: 20 30 5d 29 20 24 69 0a 20 20 20 20 7d 0a 20 20   0]) $i.    }.  
51d0: 7d 0a 0a 20 20 70 75 74 73 20 22 73 74 61 74 69  }..  puts "stati
51e0: 63 20 69 6e 74 20 66 6f 6c 64 5f 74 65 73 74 28  c int fold_test(
51f0: 69 6e 74 20 2a 70 69 43 6f 64 65 29 5c 7b 22 0a  int *piCode)\{".
5200: 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e    puts -nonewlin
5210: 65 20 22 20 20 73 74 61 74 69 63 20 69 6e 74 20  e "  static int 
5220: 61 4c 6f 6f 6b 75 70 5c 5b 5c 5d 20 3d 20 5c 7b  aLookup\[\] = \{
5230: 22 0a 20 20 66 6f 72 20 7b 73 65 74 20 69 20 30  ".  for {set i 0
5240: 7d 20 7b 24 69 20 3c 20 37 30 30 30 30 7d 20 7b  } {$i < 70000} {
5250: 69 6e 63 72 20 69 7d 20 7b 0a 0a 20 20 20 20 73  incr i} {..    s
5260: 65 74 20 65 78 70 65 63 74 65 64 20 24 69 0a 20  et expected $i. 
5270: 20 20 20 63 61 74 63 68 20 7b 20 73 65 74 20 65     catch { set e
5280: 78 70 65 63 74 65 64 20 24 74 6c 5f 6c 6f 6f 6b  xpected $tl_look
5290: 75 70 5f 74 61 62 6c 65 28 24 69 29 20 7d 0a 20  up_table($i) }. 
52a0: 20 20 20 73 65 74 20 65 78 70 65 63 74 65 64 32     set expected2
52b0: 20 24 65 78 70 65 63 74 65 64 0a 20 20 20 20 63   $expected.    c
52c0: 61 74 63 68 20 7b 20 73 65 74 20 65 78 70 65 63  atch { set expec
52d0: 74 65 64 32 20 24 65 78 74 72 61 28 24 65 78 70  ted2 $extra($exp
52e0: 65 63 74 65 64 32 29 20 7d 0a 0a 20 20 20 20 69  ected2) }..    i
52f0: 66 20 7b 28 24 69 20 25 20 34 29 3d 3d 30 7d 20  f {($i % 4)==0} 
5300: 20 7b 20 70 75 74 73 20 22 22 20 3b 20 70 75 74   { puts "" ; put
5310: 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22 20 20  s -nonewline "  
5320: 20 20 22 20 7d 0a 20 20 20 20 70 75 74 73 20 2d    " }.    puts -
5330: 6e 6f 6e 65 77 6c 69 6e 65 20 22 24 65 78 70 65  nonewline "$expe
5340: 63 74 65 64 2c 20 24 65 78 70 65 63 74 65 64 32  cted, $expected2
5350: 2c 20 22 0a 20 20 7d 0a 20 20 70 75 74 73 20 22  , ".  }.  puts "
5360: 20 20 5c 7d 3b 22 0a 20 20 70 75 74 73 20 22 20    \};".  puts " 
5370: 20 69 6e 74 20 69 3b 22 0a 20 20 70 75 74 73 20   int i;".  puts 
5380: 22 20 20 66 6f 72 28 69 3d 30 3b 20 69 3c 73 69  "  for(i=0; i<si
5390: 7a 65 6f 66 28 61 4c 6f 6f 6b 75 70 29 2f 73 69  zeof(aLookup)/si
53a0: 7a 65 6f 66 28 61 4c 6f 6f 6b 75 70 5c 5b 30 5c  zeof(aLookup\[0\
53b0: 5d 29 3b 20 69 2b 2b 29 5c 7b 22 0a 20 20 70 75  ]); i++)\{".  pu
53c0: 74 73 20 22 20 20 20 20 69 6e 74 20 69 43 6f 64  ts "    int iCod
53d0: 65 20 3d 20 28 69 2f 32 29 3b 22 0a 20 20 70 75  e = (i/2);".  pu
53e0: 74 73 20 22 20 20 20 20 69 6e 74 20 62 46 6c 61  ts "    int bFla
53f0: 67 20 3d 20 69 20 26 20 30 78 30 30 30 31 3b 22  g = i & 0x0001;"
5400: 0a 20 20 70 75 74 73 20 22 20 20 20 20 69 66 28  .  puts "    if(
5410: 20 24 7b 7a 46 75 6e 63 7d 5c 28 69 43 6f 64 65   ${zFunc}\(iCode
5420: 2c 20 62 46 6c 61 67 29 21 3d 61 4c 6f 6f 6b 75  , bFlag)!=aLooku
5430: 70 5c 5b 69 5c 5d 20 29 5c 7b 22 0a 20 20 70 75  p\[i\] )\{".  pu
5440: 74 73 20 22 20 20 20 20 20 20 2a 70 69 43 6f 64  ts "      *piCod
5450: 65 20 3d 20 69 43 6f 64 65 3b 22 0a 20 20 70 75  e = iCode;".  pu
5460: 74 73 20 22 20 20 20 20 20 20 72 65 74 75 72 6e  ts "      return
5470: 20 31 3b 22 0a 20 20 70 75 74 73 20 22 20 20 20   1;".  puts "   
5480: 20 5c 7d 22 0a 20 20 70 75 74 73 20 22 20 20 5c   \}".  puts "  \
5490: 7d 22 0a 20 20 70 75 74 73 20 22 20 20 72 65 74  }".  puts "  ret
54a0: 75 72 6e 20 30 3b 22 0a 20 20 70 75 74 73 20 22  urn 0;".  puts "
54b0: 5c 7d 22 0a 7d 0a 0a 0a 70 72 6f 63 20 70 72 69  \}".}...proc pri
54c0: 6e 74 5f 66 69 6c 65 68 65 61 64 65 72 20 7b 7d  nt_fileheader {}
54d0: 20 7b 0a 20 20 70 75 74 73 20 5b 73 74 72 69 6e   {.  puts [strin
54e0: 67 20 74 72 69 6d 20 7b 0a 2f 2a 0a 2a 2a 20 32  g trim {./*.** 2
54f0: 30 31 32 20 4d 61 79 20 32 35 0a 2a 2a 0a 2a 2a  012 May 25.**.**
5500: 20 54 68 65 20 61 75 74 68 6f 72 20 64 69 73 63   The author disc
5510: 6c 61 69 6d 73 20 63 6f 70 79 72 69 67 68 74 20  laims copyright 
5520: 74 6f 20 74 68 69 73 20 73 6f 75 72 63 65 20 63  to this source c
5530: 6f 64 65 2e 20 20 49 6e 20 70 6c 61 63 65 20 6f  ode.  In place o
5540: 66 0a 2a 2a 20 61 20 6c 65 67 61 6c 20 6e 6f 74  f.** a legal not
5550: 69 63 65 2c 20 68 65 72 65 20 69 73 20 61 20 62  ice, here is a b
5560: 6c 65 73 73 69 6e 67 3a 0a 2a 2a 0a 2a 2a 20 20  lessing:.**.**  
5570: 20 20 4d 61 79 20 79 6f 75 20 64 6f 20 67 6f 6f    May you do goo
5580: 64 20 61 6e 64 20 6e 6f 74 20 65 76 69 6c 2e 0a  d and not evil..
5590: 2a 2a 20 20 20 20 4d 61 79 20 79 6f 75 20 66 69  **    May you fi
55a0: 6e 64 20 66 6f 72 67 69 76 65 6e 65 73 73 20 66  nd forgiveness f
55b0: 6f 72 20 79 6f 75 72 73 65 6c 66 20 61 6e 64 20  or yourself and 
55c0: 66 6f 72 67 69 76 65 20 6f 74 68 65 72 73 2e 0a  forgive others..
55d0: 2a 2a 20 20 20 20 4d 61 79 20 79 6f 75 20 73 68  **    May you sh
55e0: 61 72 65 20 66 72 65 65 6c 79 2c 20 6e 65 76 65  are freely, neve
55f0: 72 20 74 61 6b 69 6e 67 20 6d 6f 72 65 20 74 68  r taking more th
5600: 61 6e 20 79 6f 75 20 67 69 76 65 2e 0a 2a 2a 0a  an you give..**.
5610: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5620: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5630: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5640: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5650: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a 2a  **************.*
5660: 2f 0a 0a 2f 2a 0a 2a 2a 20 44 4f 20 4e 4f 54 20  /../*.** DO NOT 
5670: 45 44 49 54 20 54 48 49 53 20 4d 41 43 48 49 4e  EDIT THIS MACHIN
5680: 45 20 47 45 4e 45 52 41 54 45 44 20 46 49 4c 45  E GENERATED FILE
5690: 2e 0a 2a 2f 0a 20 20 7d 5d 0a 20 20 70 75 74 73  ..*/.  }].  puts
56a0: 20 22 22 0a 20 20 69 66 20 7b 24 3a 3a 67 65 6e   "".  if {$::gen
56b0: 65 72 61 74 65 5f 66 74 73 35 5f 63 6f 64 65 7d  erate_fts5_code}
56c0: 20 7b 0a 20 20 20 20 23 20 6e 6f 2d 6f 70 0a 20   {.    # no-op. 
56d0: 20 7d 20 65 6c 73 65 20 7b 0a 20 20 20 20 70 75   } else {.    pu
56e0: 74 73 20 22 23 69 66 6e 64 65 66 20 53 51 4c 49  ts "#ifndef SQLI
56f0: 54 45 5f 44 49 53 41 42 4c 45 5f 46 54 53 33 5f  TE_DISABLE_FTS3_
5700: 55 4e 49 43 4f 44 45 22 0a 20 20 20 20 70 75 74  UNICODE".    put
5710: 73 20 22 23 69 66 20 64 65 66 69 6e 65 64 28 53  s "#if defined(S
5720: 51 4c 49 54 45 5f 45 4e 41 42 4c 45 5f 46 54 53  QLITE_ENABLE_FTS
5730: 33 29 20 7c 7c 20 64 65 66 69 6e 65 64 28 53 51  3) || defined(SQ
5740: 4c 49 54 45 5f 45 4e 41 42 4c 45 5f 46 54 53 34  LITE_ENABLE_FTS4
5750: 29 22 0a 20 20 7d 0a 20 20 70 75 74 73 20 22 22  )".  }.  puts ""
5760: 0a 20 20 70 75 74 73 20 22 23 69 6e 63 6c 75 64  .  puts "#includ
5770: 65 20 3c 61 73 73 65 72 74 2e 68 3e 22 0a 20 20  e <assert.h>".  
5780: 70 75 74 73 20 22 22 0a 7d 0a 0a 70 72 6f 63 20  puts "".}..proc 
5790: 70 72 69 6e 74 5f 74 65 73 74 5f 6d 61 69 6e 20  print_test_main 
57a0: 7b 7d 20 7b 0a 20 20 70 75 74 73 20 22 22 0a 20  {} {.  puts "". 
57b0: 20 70 75 74 73 20 22 23 69 6e 63 6c 75 64 65 20   puts "#include 
57c0: 3c 73 74 64 69 6f 2e 68 3e 22 0a 20 20 70 75 74  <stdio.h>".  put
57d0: 73 20 22 22 0a 20 20 70 75 74 73 20 22 69 6e 74  s "".  puts "int
57e0: 20 6d 61 69 6e 28 69 6e 74 20 61 72 67 63 2c 20   main(int argc, 
57f0: 63 68 61 72 20 2a 2a 61 72 67 76 29 5c 7b 22 0a  char **argv)\{".
5800: 20 20 70 75 74 73 20 22 20 20 69 6e 74 20 72 31    puts "  int r1
5810: 2c 20 72 32 2c 20 72 33 3b 22 0a 20 20 70 75 74  , r2, r3;".  put
5820: 73 20 22 20 20 69 6e 74 20 63 6f 64 65 3b 22 0a  s "  int code;".
5830: 20 20 70 75 74 73 20 22 20 20 72 33 20 3d 20 30    puts "  r3 = 0
5840: 3b 22 0a 20 20 70 75 74 73 20 22 20 20 72 31 20  ;".  puts "  r1 
5850: 3d 20 69 73 61 6c 6e 75 6d 5f 74 65 73 74 28 26  = isalnum_test(&
5860: 63 6f 64 65 29 3b 22 0a 20 20 70 75 74 73 20 22  code);".  puts "
5870: 20 20 69 66 28 20 72 31 20 29 20 70 72 69 6e 74    if( r1 ) print
5880: 66 28 5c 22 69 73 61 6c 6e 75 6d 28 29 3a 20 50  f(\"isalnum(): P
5890: 72 6f 62 6c 65 6d 20 77 69 74 68 20 63 6f 64 65  roblem with code
58a0: 20 25 64 5c 5c 6e 5c 22 2c 63 6f 64 65 29 3b 22   %d\\n\",code);"
58b0: 0a 20 20 70 75 74 73 20 22 20 20 65 6c 73 65 20  .  puts "  else 
58c0: 70 72 69 6e 74 66 28 5c 22 69 73 61 6c 6e 75 6d  printf(\"isalnum
58d0: 28 29 3a 20 74 65 73 74 20 70 61 73 73 65 64 5c  (): test passed\
58e0: 5c 6e 5c 22 29 3b 22 0a 20 20 70 75 74 73 20 22  \n\");".  puts "
58f0: 20 20 72 32 20 3d 20 66 6f 6c 64 5f 74 65 73 74    r2 = fold_test
5900: 28 26 63 6f 64 65 29 3b 22 0a 20 20 70 75 74 73  (&code);".  puts
5910: 20 22 20 20 69 66 28 20 72 32 20 29 20 70 72 69   "  if( r2 ) pri
5920: 6e 74 66 28 5c 22 66 6f 6c 64 28 29 3a 20 50 72  ntf(\"fold(): Pr
5930: 6f 62 6c 65 6d 20 77 69 74 68 20 63 6f 64 65 20  oblem with code 
5940: 25 64 5c 5c 6e 5c 22 2c 63 6f 64 65 29 3b 22 0a  %d\\n\",code);".
5950: 20 20 70 75 74 73 20 22 20 20 65 6c 73 65 20 70    puts "  else p
5960: 72 69 6e 74 66 28 5c 22 66 6f 6c 64 28 29 3a 20  rintf(\"fold(): 
5970: 74 65 73 74 20 70 61 73 73 65 64 5c 5c 6e 5c 22  test passed\\n\"
5980: 29 3b 22 0a 20 20 69 66 20 7b 24 3a 3a 67 65 6e  );".  if {$::gen
5990: 65 72 61 74 65 5f 66 74 73 35 5f 63 6f 64 65 7d  erate_fts5_code}
59a0: 20 7b 0a 20 20 20 20 70 75 74 73 20 22 20 20 72   {.    puts "  r
59b0: 33 20 3d 20 63 61 74 65 67 6f 72 69 65 73 5f 74  3 = categories_t
59c0: 65 73 74 28 26 63 6f 64 65 29 3b 22 0a 20 20 20  est(&code);".   
59d0: 20 70 75 74 73 20 22 20 20 69 66 28 20 72 33 20   puts "  if( r3 
59e0: 29 20 70 72 69 6e 74 66 28 5c 22 63 61 74 65 67  ) printf(\"categ
59f0: 6f 72 69 65 73 28 29 3a 20 50 72 6f 62 6c 65 6d  ories(): Problem
5a00: 20 77 69 74 68 20 63 6f 64 65 20 25 64 5c 5c 6e   with code %d\\n
5a10: 5c 22 2c 63 6f 64 65 29 3b 22 0a 20 20 20 20 70  \",code);".    p
5a20: 75 74 73 20 22 20 20 65 6c 73 65 20 70 72 69 6e  uts "  else prin
5a30: 74 66 28 5c 22 63 61 74 65 67 6f 72 69 65 73 28  tf(\"categories(
5a40: 29 3a 20 74 65 73 74 20 70 61 73 73 65 64 5c 5c  ): test passed\\
5a50: 6e 5c 22 29 3b 22 0a 20 20 7d 0a 20 20 70 75 74  n\");".  }.  put
5a60: 73 20 22 20 20 72 65 74 75 72 6e 20 28 72 31 20  s "  return (r1 
5a70: 7c 7c 20 72 32 20 7c 7c 20 72 33 29 3b 22 0a 20  || r2 || r3);". 
5a80: 20 70 75 74 73 20 22 5c 7d 22 0a 7d 0a 0a 23 20   puts "\}".}..# 
5a90: 50 72 6f 63 65 73 20 74 68 65 20 63 6f 6d 6d 61  Proces the comma
5aa0: 6e 64 20 6c 69 6e 65 20 61 72 67 75 6d 65 6e 74  nd line argument
5ab0: 73 2e 20 45 78 69 74 20 65 61 72 6c 79 20 69 66  s. Exit early if
5ac0: 20 74 68 65 79 20 61 72 65 20 6e 6f 74 20 74 6f   they are not to
5ad0: 0a 23 20 6f 75 72 20 6c 69 6b 69 6e 67 2e 0a 23  .# our liking..#
5ae0: 0a 70 72 6f 63 20 75 73 61 67 65 20 7b 7d 20 7b  .proc usage {} {
5af0: 0a 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69  .  puts -nonewli
5b00: 6e 65 20 73 74 64 65 72 72 20 22 55 73 61 67 65  ne stderr "Usage
5b10: 3a 20 24 3a 3a 61 72 67 76 30 20 3f 2d 74 65 73  : $::argv0 ?-tes
5b20: 74 3f 20 3f 2d 66 74 73 35 3f 20 22 0a 20 20 70  t? ?-fts5? ".  p
5b30: 75 74 73 20 20 20 20 20 20 20 20 20 20 20 20 73  uts            s
5b40: 74 64 65 72 72 20 22 3c 43 61 73 65 46 6f 6c 64  tderr "<CaseFold
5b50: 69 6e 67 2e 74 78 74 20 66 69 6c 65 3e 20 3c 55  ing.txt file> <U
5b60: 6e 69 63 6f 64 65 44 61 74 61 2e 74 78 74 20 66  nicodeData.txt f
5b70: 69 6c 65 3e 22 0a 20 20 65 78 69 74 20 31 0a 7d  ile>".  exit 1.}
5b80: 0a 69 66 20 7b 5b 6c 6c 65 6e 67 74 68 20 24 61  .if {[llength $a
5b90: 72 67 76 5d 3c 32 7d 20 75 73 61 67 65 0a 73 65  rgv]<2} usage.se
5ba0: 74 20 75 6e 69 63 6f 64 65 64 61 74 61 2e 74 78  t unicodedata.tx
5bb0: 74 20 5b 6c 69 6e 64 65 78 20 24 61 72 67 76 20  t [lindex $argv 
5bc0: 65 6e 64 5d 0a 73 65 74 20 63 61 73 65 66 6f 6c  end].set casefol
5bd0: 64 69 6e 67 2e 74 78 74 20 5b 6c 69 6e 64 65 78  ding.txt [lindex
5be0: 20 24 61 72 67 76 20 65 6e 64 2d 31 5d 0a 0a 73   $argv end-1]..s
5bf0: 65 74 20 72 65 6d 6f 76 65 5f 64 69 61 63 72 69  et remove_diacri
5c00: 74 69 63 20 72 65 6d 6f 76 65 5f 64 69 61 63 72  tic remove_diacr
5c10: 69 74 69 63 0a 73 65 74 20 67 65 6e 65 72 61 74  itic.set generat
5c20: 65 5f 74 65 73 74 5f 63 6f 64 65 20 30 0a 73 65  e_test_code 0.se
5c30: 74 20 67 65 6e 65 72 61 74 65 5f 66 74 73 35 5f  t generate_fts5_
5c40: 63 6f 64 65 20 30 0a 73 65 74 20 66 75 6e 63 74  code 0.set funct
5c50: 69 6f 6e 5f 70 72 65 66 69 78 20 22 73 71 6c 69  ion_prefix "sqli
5c60: 74 65 33 46 74 73 22 0a 66 6f 72 20 7b 73 65 74  te3Fts".for {set
5c70: 20 69 20 30 7d 20 7b 24 69 20 3c 20 5b 6c 6c 65   i 0} {$i < [lle
5c80: 6e 67 74 68 20 24 61 72 67 76 5d 2d 32 7d 20 7b  ngth $argv]-2} {
5c90: 69 6e 63 72 20 69 7d 20 7b 0a 20 20 73 77 69 74  incr i} {.  swit
5ca0: 63 68 20 2d 2d 20 5b 6c 69 6e 64 65 78 20 24 61  ch -- [lindex $a
5cb0: 72 67 76 20 24 69 5d 20 7b 0a 20 20 20 20 2d 74  rgv $i] {.    -t
5cc0: 65 73 74 20 7b 0a 20 20 20 20 20 20 73 65 74 20  est {.      set 
5cd0: 67 65 6e 65 72 61 74 65 5f 74 65 73 74 5f 63 6f  generate_test_co
5ce0: 64 65 20 31 0a 20 20 20 20 7d 0a 20 20 20 20 2d  de 1.    }.    -
5cf0: 66 74 73 35 20 7b 0a 20 20 20 20 20 20 73 65 74  fts5 {.      set
5d00: 20 66 75 6e 63 74 69 6f 6e 5f 70 72 65 66 69 78   function_prefix
5d10: 20 73 71 6c 69 74 65 33 46 74 73 35 0a 20 20 20   sqlite3Fts5.   
5d20: 20 20 20 73 65 74 20 67 65 6e 65 72 61 74 65 5f     set generate_
5d30: 66 74 73 35 5f 63 6f 64 65 20 31 0a 20 20 20 20  fts5_code 1.    
5d40: 20 20 73 65 74 20 72 65 6d 6f 76 65 5f 64 69 61    set remove_dia
5d50: 63 72 69 74 69 63 20 66 74 73 35 5f 72 65 6d 6f  critic fts5_remo
5d60: 76 65 5f 64 69 61 63 72 69 74 69 63 0a 20 20 20  ve_diacritic.   
5d70: 20 7d 0a 20 20 20 20 64 65 66 61 75 6c 74 20 7b   }.    default {
5d80: 0a 20 20 20 20 20 20 75 73 61 67 65 0a 20 20 20  .      usage.   
5d90: 20 7d 0a 20 20 7d 0a 7d 0a 0a 70 72 69 6e 74 5f   }.  }.}..print_
5da0: 66 69 6c 65 68 65 61 64 65 72 0a 0a 69 66 20 7b  fileheader..if {
5db0: 24 3a 3a 67 65 6e 65 72 61 74 65 5f 74 65 73 74  $::generate_test
5dc0: 5f 63 6f 64 65 7d 20 7b 0a 20 20 70 75 74 73 20  _code} {.  puts 
5dd0: 22 74 79 70 65 64 65 66 20 75 6e 73 69 67 6e 65  "typedef unsigne
5de0: 64 20 73 68 6f 72 74 20 69 6e 74 20 75 31 36 3b  d short int u16;
5df0: 22 0a 20 20 70 75 74 73 20 22 74 79 70 65 64 65  ".  puts "typede
5e00: 66 20 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20  f unsigned char 
5e10: 75 38 3b 22 0a 20 20 70 75 74 73 20 22 23 69 6e  u8;".  puts "#in
5e20: 63 6c 75 64 65 20 3c 73 74 72 69 6e 67 2e 68 3e  clude <string.h>
5e30: 22 0a 7d 0a 0a 23 20 50 72 69 6e 74 20 74 68 65  ".}..# Print the
5e40: 20 69 73 61 6c 6e 75 6d 28 29 20 66 75 6e 63 74   isalnum() funct
5e50: 69 6f 6e 20 74 6f 20 73 74 64 6f 75 74 2e 0a 23  ion to stdout..#
5e60: 0a 73 65 74 20 6c 52 61 6e 67 65 20 5b 61 6e 5f  .set lRange [an_
5e70: 6c 6f 61 64 5f 73 65 70 61 72 61 74 6f 72 5f 72  load_separator_r
5e80: 61 6e 67 65 73 5d 0a 69 66 20 7b 24 67 65 6e 65  anges].if {$gene
5e90: 72 61 74 65 5f 66 74 73 35 5f 63 6f 64 65 3d 3d  rate_fts5_code==
5ea0: 30 7d 20 7b 0a 20 20 70 72 69 6e 74 5f 69 73 61  0} {.  print_isa
5eb0: 6c 6e 75 6d 20 24 7b 66 75 6e 63 74 69 6f 6e 5f  lnum ${function_
5ec0: 70 72 65 66 69 78 7d 55 6e 69 63 6f 64 65 49 73  prefix}UnicodeIs
5ed0: 61 6c 6e 75 6d 20 24 6c 52 61 6e 67 65 0a 7d 0a  alnum $lRange.}.
5ee0: 0a 23 20 4c 65 61 76 65 20 61 20 67 61 70 20 62  .# Leave a gap b
5ef0: 65 74 77 65 65 6e 20 74 68 65 20 74 77 6f 20 67  etween the two g
5f00: 65 6e 65 72 61 74 65 64 20 43 20 66 75 6e 63 74  enerated C funct
5f10: 69 6f 6e 73 2e 0a 23 0a 70 75 74 73 20 22 22 0a  ions..#.puts "".
5f20: 70 75 74 73 20 22 22 0a 0a 23 20 4c 6f 61 64 20  puts ""..# Load 
5f30: 74 68 65 20 66 6f 6c 64 20 64 61 74 61 2e 20 54  the fold data. T
5f40: 68 69 73 20 69 73 20 75 73 65 64 20 62 79 20 74  his is used by t
5f50: 68 65 20 5b 72 64 5f 58 58 58 5d 20 63 6f 6d 6d  he [rd_XXX] comm
5f60: 61 6e 64 73 0a 23 20 61 73 20 77 65 6c 6c 20 61  ands.# as well a
5f70: 73 20 5b 70 72 69 6e 74 5f 66 6f 6c 64 5d 2e 0a  s [print_fold]..
5f80: 74 6c 5f 6c 6f 61 64 5f 63 61 73 65 66 6f 6c 64  tl_load_casefold
5f90: 69 6e 67 5f 74 78 74 20 24 7b 63 61 73 65 66 6f  ing_txt ${casefo
5fa0: 6c 64 69 6e 67 2e 74 78 74 7d 0a 0a 73 65 74 20  lding.txt}..set 
5fb0: 6d 61 70 70 69 6e 67 73 20 5b 72 64 5f 6c 6f 61  mappings [rd_loa
5fc0: 64 5f 75 6e 69 63 6f 64 65 64 61 74 61 5f 74 65  d_unicodedata_te
5fd0: 78 74 20 24 7b 75 6e 69 63 6f 64 65 64 61 74 61  xt ${unicodedata
5fe0: 2e 74 78 74 7d 5d 0a 70 72 69 6e 74 5f 72 64 20  .txt}].print_rd 
5ff0: 24 6d 61 70 70 69 6e 67 73 0a 70 75 74 73 20 22  $mappings.puts "
6000: 22 0a 70 75 74 73 20 22 22 0a 70 72 69 6e 74 5f  ".puts "".print_
6010: 69 73 64 69 61 63 72 69 74 69 63 20 24 7b 66 75  isdiacritic ${fu
6020: 6e 63 74 69 6f 6e 5f 70 72 65 66 69 78 7d 55 6e  nction_prefix}Un
6030: 69 63 6f 64 65 49 73 64 69 61 63 72 69 74 69 63  icodeIsdiacritic
6040: 20 24 6d 61 70 70 69 6e 67 73 0a 70 75 74 73 20   $mappings.puts 
6050: 22 22 0a 70 75 74 73 20 22 22 0a 0a 23 20 50 72  "".puts ""..# Pr
6060: 69 6e 74 20 74 68 65 20 66 6f 6c 64 28 29 20 66  int the fold() f
6070: 75 6e 63 74 69 6f 6e 20 74 6f 20 73 74 64 6f 75  unction to stdou
6080: 74 2e 0a 23 0a 70 72 69 6e 74 5f 66 6f 6c 64 20  t..#.print_fold 
6090: 24 7b 66 75 6e 63 74 69 6f 6e 5f 70 72 65 66 69  ${function_prefi
60a0: 78 7d 55 6e 69 63 6f 64 65 46 6f 6c 64 0a 0a 69  x}UnicodeFold..i
60b0: 66 20 7b 24 67 65 6e 65 72 61 74 65 5f 66 74 73  f {$generate_fts
60c0: 35 5f 63 6f 64 65 7d 20 7b 0a 20 20 70 75 74 73  5_code} {.  puts
60d0: 20 22 22 0a 20 20 70 75 74 73 20 22 22 0a 20 20   "".  puts "".  
60e0: 70 72 69 6e 74 5f 63 61 74 65 67 6f 72 69 65 73  print_categories
60f0: 20 5b 63 63 5f 6c 6f 61 64 5f 75 6e 69 63 6f 64   [cc_load_unicod
6100: 65 64 61 74 61 5f 74 65 78 74 20 24 7b 75 6e 69  edata_text ${uni
6110: 63 6f 64 65 64 61 74 61 2e 74 78 74 7d 5d 0a 7d  codedata.txt}].}
6120: 0a 0a 23 20 50 72 69 6e 74 20 74 68 65 20 74 65  ..# Print the te
6130: 73 74 20 72 6f 75 74 69 6e 65 73 20 61 6e 64 20  st routines and 
6140: 6d 61 69 6e 28 29 20 66 75 6e 63 74 69 6f 6e 20  main() function 
6150: 74 6f 20 73 74 64 6f 75 74 2c 20 69 66 20 2d 74  to stdout, if -t
6160: 65 73 74 20 0a 23 20 77 61 73 20 73 70 65 63 69  est .# was speci
6170: 66 69 65 64 2e 0a 23 0a 69 66 20 7b 24 3a 3a 67  fied..#.if {$::g
6180: 65 6e 65 72 61 74 65 5f 74 65 73 74 5f 63 6f 64  enerate_test_cod
6190: 65 7d 20 7b 0a 20 20 69 66 20 7b 24 67 65 6e 65  e} {.  if {$gene
61a0: 72 61 74 65 5f 66 74 73 35 5f 63 6f 64 65 3d 3d  rate_fts5_code==
61b0: 30 7d 20 7b 0a 20 20 20 20 70 72 69 6e 74 5f 74  0} {.    print_t
61c0: 65 73 74 5f 69 73 61 6c 6e 75 6d 20 24 7b 66 75  est_isalnum ${fu
61d0: 6e 63 74 69 6f 6e 5f 70 72 65 66 69 78 7d 55 6e  nction_prefix}Un
61e0: 69 63 6f 64 65 49 73 61 6c 6e 75 6d 20 24 6c 52  icodeIsalnum $lR
61f0: 61 6e 67 65 0a 20 20 7d 0a 20 20 70 72 69 6e 74  ange.  }.  print
6200: 5f 66 6f 6c 64 5f 74 65 73 74 20 24 7b 66 75 6e  _fold_test ${fun
6210: 63 74 69 6f 6e 5f 70 72 65 66 69 78 7d 55 6e 69  ction_prefix}Uni
6220: 63 6f 64 65 46 6f 6c 64 20 24 6d 61 70 70 69 6e  codeFold $mappin
6230: 67 73 0a 20 20 70 72 69 6e 74 5f 74 65 73 74 5f  gs.  print_test_
6240: 63 61 74 65 67 6f 72 69 65 73 20 5b 63 63 5f 6c  categories [cc_l
6250: 6f 61 64 5f 75 6e 69 63 6f 64 65 64 61 74 61 5f  oad_unicodedata_
6260: 74 65 78 74 20 24 7b 75 6e 69 63 6f 64 65 64 61  text ${unicodeda
6270: 74 61 2e 74 78 74 7d 5d 0a 20 20 70 72 69 6e 74  ta.txt}].  print
6280: 5f 74 65 73 74 5f 6d 61 69 6e 20 0a 7d 0a 0a 69  _test_main .}..i
6290: 66 20 7b 24 67 65 6e 65 72 61 74 65 5f 66 74 73  f {$generate_fts
62a0: 35 5f 63 6f 64 65 7d 20 7b 0a 20 20 23 20 6e 6f  5_code} {.  # no
62b0: 2d 6f 70 0a 7d 20 65 6c 73 65 20 7b 0a 20 20 70  -op.} else {.  p
62c0: 75 74 73 20 22 23 65 6e 64 69 66 20 2f 2a 20 64  uts "#endif /* d
62d0: 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f 45 4e  efined(SQLITE_EN
62e0: 41 42 4c 45 5f 46 54 53 33 29 20 7c 7c 20 64 65  ABLE_FTS3) || de
62f0: 66 69 6e 65 64 28 53 51 4c 49 54 45 5f 45 4e 41  fined(SQLITE_ENA
6300: 42 4c 45 5f 46 54 53 34 29 20 2a 2f 22 0a 20 20  BLE_FTS4) */".  
6310: 70 75 74 73 20 22 23 65 6e 64 69 66 20 2f 2a 20  puts "#endif /* 
6320: 21 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f  !defined(SQLITE_
6330: 44 49 53 41 42 4c 45 5f 46 54 53 33 5f 55 4e 49  DISABLE_FTS3_UNI
6340: 43 4f 44 45 29 20 2a 2f 22 0a 7d 0a              CODE) */".}.