எழுத்துக் குறியாக்கம் என்றால் என்ன
குறியாக்கம் என்பது ஓர் உடன்பாடு: “எண் 65 என்பது A என்ற எழுத்தைக் குறிக்கிறது”. நீங்கள் ஓர் உரையை எழுதும்போது நிரல் அந்த எண்களைச் சேமிக்கிறது; வேறொருவர் அதைத் திறக்கும்போது அவரது நிரல் அதே உடன்பாட்டைப் பயன்படுத்தி அவற்றை மீண்டும் எழுத்துகளாக மொழிபெயர்க்கிறது. இருவரும் ஒரே அட்டவணையைப் பயன்படுத்தாவிட்டால், உரை தவறாகத் தெரியும்.
இரண்டு கருத்துகளைப் பிரிக்க வேண்டும். ஒன்று எழுத்துத் தொகுப்பு: எந்த எண்கள் எந்தக் குறியீடுகளுக்கு உரியவை என்ற பட்டியல். மற்றொன்று அந்த எண்கள் பைட்டுகளில் எப்படிச் சேமிக்கப்படுகின்றன என்பது. ASCII-இல் இரண்டும் எளிதாக ஒன்றுபடுகின்றன; Unicode-இல் அப்படி இல்லை; அங்குதான் UTF-8 வருகிறது.
ASCII: 7 பிட் கொண்ட 128 எழுத்துகள்
ASCII (American Standard Code for Information Interchange-இன் சுருக்கம்) 1960-களில் தரப்படுத்தப்பட்டது. அது 7 பிட்களைப் பயன்படுத்துகிறது, அதாவது 2-இன் 7 அடுக்கு = 128 குறியீடுகள், 0 முதல் 127 வரை. அவற்றில் 33 கட்டுப்பாட்டு எழுத்துகள் (0 முதல் 31 வரையும் 127-உம்), 95 அச்சிடக்கூடியவை (இடைவெளி உட்பட 32 முதல் 126 வரை).
அதில் உச்சரிப்புக் குறி எழுத்துகள் இல்லை, ñ இல்லை, யூரோ குறியும் இல்லை: அது ஆங்கிலத்துக்காக வடிவமைக்கப்பட்டது. அதனால்தான் பிற்காலத்தில் வேறு அட்டவணைகள் தேவைப்பட்டன.
| கட்டுப்பாட்டு எழுத்து | தசம | ஹெக்ஸாடெசிமல் | பைனரி (7 பிட்) | எதற்குப் பயன்படுகிறது |
|---|---|---|---|---|
| வெற்று (NUL) | 0 | 00 | 0000000 | பல மொழிகளில் சரத்தின் முடிவைக் குறிக்கும் |
| கிடைமட்ட டேப் (TAB) | 9 | 09 | 0001001 | அடுத்த டேப் நிறுத்தத்துக்குத் தாவும் |
| புதிய வரி (LF) | 10 | 0A | 0001010 | அடுத்த வரிக்கு இறங்கும் |
| கேரேஜ் ரிட்டர்ன் (CR) | 13 | 0D | 0001101 | வரியின் தொடக்கத்துக்குத் திரும்பும் |
| எஸ்கேப் (ESC) | 27 | 1B | 0011011 | கட்டுப்பாட்டுத் தொடர்களைத் தொடங்கும் |
| இடைவெளி | 32 | 20 | 0100000 | முதல் அச்சிடக்கூடிய எழுத்து |
| நீக்கு (DEL) | 127 | 7F | 1111111 | எழுத்தை அழிக்கும் |
நினைவில் வைக்க வேண்டிய தொடர்புகள்
அட்டவணை தற்செயலாக வரிசைப்படுத்தப்படவில்லை. சில ஒழுங்குகளை அறிந்தால் குறியீடுகளை மனதிலேயே வாசிக்கலாம்.
- “0” முதல் “9” வரையிலான இலக்கங்கள் 48 முதல் 57 வரை (ஹெக்ஸாடெசிமலில் 30 முதல் 39) இருக்கும். ஓர் இலக்கத்தின் மதிப்பு அதன் குறியீட்டிலிருந்து 48-ஐக் கழித்தது: “7” என்பது 55, 55 − 48 = 7.
- பெரிய எழுத்துகள் 65 (“A”) முதல் 90 (“Z”) வரையும், சிறிய எழுத்துகள் 97 (“a”) முதல் 122 (“z”) வரையும் இருக்கும்.
- ஒரு பெரிய எழுத்துக்கும் அதன் சிறிய எழுத்துக்கும் இடையிலான வேறுபாடு எப்போதும் 32: “A” = 65, “a” = 97; “C” = 67, “c” = 99. பைனரியில் ஒரே ஒரு பிட் மாறும்: “A”-க்கு 01000001, “a”-க்கு 01100001.
- ஒரு பெரிய எழுத்து அகரவரிசையில் எந்த இடத்தில் உள்ளது என்று அறிய, 64-ஐக் கழியுங்கள்: “C” என்பது 67, 67 − 64 = 3, மூன்றாவது எழுத்து.
- எல்லாப் பெரிய எழுத்துகளின் (65 முதல் 90) குறியீடுகளும் சிறிய எழுத்துகளின் (97 முதல் 122) குறியீடுகளைவிடச் சிறியவை என்பதால், “குறியீட்டு” அகர வரிசை “Zebra”-வை “apple”-க்கு முன் வைக்கும். சரியாக வரிசைப்படுத்த பல நிரல்களுக்குத் தனி ஒப்பீட்டு விருப்பம் தேவை.
வரியின் முடிவு: LF, CR, CRLF
புதிய வரி எளிமையான ஒன்றுபோல் தோன்றும்; ஆனால் அமைப்புக்கு அமைப்பு வேறுவிதமாக எழுதப்படுகிறது. Unix, Linux, macOS ஒரே ஓர் எழுத்தைப் பயன்படுத்துகின்றன: LF (10). Windows தொடர்ந்து இரண்டைப் பயன்படுத்துகிறது: CR, LF (13, 10); இது CRLF எனப்படும். பழைய டெலிபிரிண்டர்களுக்கு இரண்டு தனிக் கட்டளைகள் தேவைப்பட்டன: வண்டியை வரியின் தொடக்கத்துக்குத் திருப்புவது, தாளை ஒரு வரி முன்னேற்றுவது.
அடிப்படைத் திருத்தியில் முழுக் கோப்பும் ஒரே வரியாகத் தெரிவதற்கும், ஒவ்வொரு வரியின் இறுதியிலும் விசித்திரக் குறி தோன்றுவதற்கும் இந்த வேறுபாடே காரணம். ஒவ்வொன்றுக்கும் என்ன குறியீடு என்று அறிய, ASCII அட்டவணையின் தேடலில் LF அல்லது CR என்று எழுதுங்கள்.
“விரிவாக்கப்பட்ட ASCII” ஒரு தரநிலை அல்ல
ஒரு பைட்டுக்கு 8 பிட்கள் உள்ளன; ASCII 7-ஐ மட்டுமே பயன்படுத்துவதால் 128 இலவசக் குறியீடுகள் (128 முதல் 255 வரை) மீதமிருந்தன; ஒவ்வொரு தயாரிப்பாளரும் பிராந்தியமும் அவற்றைத் தம் விதத்தில் நிரப்பின. இது “விரிவாக்கப்பட்ட ASCII” எனப்படுகிறது; ஆனால் ஒரே அட்டவணை இல்லை: பல உள்ளன; அவை குறியீட்டுப் பக்கங்கள் எனப்படும். மிகவும் அறியப்பட்ட இரண்டு: Latin-1 (ISO-8859-1), அதில் é என்பது குறியீடு 233; Windows-1252, இது ஒத்தது, ஆனால் 128 முதல் 159 வரையிலான குறியீடுகளில் வேறுபாடுகள் உண்டு (எடுத்துக்காட்டாக அங்கே யூரோ உள்ளது).
சிக்கல் என்னவென்றால், குறியீடு 233 ஓர் அட்டவணையில் “é”-ஐயும் மற்றொன்றில் வேறொன்றையும் குறிக்கிறது. ஓர் அட்டவணையால் எழுதப்பட்டு மற்றொன்றால் வாசிக்கப்பட்ட உரை குப்பையைக் காட்டியது. இந்தக் குழப்பத்தை முடிக்கவே Unicode பிறந்தது.
Unicode மற்றும் UTF-8
Unicode, உலகின் கிட்டத்தட்ட எல்லா எழுத்து முறைகளின் ஒவ்வோர் எழுத்துக்கும், மேலும் குறியீடுகளுக்கும் எமோஜிகளுக்கும், குறியீட்டுப் புள்ளி எனப்படும் தனித்த எண்ணை ஒதுக்குகிறது. இன்று அதில் 150,000-க்கும் மேற்பட்ட எழுத்துகள் உள்ளன. அது U+ முன்னொட்டுடன் ஹெக்ஸாடெசிமலில் எழுதப்படுகிறது: “A” என்பது U+0041, “ñ” என்பது U+00F1, யூரோ U+20AC, புன்னகை முக எமோஜி U+1F600. முதல் 128 குறியீட்டுப் புள்ளிகள் சரியாக ASCII-யினுடையவை.
UTF-8 என்பது அந்த எண்களை பைட்டுகளில் சேமிக்கும் மிகப் பரவலான வழி; எழுத்தைப் பொறுத்து 1 முதல் 4 பைட்டுகளைப் பயன்படுத்தும். ASCII-யின் 128 எழுத்துகளும் எப்போதும்போலவே ஒரே பைட்டை எடுக்கும்; எனவே ASCII உரை செல்லுபடியாகும் UTF-8 உரையும் ஆகும். மற்றவை அதிக பைட்டுகளை எடுக்கும்.
| எழுத்து | குறியீட்டுப் புள்ளி | UTF-8-இல் பைட்டுகள் | பைட்டுகள் (ஹெக்ஸாடெசிமல்) |
|---|---|---|---|
| A | U+0041 | 1 | 41 |
| é | U+00E9 | 2 | C3 A9 |
| ñ | U+00F1 | 2 | C3 B1 |
| € | U+20AC | 3 | E2 82 AC |
| 😀 | U+1F600 | 4 | F0 9F 98 80 |
“ñ”-க்குப் பதிலாக “ñ” ஏன் தோன்றுகிறது
இது மிகப் பொதுவான பிழை; அதற்குத் துல்லிய விளக்கம் உண்டு. UTF-8-இல் ñ என்பது இரண்டு பைட்டுகள்: C3, B1. உரை Latin-1 என்று நிரல் நினைத்தால், ஒவ்வொரு பைட்டையும் ஓர் எழுத்தாக வாசிக்கும்: C3 என்பது “Ô, B1 என்பது “±”. விளைவு: “ñ”. “é” என்பது “é” எனவும், “canción” என்பது “canción” எனவும் தெரிவதும் இதேதான்.
தீர்வு கிட்டத்தட்ட எப்போதும், கோப்பை UTF-8 ஆகத் திறக்கும்படி நிரலுக்குச் சொல்வது (உரைத் திருத்தியிலோ விரிதாளின் இறக்குமதி அமைப்பிலோ). தலைகீழாக நடந்தால், அதாவது Latin-1 உரை UTF-8 ஆக வாசிக்கப்பட்டால், கேள்விக்குறியுடன் கூடிய வைரங்கள் தோன்றும்; ஏனெனில் அந்தத் தனி பைட்டுகள் செல்லுபடியாகும் UTF-8 தொடர்களை உருவாக்குவதில்லை.
ASCII அட்டவணையையும் மாற்றியையும் பயன்படுத்துவது எப்படி
“ASCII அட்டவணை” கருவி 128 எழுத்துகளையும் அவற்றின் குறியீட்டைத் தசம, ஹெக்ஸாடெசிமல், ஆக்டல், பைனரியில் காட்டுகிறது; கட்டுப்பாட்டு எழுத்துகளின் பெயரையும் காட்டுகிறது.
- தேடலில் ஓர் எழுத்தை, ஒரு குறியீட்டை அல்லது ஒரு கட்டுப்பாட்டு எழுத்தின் பெயரை (எடுத்துக்காட்டாக A, 65, 41 அல்லது LF) எழுதி அதன் வரிசையைக் கண்டறியுங்கள்.
- ஒரு குழுவை மட்டும் பார்க்க வடிகட்டிப் பொத்தான்களைப் (கட்டுப்பாடு, இலக்கங்கள், பெரிய எழுத்துகள், சிறிய எழுத்துகள், குறிகள்) பயன்படுத்துங்கள்.
- மாற்ற, “உரை” புலத்தில் ஓர் உரையை எழுதி, “குறியீடுகளின் வடிவம்” (தசமம், ஹெக்ஸாடெசிமல், எண்மம் அல்லது பைனரி) தேர்ந்தெடுங்கள்: கீழே குறியீடுகள் தோன்றும். “Hola” என்பது தசமத்தில் 72 111 108 97, ஹெக்ஸாடெசிமலில் 48 6F 6C 61.
- தலைகீழாகவும் செய்யலாம்: இடைவெளி அல்லது காற்புள்ளியால் பிரிக்கப்பட்ட குறியீடுகளை “குறியீடுகள்” புலத்தில் ஒட்டுங்கள்; உரை உருவாகும். ஹெக்ஸாடெசிமலில் 0x41 போன்ற முன்னொட்டுகள் ஏற்கப்படும்.
உரையில் ñ போன்ற ASCII அல்லாத எழுத்துகள் இருந்தால், கருவி அதைத் தெரிவித்து அவற்றின் Unicode குறியீட்டைக் காட்டும். UTF-8-இல் உண்மையான பைட்டுகளைப் பார்க்க “உரையை பைனரியாக மாற்று” என்பதைப் பயன்படுத்துங்கள்: ñ என்பது 11000011 10110001, 8 பிட் கொண்ட இரண்டு பைட்டுகள். வரம்புகள்: அட்டவணை நிலையான ASCII-ஐ மட்டுமே காட்டுகிறது, விரிவாக்கப்பட்டதை அல்ல; அனைத்தும் உங்கள் உலாவியிலேயே கணக்கிடப்படுகின்றன, உரை எந்தச் சேவையகத்துக்கும் அனுப்பப்படாது.
அடிக்கடி கேட்கப்படும் கேள்விகள்
ASCII-இல் எத்தனை எழுத்துகள் உள்ளன?
128, குறியீடுகள் 0 முதல் 127 வரை, ஒவ்வொன்றும் 7 பிட்கள். அவற்றில் 33 கட்டுப்பாட்டு எழுத்துகள், 95 அச்சிடக்கூடியவை (இடைவெளியுடன்).
A, a எழுத்துகளின் ASCII குறியீடு என்ன?
“A” என்பது 65 (ஹெக்ஸாடெசிமலில் 41, பைனரியில் 01000001); “a” என்பது 97 (ஹெக்ஸாடெசிமலில் 61, பைனரியில் 01100001). அவற்றின் வேறுபாடு எப்போதும் 32.
ASCII-க்கும் Unicode-க்கும் என்ன வேறுபாடு?
ASCII ஆங்கிலத்துக்காக வடிவமைக்கப்பட்ட 128 எழுத்துகளைக் கொண்டது. Unicode-இல் கிட்டத்தட்ட எல்லா மொழிகளுக்கும் எமோஜிகளுக்கும் 150,000-க்கும் மேற்பட்ட எழுத்துகள் உள்ளன; அதன் முதல் 128 ASCII-யின் அதே எழுத்துகள்.
UTF-8 என்றால் என்ன?
Unicode உரையை பைட்டுகளில் சேமிக்கும் மிகப் பரவலான வழி. ஓர் எழுத்துக்கு 1 முதல் 4 பைட்டுகளைப் பயன்படுத்தும்: ASCII எழுத்துகள் ஒன்றையும், ñ இரண்டையும், எமோஜி நான்கையும் எடுக்கும்.
என் உரை ஏன் “ñ” அல்லது “é” எனக் காட்டுகிறது?
ஏனெனில் UTF-8-இல் சேமிக்கப்பட்ட உரை Latin-1 ஆக வாசிக்கப்படுகிறது. கோப்பை UTF-8 குறியாக்கம் எனக் குறிப்பிட்டுத் திறந்தால் சரியாகிவிடும்.