ASCII ويونيكود: ما هما وفيمَ يُستخدمان

ما هو ترميز الحروف

الترميز اتفاق: «الرقم 65 يعني الحرف A». حين تكتب نصاً يحفظ البرنامج تلك الأرقام؛ وحين يفتحه شخص آخر يعيد برنامجه ترجمتها إلى حروف بالاتفاق نفسه. فإذا لم يستخدم الطرفان الجدول نفسه يخرج النص مشوّهاً.

يجب التمييز بين فكرتين. الأولى مجموعة الرموز، أي قائمة الأرقام المقابلة لكل رمز. والثانية كيفية حفظ تلك الأرقام في بايتات. في ASCII تتطابق الفكرتان بشكل بديهي؛ أما في يونيكود فلا، وهنا يأتي دور UTF-8.

ASCII: 128 رمزاً من 7 بتات

ASCII (اختصار American Standard Code for Information Interchange) صار معياراً في ستينيات القرن العشرين. يستخدم 7 بتات، أي 2 أس 7 = 128 رمزاً، من 0 إلى 127. منها 33 رمز تحكم (من 0 إلى 31 والرمز 127) و95 قابلة للطباعة (من 32 إلى 126، بما فيها المسافة).

لا يتضمن الحروف المعلَّمة ولا الحرف ñ ولا رمز اليورو ولا الحروف العربية: صُمّم للإنجليزية. وهذا يفسر لماذا احتاج الأمر إلى جداول أخرى لاحقاً.

علاقات يفيد تذكرها

الجدول ليس مرتباً عشوائياً. وببعض القواعد المنتظمة يمكنك قراءة الرموز عن ظهر قلب.

• الأرقام من «0» إلى «9» تشغل من 48 إلى 57 (30 إلى 39 بالسداسي عشري). وقيمة الرقم هي رمزه ناقص 48: الرقم «7» رمزه 55، و55 − 48 = 7.
• الأحرف الكبيرة تمتد من 65 («A») إلى 90 («Z») والصغيرة من 97 («a») إلى 122 («z»).
• الفرق بين الحرف الكبير وصغيره هو دائماً 32: «A» = 65 و«a» = 97؛ و«C» = 67 و«c» = 99. وبالثنائي يتغير بت واحد فقط: 01000001 للحرف «A» و01100001 للحرف «a».
• لمعرفة ترتيب حرف كبير في الأبجدية الإنجليزية اطرح 64: «C» هو 67 و67 − 64 = 3، أي الحرف الثالث.
• وبما أن كل الأحرف الكبيرة (65 إلى 90) رموزها أصغر من الصغيرة (97 إلى 122)، فالترتيب الأبجدي «بحسب الرمز» يضع «Zebra» قبل «apple». وكثير من البرامج تحتاج إلى خيار مقارنة منفصل لترتب ترتيباً صحيحاً.

نهاية السطر: LF وCR وCRLF

يبدو السطر الجديد أمراً بسيطاً، لكنه يُكتب بشكل مختلف بحسب النظام. يستخدم Unix وLinux وmacOS رمزاً واحداً هو LF (10). ويستخدم Windows رمزين متتاليين هما CR وLF (13 و10)، ويُعرفان بـCRLF. فالآلات البرقية القديمة كانت تحتاج إلى أمرين مختلفين: إعادة العربة إلى البداية وتقديم الورق سطراً.

هذا الاختلاف هو سبب ملفات تظهر كلها في سطر واحد في محرر بسيط، أو برمز غريب في نهاية كل سطر. وإن أردت معرفة رمز كل منهما فاكتب LF أو CR في خانة البحث في جدول ASCII.

«ASCII الموسّع» ليس معياراً

بما أن البايت 8 بتات وASCII لا يستخدم إلا 7، بقيت 128 رمزاً حرة (من 128 إلى 255) وملأها كل مصنّع وكل منطقة على طريقتها. يُعرف ذلك بـ«ASCII الموسّع»، لكن لا يوجد جدول واحد: هناك جداول كثيرة تسمى صفحات الرموز. ومن أشهرها Latin-1 (ISO-8859-1)، حيث الحرف é هو الرمز 233، وWindows-1252 المشابهة لكن مع فروق في الرموز من 128 إلى 159 (وفيها مثلاً اليورو).

المشكلة أن الرمز 233 يعني «é» في جدول وشيئاً آخر في جدول آخر. فكان النص المكتوب بجدول والمقروء بآخر يظهر مشوّهاً. وُلد يونيكود لإنهاء هذه الفوضى.

يونيكود وUTF-8

يمنح يونيكود رقماً فريداً، يسمى نقطة الرمز، لكل حرف في كل أنظمة الكتابة تقريباً في العالم، إضافة إلى الرموز والإيموجي. وفيه اليوم أكثر من 150,000 رمز. وتُكتب بالبادئة U+ وبالسداسي عشري: «A» هي U+0041، و«ñ» هي U+00F1، واليورو U+20AC، وإيموجي الوجه المبتسم U+1F600. ونقاط الرمز الـ128 الأولى هي بالضبط نقاط ASCII.

UTF-8 هو الطريقة الأكثر استعمالاً لحفظ تلك الأرقام في بايتات، ويستخدم من 1 إلى 4 بايتات بحسب الحرف. رموز ASCII الـ128 تشغل بايتاً واحداً مطابقاً لما كان دائماً، فالنص ASCII هو أيضاً نص UTF-8 صالح. وباقي الرموز يشغل بايتات أكثر.

لماذا يظهر «Ã±» بدل «ñ»

هذا أشيع الأخطاء وله تفسير دقيق. الحرف ñ في UTF-8 هو بايتان: C3 وB1. فإذا ظن برنامج أن النص بترميز Latin-1 قرأ كل بايت كحرف: C3 هو «Ã» وB1 هو «±». والنتيجة: «Ã±». ويحدث الشيء نفسه مع «é» التي تظهر «Ã©»، ومع «café» التي تظهر «café».

الحل غالباً هو أن تطلب من البرنامج فتح الملف بترميز UTF-8 (في محرر النصوص أو في إعدادات الاستيراد في جدول بيانات). وحين يحدث العكس، أي نص بـLatin-1 يُقرأ كـUTF-8، تظهر عادة معينات برمز استفهام، لأن تلك البايتات المنفردة لا تكوّن تسلسلات UTF-8 صالحة.

كيف تستخدم جدول ASCII والمحوّل

تعرض أداة «جدول ASCII» الرموز الـ128 مع رمز كل منها بالعشري والسداسي عشري والثماني والثنائي، واسم رموز التحكم.

1. اكتب في خانة البحث رمزاً أو كوداً أو اسم رمز تحكم (مثل A أو 65 أو 41 أو LF) لتجد صفه.
2. استعمل أزرار التصفية (التحكم والأرقام والأحرف الكبيرة والأحرف الصغيرة والعلامات) لعرض مجموعة واحدة فقط.
3. للتحويل اكتب نصاً في «النص» واختر الصيغة (عشري أو سداسي عشري أو ثماني أو ثنائي): تظهر الأكواد في الأسفل. «Hola» تعطي 72 111 108 97 بالعشري و48 6F 6C 61 بالسداسي عشري.
4. ويمكنك أيضاً العكس: الصق أكواداً مفصولة بمسافات أو فواصل في «الأكواد» فيتكوّن النص. وفي السداسي عشري تُقبل بادئات مثل 0x41.

إذا كان النص يحتوي رموزاً ليست ASCII، مثل ñ، تنبّه الأداة وتعرض رمزها في يونيكود. ولرؤية البايتات الفعلية في UTF-8 استعمل «من نص إلى ثنائي»: الحرف ñ يعطي 11000011 10110001، أي بايتين من 8 بتات. الحدود: الجدول يعرض ASCII القياسي فقط لا الموسّع، وكل شيء يُحسب في متصفحك دون إرسال النص إلى أي خادم.

الأسئلة الشائعة