ASCII và Unicode: là gì và dùng để làm gì

Bảng mã ký tự là gì

Bảng mã là một sự thỏa thuận: «số 65 nghĩa là chữ A». Khi bạn viết một văn bản, chương trình lưu các con số đó; khi người khác mở nó ra, chương trình của họ dịch chúng lại thành chữ theo cùng thỏa thuận. Nếu hai bên không dùng cùng một bảng, văn bản sẽ hiển thị sai.

Cần tách hai ý. Một là bộ ký tự, danh sách cho biết số nào ứng với ký hiệu nào. Hai là cách những con số đó được lưu thành byte. Với ASCII hai ý này trùng nhau một cách đơn giản; với Unicode thì không, và đó là chỗ UTF-8 xuất hiện.

ASCII: 128 ký tự 7 bit

ASCII (viết tắt của American Standard Code for Information Interchange) được chuẩn hóa vào thập niên 1960. Nó dùng 7 bit, tức 2 mũ 7 = 128 mã, từ 0 đến 127. Trong đó có 33 ký tự điều khiển (từ 0 đến 31 và 127) và 95 ký tự in được (từ 32 đến 126, kể cả dấu cách).

Nó không có chữ có dấu, không có chữ ñ, cũng không có ký hiệu euro: nó được thiết kế cho tiếng Anh. Điều đó giải thích vì sao sau này cần đến các bảng mã khác.

Những quy luật nên nhớ

Bảng này không được sắp xếp ngẫu nhiên. Với vài quy luật, bạn có thể đọc mã từ trí nhớ.

• Các chữ số từ «0» đến «9» chiếm từ 48 đến 57 (30 đến 39 trong thập lục phân). Giá trị của một chữ số là mã của nó trừ 48: «7» là 55, và 55 − 48 = 7.
• Chữ hoa đi từ 65 («A») đến 90 («Z») và chữ thường từ 97 («a») đến 122 («z»).
• Chênh lệch giữa một chữ hoa và chữ thường của nó luôn là 32: «A» = 65 và «a» = 97; «C» = 67 và «c» = 99. Trong nhị phân chỉ đổi một bit: 01000001 cho «A» và 01100001 cho «a».
• Để biết một chữ hoa đứng thứ mấy trong bảng chữ cái, hãy trừ 64: «C» là 67 và 67 − 64 = 3, chữ cái thứ ba.
• Vì tất cả chữ hoa (65 đến 90) có mã nhỏ hơn chữ thường (97 đến 122), việc sắp xếp theo thứ tự chữ cái «theo mã» sẽ đặt «Zebra» trước «apple». Nhiều chương trình cần một tùy chọn so sánh riêng để sắp xếp đúng.

Kết thúc dòng: LF, CR và CRLF

Một lần xuống dòng nghe đơn giản, nhưng cách viết khác nhau tùy hệ thống. Unix, Linux và macOS dùng một ký tự duy nhất, LF (10). Windows dùng hai ký tự liền nhau, CR và LF (13 và 10), gọi là CRLF. Các máy điện báo cũ cần hai lệnh riêng: đưa đầu in về đầu dòng và cuộn giấy lên một dòng.

Sự khác biệt đó là nguyên nhân khiến có những file hiện toàn bộ trên một dòng trong một trình soạn thảo đơn giản, hoặc có một ký hiệu lạ ở cuối mỗi dòng. Nếu bạn muốn biết mã của từng loại, hãy gõ LF hoặc CR vào ô tìm kiếm của bảng ASCII.

«ASCII mở rộng» không phải là một tiêu chuẩn

Vì một byte có 8 bit mà ASCII chỉ dùng 7, còn dư 128 mã trống (từ 128 đến 255) và mỗi nhà sản xuất, mỗi khu vực lấp chúng theo cách riêng. Điều đó được gọi là «ASCII mở rộng», nhưng không có một bảng duy nhất: có rất nhiều bảng, gọi là bảng mã trang (code page). Hai bảng nổi tiếng nhất là Latin-1 (ISO-8859-1), trong đó chữ é là mã 233, và Windows-1252, tương tự nhưng khác ở các mã 128 đến 159 (chẳng hạn ở đó có ký hiệu euro).

Vấn đề là mã 233 nghĩa là «é» trong bảng này và là thứ khác trong bảng kia. Một văn bản viết bằng bảng này và đọc bằng bảng khác sẽ hiện ra rác. Unicode ra đời để chấm dứt sự lộn xộn đó.

Unicode và UTF-8

Unicode gán một con số duy nhất, gọi là điểm mã (code point), cho mỗi ký tự của gần như mọi hệ chữ viết trên thế giới, cùng với ký hiệu và emoji. Ngày nay nó có hơn 150.000 ký tự. Nó được viết với tiền tố U+ và ở dạng thập lục phân: «A» là U+0041, «ñ» là U+00F1, euro là U+20AC và emoji mặt cười là U+1F600. 128 điểm mã đầu tiên chính xác là của ASCII.

UTF-8 là cách được dùng nhiều nhất để lưu các con số đó thành byte, và dùng từ 1 đến 4 byte tùy ký tự. 128 ký tự của ASCII chiếm một byte duy nhất giống hệt như trước, nên một văn bản ASCII cũng là một văn bản UTF-8 hợp lệ. Phần còn lại chiếm nhiều byte hơn.

Vì sao hiện «Ã±» thay cho «ñ»

Đây là lỗi phổ biến nhất và có lời giải thích chính xác. Chữ ñ trong UTF-8 là hai byte: C3 và B1. Nếu một chương trình tưởng văn bản ở dạng Latin-1, nó đọc mỗi byte như một ký tự: C3 là «Ã» và B1 là «±». Kết quả: «Ã±». Điều tương tự xảy ra với «é», hiện thành «Ã©», và với tiếng Việt, nơi «ế» chiếm ba byte và hiện thành «áº¿», còn «tiếng Việt» trở thành chuỗi khó đọc.

Cách khắc phục hầu như luôn là cho chương trình biết hãy mở file ở dạng UTF-8 (trong một trình soạn thảo văn bản hoặc trong phần cài đặt nhập dữ liệu của bảng tính). Khi xảy ra ngược lại, văn bản Latin-1 bị đọc như UTF-8, thường xuất hiện các hình thoi có dấu hỏi, vì những byte rời đó không tạo thành chuỗi UTF-8 hợp lệ.

Cách dùng bảng ASCII và công cụ chuyển đổi

Công cụ «Bảng mã ASCII» hiển thị 128 ký tự cùng mã ở dạng thập phân, thập lục phân, bát phân và nhị phân, và tên của các ký tự điều khiển.

1. Gõ vào ô tìm kiếm một ký tự, một mã hoặc tên của một ký tự điều khiển (ví dụ A, 65, 41 hoặc LF) để tìm hàng của nó.
2. Dùng các nút lọc (Điều khiển, Chữ số, Chữ hoa, Chữ thường, Dấu) để chỉ xem một nhóm.
3. Để chuyển đổi, gõ một văn bản vào «Văn bản» và chọn «Định dạng của mã» (thập phân, thập lục phân, bát phân hoặc nhị phân): các mã hiện ra bên dưới. «Hola» cho ra 72 111 108 97 trong thập phân và 48 6F 6C 61 trong thập lục phân.
4. Bạn cũng có thể làm ngược lại: dán các mã cách nhau bằng dấu cách hoặc dấu phẩy vào «Mã» và văn bản sẽ được tạo ra. Với thập lục phân, các tiền tố như 0x41 được chấp nhận.

Nếu văn bản có ký tự không thuộc ASCII, như ñ hay chữ tiếng Việt có dấu, công cụ sẽ báo và hiển thị mã Unicode của nó. Để xem các byte thật trong UTF-8, hãy dùng «Chuyển văn bản sang nhị phân»: chữ ñ cho ra 11000011 10110001, hai byte 8 bit. Các giới hạn: bảng chỉ hiển thị ASCII chuẩn, không phải ASCII mở rộng, và mọi thứ được tính trong trình duyệt của bạn mà không gửi văn bản đến máy chủ nào.

Câu hỏi thường gặp