エンコーディング関数 ​

このページは機械翻訳により提供されています。翻訳内容と英語版に相違がある場合は、英語版が優先されます。

エンコーディング関数は、名前付き文字エンコーディングを使用してテキストとバイトを変換し、メールヘッダーで使用されるencoded-word形式を処理します。

これらの関数は、Shift_JISのメインフレームエクスポート、Windows-1252のレガシーCSV、アクセント付きの名前を含むメールヘッダーなど、システムがUTF-8を扱えない場合に重要です。エンコーディングが間違っていると、éであるべき箇所がéとして表示される文字化けしたテキストが生成されます。

エンコーディングはエスケープではありません

エンコーディングは、どのバイトが文字を表すかに関するものです。エスケープは、形式内でどの文字が安全かに関するものです。 CSVに送信されるアクセント付きの名前にはその両方が必要であり、一方が他方の代わりになることはありません。

テキストからバイトへ、そして元に戻す ​

次の関数は、指定された文字エンコーディングでテキストとバイトを変換します。

encode_string ​

名前付きエンコーディングを使用して文字列をBinaryに変換します。

テキストに非ASCII文字が含まれる可能性がある場合は、Binary()ではなくencode_stringを使用します。 Binary()は、エンコーディングを選択する代わりに、非ASCII入力に対してE008を発生させます。

wel
encode_string(text, encoding)
パラメーター説明
テキストエンコードする文字列。
encodingUTF-8やShift_JISなどのエンコーディング名。 UTF-8-BOM のように -BOM が末尾に付いた名前は、バイトオーダーマークを先頭に付加します。 UTF-8-NFC のように -NFC、-NFD、-NFKC、-NFKD が末尾に付いた名前は、エンコード前にテキストをその正規化形式に変換します。認識されない名前が指定されると E206 を発生させます。対象エンコーディングで表現できない文字がある場合は E227 を発生させます。
アクセント付き文字列をUTF-8としてエンコードする

次の例では、アクセント付き文字列をUTF-8バイトとしてエンコードします。

Formula

wel
encode_string('café', 'UTF-8')

出力

wel
0x"636166C3A9"

éは2バイトのC3A9を占めるため、4コードポイントの文字列caféは5バイトにエンコードされます。 lengthはコードポイントを数え、grapheme_lengthはユーザーが認識する文字を数え、byte_lengthはバイトを数えます。 ASCII以外では、この3つが異なる場合があります。

decode_string ​

名前付きエンコーディングを使用してBinaryを文字列に変換します。この変換は先頭のバイトオーダーマークを除去します。

wel
decode_string(binary, encoding, options)
パラメーター説明
バイナリデコードするバイト。 Binary 以外のデータ型が指定されると E100 を発生させます。
encodingバイトで使用されているエンコーディング。認識されない名前が指定されると E206 を発生させます。
options無効なシーケンスの処理方法を制御する任意のマップ。 invalid: 'replace'は置換文字で置き換え、'skip'はそれらを削除します。その他の invalid の値は E225 を発生させます。 options 内の認識されないキーは E225 を発生させます。

デフォルトでは、無効なシーケンスによりエラーが発生します。代わりにバイトをサイレントに置き換えると、データの問題が、誰にも気付かれない破損したレコードになります。

UTF-8バイトを文字列に戻す

次の例では、UTF-8バイトを元の文字列に戻します。

Formula

wel
decode_string(encode_string('café', 'UTF-8'), 'UTF-8')

出力

text
café

decode_string_by_content_type ​

ユーザーが指定したものではなく、HTTPContent-Typeヘッダーで指定されたcharsetを使用してバイトをデコードします。

制御できないエンコーディングのHTTPレスポンスを処理する場合に使用します。

wel
decode_string_by_content_type(binary, content_type, options)
パラメーター説明
バイナリデコードするバイト。 Binary 以外のデータ型が指定されると E100 を発生させます。
content_typeContent-Typeヘッダー値。
optionsヘッダーに指定がない場合に使用するfallbackエンコーディングを指定する任意のマップ。 options 内の認識されないキーは E225 を発生させます。

変換前の確認 ​

次の関数は、テキストまたはバイトが指定されたエンコーディングをサポートしているかどうかをテストします。

ascii_string? ​

文字列にASCII文字のみが含まれている場合はtrueを返します。

wel
ascii_string?(text)
パラメーター説明
テキストテストする文字列。
プレーン文字列はASCIIです

次の例では、プレーンなASCII文字列をテストします。

Formula

wel
ascii_string?('plain')

出力

wel
true
アクセント付き文字列はASCIIではありません

次の例では、アクセント付き文字を含む文字列をテストします。

Formula

wel
ascii_string?('café')

出力

wel
false

convertible_to_encoding? ​

指定されたエンコーディングが、何も失わずに文字列を表現できる場合はtrueを返します。

制限された文字セットを持つシステムにテキストを送信する前に、変換可能性を確認します。文字がサイレントに置き換えられたレコードを配信するよりも、ここでレコードを拒否する方が適切です。

wel
convertible_to_encoding?(text, encoding)
パラメーター説明
テキストテストする文字列。
encodingターゲットエンコーディング。認識されないエンコーディングが指定されると E206 を発生させます。
アクセント付き文字列がASCIIに適合するかをテストする

次の例では、アクセント付き文字列を損失なくASCIIに変換できるかどうかをテストします。

Formula

wel
convertible_to_encoding?('café', 'ASCII')

出力

wel
false

valid_string? ​

バイトが指定されたエンコーディングで有効であり、デコードできる場合はtrueを返します。

wel
valid_string?(binary, encoding)
パラメーター説明
バイナリテストするバイト。 Binary 以外のデータ型が指定されると E100 を発生させます。
encodingテスト対象のエンコーディング。認識されないエンコーディングが指定されると E206 を発生させます。
有効なUTF-8バイト

次の例では、有効なUTF-8であるバイトをテストします。

Formula

wel
valid_string?(Binary('AB'), 'UTF-8')

出力

wel
true

encodings ​

他のエンコーディング関数が受け付けるエンコーディング名を一覧表示します。エンコーディング名の大文字小文字は区別されません。

wel
encodings(include_synonyms)
パラメーター説明
include_synonymsオプションのブール型フラグ。レスポンスに、UTF-8 の同義語としての utf8 のように、各エンコーディングタイプの正規名に加えて受け入れ可能な別名を含めるかどうかを制御します。デフォルトはfalseです。ブール型以外のデータ型が指定されると E100 を発生させます。

メールヘッダー ​

メールヘッダーに含められるのはASCIIのみです。 RFC 2047は、その範囲外のものをすべて=?UTF-8?B?...?=のようなencoded-wordでラップします。

encode_mime_header ​

メールヘッダー用に、テキストをRFC 2047のencoded-wordとしてエンコードします。

wel
encode_mime_header(text, encoding, mode)
パラメーター説明
テキストエンコードするヘッダーテキスト。
encoding使用する文字エンコーディング。認識されないエンコーディングが指定されると E206 を発生させます。エンコーディングで表現できない文字がある場合は E227 を発生させます。
mode任意のエンコーディングモード。デフォルトは 'B'(base64)です。認識されないモードが指定されると E225 を発生させます。

結果では、RFC 2047 がエンコード語に対して定める 75 文字の制限を 1 語が超える場合、その出力を複数のエンコード語に分割します。

アクセント付きの名前をヘッダー用にエンコードする

次の例では、アクセント付き文字列をRFC 2047のencoded-wordとしてエンコードします。

Formula

wel
encode_mime_header('café', 'UTF-8')

出力

text
=?UTF-8?B?Y2Fmw6k=?=

decode_mime_header ​

メールヘッダー内のRFC 2047 encoded-wordをテキストに戻します。 decode_mime_header は隣接するエンコード語間の空白を削除します。隣接する語は異なる文字セットを使用できます。

wel
decode_mime_header(text)
パラメーター説明
テキストデコードするヘッダー値。不正形式のエンコード語は E226 を発生させます。認識されない文字セットが指定されると E206 を発生させます。
RFC 2047 encoded-wordをデコードする

次の例では、RFC 2047 encoded-wordをテキストに戻します。

Formula

wel
decode_mime_header('=?UTF-8?B?SGVsbG8=?=')

出力

text
Hello

ユースケース: レガシーASCII専用システム用に名前を準備する ​

送信先はASCIIのみを受け付けます。送信前にconvertible_to_encoding?を使用して各名前を確認し、破損したテキストを配信するのではなく、適合しないものをルーティングします。

入力

json
{
  "names": ["Kalani Park", "Noam Gupta", "José Álvarez"]
}

Formula

wel
let parts = _.names >> partition_by(n ~> convertible_to_encoding?(n, 'ASCII'))
do {
  send: parts >> at(0),
  needs_review: parts >> at(1)
}

出力

json
{
  "send": ["Kalani Park", "Noam Gupta"],
  "needs_review": ["José Álvarez"]
}

送信前に変換可能性を確認し、Jos? lvarezのような破損したテキストを受け取る代わりに、担当者がレコードを修正できるようにします。

  • Binary関数: 文字エンコーディングを必要としないBase64と16進数。
  • Unicode関数: 正規化と書記素を考慮したテキスト処理。
  • Escape関数: 別の形式内で値を安全にします。
  • エラーコード: E008などのジョブ失敗をトラブルシューティングします。

最終更新日: