能抄就抄,转自:http://www.cnblogs.com/slaughter/archive/2007/03/15/675791.aspx

这貌似是大概在三个月前的草稿了,今儿给整完了…

Perl 从 5.6 开始已经开始在内部使用 utf8 编码来表示字符,也就是说对中文以及其他语言字符的处理应该是完全没有问题的。我们只需要利用好 Encode 这个模块便能充分发挥 Perl 的 utf8 字符的优势了。

下面就以中文文本的处理为例进行说明,比如有一个字符串“测试文本”,我们想要把这个中文字符串拆成单个字符,可以这样写:

结果大家试一试就知道了,应该是令人满意的。

这里主要用到了Encode模块的 decode 、 encode 函数。要了解这两个函数的作用我们需要清楚几个概念:

1、Perl 字符串是使用 utf8 编码的,它由 Unicode 字符组成而不是单个字节,每个 utf8 编码的 Unicode 字符占1-4个字节(变长)。

2、进入或离开 Perl 处理环境(比如输出到屏幕、读入和保存文件等等)时不是直接使用 Perl 字符串,而需要把 Perl 字符串转换成字节流,转换过程中使用何种编码方式完全取决于你(或者由 Perl 代劳)。一旦 Perl 字符串向字节流的编码完成,字符的概念就不存在了,变成了纯粹的字节组合,如何解释这些组合则是你自己的工作。

我们可以看出如果想要 Perl 按照我们的字符概念来对待文本,文本数据就需要一直用 Perl 字符串的形式存放。但是我们平时写出的每个字符一般都被作为纯 ASCII 字符保存(包括在程序中明文写出的字符串),也就是字节流的形式,这里就需要 encode 和 decode 函数的帮助了。

encode 函数顾名思义是用来编码 Perl 字符串的。它将 Perl 字符串中的字符用指定的编码格式编码,最终转化为字节流的形式,因此和 Perl 处理环境之外的事物打交道经常需要它。其格式很简单:

编码方式视语言环境的不同有很大变化,默认可以识别 utf8、ascii、ascii-ctrl、iso-8859-1等。

decode 函数则是用来解码字节流的。它按照你给出的编码格式解释给定的字节流,将其转化为使用 utf8 编码的 Perl 字符串,一般来说从终端或者文件取得的文本数据都应该用 decode 转换为 Perl 字符串的形式。它的格式为:

现在就很容易理解上面写的那段程序了。因为字符串是用明文写出的,存放的时候已经是字节流形式,丧失了本来的意义,所以首先就要用 decode 函数将其转换为 Perl 字符串,由于汉字一般都用 gb2312 格式编码,这里 decode 也要使用 gb2312 编码格式。转换完成后 Perl 对待字符的行为就和我们一样了,平时对字符串进行操作的函数基本上都能正确对字符进行处理,除了那些本来就把字符串当成一堆字节的函数(如vec、pack、unpack等)。于是split就能把字符串切成单个字符了。最后由于在输出的时候不能直接使用 utf8 编码的字符串,还需要将切割后的字符用 encode 函数编码为 gb2312 格式的字节流,再用 print 输出。

话说回到我的程序呢,就是酱紫了…:

$str 是从页面上输入得来,先用 utf8 解码,然后再用 gb2312 编码。

    分享到:

发表评论

电子邮件地址不会被公开。 必填项已用*标注