Python with_utf8_file示例

示例#1

文件： strip_brackets.py 项目： JensTimmerman/text-benchmarks

#!/usr/bin/env python

import utils, sys

def strip_brackets(string):
    d = 0
    out = ''
    for c in string:
        if c == '{' or c == '[': d += 1

        if d > 0:
            out += ' '
        else:
            out += c

        if c == '}' or c == ']': d -= 1

    return out

for f in sys.argv[1:]:
    t = utils.benchmark(lambda: utils.with_utf8_file(f, strip_brackets))
    sys.stderr.write('{0}: {1}\n'.format(f, t))

示例#2

文件： sort.py 项目： JensTimmerman/text-benchmarks

#!/usr/bin/env python

import utils, sys

def sort(string):
    lines = string.splitlines()
    lines.sort()
    return '\n'.join(lines)

for f in sys.argv[1:]:
    t = utils.benchmark(lambda: sys.stdout.write(
                    				utils.with_utf8_file(f,sort).encode('utf-8'))
                    				)
    sys.stderr.write('{0}: {1}\n'.format(f, t))

示例#3

文件： file_read.py 项目： JensTimmerman/text-benchmarks

#!/usr/bin/env python

import utils, sys

for f in sys.argv[1:]:
    t = utils.benchmark(lambda: utils.with_utf8_file(f, lambda c: len(c)))
    sys.stderr.write('{0}: {1}\n'.format(f, t))

示例#4

文件： word_count.py 项目： JensTimmerman/text-benchmarks

#!/usr/bin/env python

import utils, sys

def word_count(string):
    freqs = {}
    for w in string.split():
        w = w.lower()
        if freqs.get(w):
            freqs[w] += 1
        else:
            freqs[w] = 1
    return freqs

for f in sys.argv[1:]:
    t = utils.benchmark(lambda: utils.with_utf8_file(f, word_count))
    sys.stderr.write('{0}: {1}\n'.format(f, t))

示例#5

文件： case_map.py 项目： JensTimmerman/text-benchmarks

#!/usr/bin/env python

import utils, sys

for f in sys.argv[1:]:
    t = utils.benchmark(lambda: utils.with_utf8_file(f, lambda c: c.upper()))
    sys.stderr.write('{0}: {1}\n'.format(f, t))

示例#6

文件： sort.py 项目： nudded/text-benchmarks

#!/usr/bin/env python

import utils, sys

def sort(string):
    lines = string.split('\n')
    lines.sort()
    return '\n'.join(lines)

for f in sys.argv[1:]:
    t = utils.benchmark(lambda:
            utils.with_utf8_file(f, lambda c:
                    sys.stdout.write(sort(c).encode('utf-8'))))
    sys.stderr.write('{0}: {1}\n'.format(f, t))