词频统计及其效能分析

学号：2017035101045

姓名：赵丽媛

我的码云仓库：https://gitee.com/zhaowencheng/word_frequency/branches

一.程序分析，对程序中的四个函数做简要说明。要求附上每一段代码及对应的说明。

第一段 读文件到缓冲区

def process_file(dst): # 读文件到缓冲区

try: # 打开文件

f = open(A_Tale_of_Two_Cities, 'r')

except IOError as s:

print(s)

return None

try: # 读文件到缓冲区

bvffer = f.read()

except:

print("Read File Error!")

return None

f.close()

return bvffer

  第二段 对缓冲区进行处理

def process_buffer(bvffer):

if bvffer:

word_freq = {}

# 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq

bvffer = bvffer.lower()

for ch in '“‘!;,.?”':

bvffer = bvffer.lower().replace(ch, " ")

words = bvffer.strip().split()

for word in words:

word_freq[word] = word_freq.get(word, 0)+1 #读取到的单词存放到字典

     word_freq
 第三段 输出词频前十的单词

def output_result(word_freq):

if word_freq:

sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)

for item in sorted_word_freq[:10]: # 输出 Top 10 的单词

print(item[0],item[1])

 第四段 对之前的函数进行整合

if name == "main":

import argparse

parser = argparse.ArgumentParser()

parser.add_argument('dst')

args = parser.parse_args()

dst = args.dst

bvffer = process_file(dst)

word_freq = process_buffer(bvffer)

output_result(word_freq)

二、性能分析结果及改进情况

执行未优化前时间

执行优化后

（1）程序运行命令、运行结果截图

三、总结反思

**      **** **知识匮乏，针对本次作业我通过百度学到了很过东西.