本案例中 word 中表格内容的提取用到的是 python-docx 库,关于 python-docx 一些基础用法可以参考
word 文档有时是以 doc 类型保存的, python-docx 只能处理 docx 文件类型,在提取表格内容之前,需进行一次文件类型格式转换:
把 doc 批量转化为 docx
;
doc 转 docx 最简单的方式
通过Office 中 word 组件打开 doc 文件,然后手动保存为 docx 文件
,对于单个文档这个方法还行,文档数量达到上百个的话还用这种方法就有点烦了,
这里介绍一个 python 库
pywin32
来帮助我们解决这个问题,pywin32 作为扩展模块, 里面封装了大量 Windows API 函数,例如调用 Office 等应用组件、删除指定文件、获取鼠标坐标等等
利用 pywin32 控制Office 中 Word 组件自动完成
打开、保存
操作,把所有 doc 文件类型转化为 docx 文件类型,步骤分为以下三步:
1,建立一个 word 组件
from win32com import client as wc
word = wc.Dispatch('Word.Application')</pre>
2,打开 word 文件
doc = word.Documents.Open(path)</pre>
3,保存关闭
doc.SaveAs(save_path,12, False, "", True, "", False, False, False, False)
doc.Close()
path_list = os.listdir(path)
doc_list = [os.path.join(path,str(i)) for i in path_list if str(i).endswith('doc')]
word = wc.Dispatch('Word.Application')
print(doc_list)
for path in doc_list:
print(path)
save_path = str(path).replace('doc','docx')
doc = word.Documents.Open(path)
doc.SaveAs(save_path,12, False, "", True, "", False, False, False, False)
doc.Close()
print('{} Save sucessfully '.format(save_path))
word.Quit()
docx 库提取单个表格内容
在批量操作之前,首先需要搞定单个表格中的内容,只要我们搞定了单个 word,剩下的加一个递归即可
用 docx 库对 word 中表格内容提取,主要用到 Table、rows、cells 等对象
通过 Document 函数读取文件路径,返回一个 Document 对象
Document.tables 可返回 word 中的表格列表;
table.rows 返回表格中的行列表;
row.cells 返回该行中含有的单元格列表;
cell.text 返回该单元格中文本信息
了解了上面内容之后,接下来的操作思路就比较清晰了;word 表格中文本信息可以通过两个 for 循环来完成:第一个 for 循环获取表格中所有行对象,第二个 for 循环定位每一行的单元格,借助 cell.text 获取单元格文本内容;
用代码试一下这个思路是否可行
document = docx.Document(doc_path)
for table in document.tables:
for row_index,row in enumerate(table.rows):
for col_index,cell in enumerate(row.cells):
print(' pos index is ({},{})'.format(row_index,col_index))
print('cell text is {}'.format(cell.text))
会发现,最终提取到的内容是有重复的,,,
image-20210327101720736
面对以上文本重复问题,需要添加一个去重机制, 姓名、性别、年龄...学历学位
等字段作为列名 col_keys,后面王五、女、37、... 学士
等作为col_values,提取时设定一个索引,偶数为 col_keys, 奇数为 col_vaues ;
代码重构后如下:
document = docx.Document(doc_path)
col_keys = [] # 获取列名
col_values = [] # 获取列值
index_num = 0
# 添加一个去重机制
fore_str = ''
for table in document.tables:
for row_index,row in enumerate(table.rows):
for col_index,cell in enumerate(row.cells):
if fore_str != cell.text:
if index_num % 2==0:
col_keys.append(cell.text)
else:
col_values.append(cell.text)
fore_str = cell.text
index_num +=1
print(f'col keys is {col_keys}')
print(f'col values is {col_values}')</pre>
最终提取后的效果如下
批量 word 提取,保存至 csv 文件中
能够处理单个 word 文件之后,一个递归即可提取到所有 word 文本表格内容,最后利用 pandas 把获取到的数据写入到 csv 文件即可!
def GetData_frompath(doc_path):
document = docx.Document(doc_path)
col_keys = [] # 获取列名
col_values = [] # 获取列值
index_num = 0
# 添加一个去重机制
fore_str = ''
for table in document.tables:
for row_index,row in enumerate(table.rows):
for col_index,cell in enumerate(row.cells):
if fore_str != cell.text:
if index_num % 2==0:
col_keys.append(cell.text)
else:
col_values.append(cell.text)
fore_str = cell.text
index_num +=1
return col_keys,col_values
pd_data = []
for index,single_path in enumerate(wordlist_path):
col_names,col_values = GetData_frompath(single_path)
if index == 0:
pd_data.append(col_names)
pd_data.append(col_values)
else:
pd_data.append(col_values)
df = pd.DataFrame(pd_data)
df.to_csv(word_paths+'/result.csv', encoding='utf_8_sig',index=False)</pre>
证件号、身份证号格式
打开生成的 csv 文件会发现联系方式、身份证号
两栏的数字格式是以数值存储,不是我们想要的类型,想要完整展示,需存储之前把数值转化为文本