[Python] Python文本数据预处理实践

复制代码
input_str = """
There are some people who think love is sex 
And marriage
And six o'clock-kisses
And children,
And perhaps it is,
Miss Lester.
But do you know what I think?
I think love is a touch and yet not a touch
"""
input_str = input_str.lower()
print(input_str)

复制代码
import re

input_str = 'Hello Python123 666 Hi jupyter notebook 1111'
result = re.sub(r'\d+', '', input_str)
print(result)

复制代码
input_str = '薪资：15K 8500+人付款 3.0万+人付款'
result = re.findall("-?\d+\.?\d*e?-?\d*?", input_str)

print(result)

复制代码
import re

input_str = """This &is [an] example? \叶庭云<< 1""!。。;11???【】>>1 *yetingyun/p:?| {of} string. with.? punctuation!!!!""" 
s = re.sub(r'[^\w\s]', '', input_str)
print(s)

复制代码
input_str = "   \t    yetingyun   \t    "
input_str = input_str.strip()
input_str

复制代码
# 从Github下载停用词数据  https://github.com/zhousishuo/stopwords
import jieba
import re

# 读取用于测试的文本数据  用户评论
with open('comments.txt') as f:
    data = f.read()

# 文本预处理  去除一些无用的字符   只提取出中文出来
new_data = re.findall('[\u4e00-\u9fa5]+', data, re.S)
new_data = "/".join(new_data)

# 文本分词  精确模式
seg_list_exact = jieba.cut(new_data, cut_all=False)

# 加载停用词数据
with open('stop_words.txt', encoding='utf-8') as f:
    # 获取每一行的停用词 添加进集合
    con = f.read().split('\n')
    stop_words = set()
    for i in con:
        stop_words.add(i)

# 列表解析式  去除停用词和单个词
result_list = [word for word in seg_list_exact if word not in stop_words and len(word) > 1]
result_list

复制代码
from snownlp import SnowNLP

word = u'今天天气好 这个姑娘真好看'
s = SnowNLP(word)
print(s.words)        # 分词
print(list(s.tags))   # 词性标注

复制代码
from snownlp import SnowNLP

text = u'''
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。
它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，
所以它与语言学的研究有着密切的联系，但又有重要的区别。
自然语言处理并不是一般地研究自然语言，
而在于研制能有效地实现自然语言通信的计算机系统，
特别是其中的软件系统。因而它是计算机科学的一部分。
'''

s = SnowNLP(text)
print(s.keywords(limit=6))        # 关键词提取