我有多个网络搜刮项目(Python + scrapy)。
我有一个共同的帮助文件,我把它包括在所有这些项目中,这个帮助文件是这样的。
helper.py
def has_any_numbers(input_str):
if input_str:
return any(char.isdigit() for char in input_str)
else:
return False
def read_env_config(spider):
config = AutoConfig(search_path='../.env')
# output file specifics
spider.region_name = config('REGION_NAME')
spider.aws_access_key_id = config('AWS_ACCESS_KEY_ID')
spider.aws_secret_access_key = config('AWS_SECRET_ACCESS_KEY')
spider.bucket_name = config('BUCKET_NAME')