os.environ.setdefault("DJANGO_SETTINGS_MODULE", "www.settings")
Django 版本大于等于1.7的时候,需要加上下面两句
import django
django.setup()
否则会抛出错误 django.core.exceptions.AppRegistryNotReady: Models aren't loaded yet.
import django
import datetime
if django.VERSION >= (1, 7):#自动判断版本
django.setup()
from keywork.models import DevData
f = open('cs.csv')
WorkList = []
next(f) #将文件标记移到下一行
x = y = 0
for line in f:
parts = line.replace('"','') #将字典中的"替换空
parts = parts.split(',') #按;对字符串进行切片
if DevData.objects.filter(serv_id = parts[0],day_id=parts[24]).exists():
x = x + 1
else:
y = y + 1
WorkList.append(DevData(serv_id=parts[0], serv_state_name=parts[1], acc_nbr=parts[2], user_name=parts[3], acct_code=parts[4], product_id=parts[5],
mkt_chnl_name=parts[6], mkt_chnl_id=parts[7],mkt_region_name=parts[8], mkt_region_id=parts[9],mkt_grid_name=parts[10],
sale_man=parts[11],sale_outlets_cd1_name=parts[12], completed_time=parts[13],remove_data=parts[14], user_flag=parts[15],
pro_flag=parts[16], service_offer_id=parts[17],service_offer_name=parts[18], finish_time=parts[19],staff_name=parts[20],
staff_code=parts[21],org_name=parts[22],prod_offer_name=parts[23],day_id=parts[24]
f.close()
DevData.objects.bulk_create(WorkList)
print "重复数据"+str(x)+"条,成功导入数据"+str(y)+"条"
本文主要运用模型中exists()判断导入数据和数据库是否重复,如果不重复就用bulk_create批量导入数据库!
可对照参考我的另一篇文章:批量导入数据
以上就是本文的全部内容,希望对大家的学习有所帮助。
时间: 2016-03-23
经过好几天的摸索,还有大佬的分页方法,这次不需要用selenium进行爬取,可以把商品爬下来,但是期间发现好多都是
重复
的,又花了点时间。下面讲讲思路,欢迎大佬指点。
数据
库连接
import pymysql
from scrapy import signals
from twisted.enterprise import adbapi
from pymysql import cursors
class MysqlTwistedPipline(object):
def __init__(self,
匿名用户1级2017-11-11 回答方案一:使用ignore关键字如果是用主键primary或者唯一索引unique区分了记录的唯一性,避免
重复
插入记录可以使用:insert ignore into table_name(email,phone,user_id) values('test9@163.com','99999','9999'),这样当有
重复
记录就会忽略,执行后返回数字0,还有个应用就...
python
从键盘输入
数据
的方法:在
python
中使用raw_input()、input()、sys.stdin等方法获取从键盘输入的
数据
。1、使用raw_input()函数获取从键盘输入的
数据
python
raw_input() 用来获取控制台的输入。raw_input() 将所有输入作为字符串看待,返回字符串类型。>>>a = raw_input("input:")input:123>>> t...
一般的,去处
重复
数据
有两个意义,一是完全
重复
的记录,也即所有字段均都
重复
,二是部分字段
重复
的记录。对于第一种
重复
,比较容易解决,只需在查询语句中使用distinct关键字去重,几乎所有
数据
库系统都支持distinct操作。发生这种
重复
的原因主要是表设计不周,通过给表增加主键或唯一索引列即可避免。
select distinct * from table;
对于第二类
重复
问题,通常要求查询出
重复
记...
Form表单做为web2.0时代的重要角色,也是我们与web网站进行
数据
交互的重要渠道,但是大家在web网站开发过程中,都会遇到一个问题,那就是如何避免表单
重复
提交,我们可不确定用户可在提交了一个表单后,是否有足够的耐心等待我们的程序加载完成,如果此时用户不耐烦的在前台
重复
刷新页面,那么就会造成
数据
重复
提交、信息不准确,因此我们在程序设计时一定要规避这样的问题,接下来介绍一下在
Django
框架开发...
#coding:utf-8import osos.environ.setdefault("
DJANGO
_SETTINGS_MODULE", "www.settings")'''
Django
版本大于等于1.7的时候,需要加上下面两句import
django
django
.setup()否则会抛出错误
django
.core.exceptions.AppRegistryNotReady: Model...
Python
输入列表去掉列表中
重复
的数字,按原次序输出。2018-04-13 使用列表推导,只保留元素个数等于1的 1 2 3 a = ['a', 'b', 'c', 'd', 'a', 'a'] b = [x for x in a if a寂寞太澮笕縫挿zんèη,小编拏什嬷粜禾ロτà抗衡。(
数据
结构)设计一个算法从顺序表中删除
重复
元素答案给的算法: Void delsame(SqList &am...
在做项目时,遇到这个问题,首页设置为登录页login.html,登录后跳转至工具页tool.html。使用
django
自带的会话及身份验证中间件,自己认为的应该没问题,但总报标题所述错误,折腾了半天,终于解决,这里记录一下。
我的urls.py
urlpatterns = [
path('xadmin/', xadmin.site.urls),
path('', LoginView.as_view(), name='index'),
path('tool/', Template