os.environ.setdefault("DJANGO_SETTINGS_MODULE", "www.settings")
Django 版本大于等于1.7的时候，需要加上下面两句
import django
django.setup()
否则会抛出错误 django.core.exceptions.AppRegistryNotReady: Models aren't loaded yet.
import django
import datetime
if django.VERSION >= (1, 7):#自动判断版本
django.setup()
from keywork.models import DevData
f = open('cs.csv')
WorkList = []
next(f) #将文件标记移到下一行
x = y = 0
for line in f:
parts = line.replace('"','') #将字典中的"替换空
parts = parts.split(',') #按;对字符串进行切片
if DevData.objects.filter(serv_id = parts[0],day_id=parts[24]).exists():
x = x + 1
else:
y = y + 1
WorkList.append(DevData(serv_id=parts[0], serv_state_name=parts[1], acc_nbr=parts[2], user_name=parts[3], acct_code=parts[4], product_id=parts[5],
mkt_chnl_name=parts[6], mkt_chnl_id=parts[7],mkt_region_name=parts[8], mkt_region_id=parts[9],mkt_grid_name=parts[10],
sale_man=parts[11],sale_outlets_cd1_name=parts[12], completed_time=parts[13],remove_data=parts[14], user_flag=parts[15],
pro_flag=parts[16], service_offer_id=parts[17],service_offer_name=parts[18], finish_time=parts[19],staff_name=parts[20],
staff_code=parts[21],org_name=parts[22],prod_offer_name=parts[23],day_id=parts[24]
f.close()
DevData.objects.bulk_create(WorkList)
print "重复数据"+str(x)+"条,成功导入数据"+str(y)+"条"
本文主要运用模型中exists()判断导入数据和数据库是否重复,如果不重复就用bulk_create批量导入数据库！
可对照参考我的另一篇文章：批量导入数据
以上就是本文的全部内容，希望对大家的学习有所帮助。
时间： 2016-03-23
经过好几天的摸索，还有大佬的分页方法，这次不需要用selenium进行爬取，可以把商品爬下来，但是期间发现好多都是
重复
的，又花了点时间。下面讲讲思路，欢迎大佬指点。
数据
库连接
import pymysql
from scrapy import signals
from twisted.enterprise import adbapi
from pymysql import cursors
class MysqlTwistedPipline(object):
def __init__(self,
匿名用户1级2017-11-11 回答方案一：使用ignore关键字如果是用主键primary或者唯一索引unique区分了记录的唯一性,避免
重复
插入记录可以使用：insert ignore into table_name(email,phone,user_id) values('test9@163.com','99999','9999'),这样当有
重复
记录就会忽略,执行后返回数字0,还有个应用就...
python
从键盘输入
数据
的方法：在
python
中使用raw_input()、input()、sys.stdin等方法获取从键盘输入的
数据
。1、使用raw_input()函数获取从键盘输入的
数据
python
raw_input() 用来获取控制台的输入。raw_input() 将所有输入作为字符串看待，返回字符串类型。>>>a = raw_input("input:")input:123>>> t...
一般的，去处
重复
数据
有两个意义，一是完全
重复
的记录，也即所有字段均都
重复
，二是部分字段
重复
的记录。对于第一种
重复
，比较容易解决，只需在查询语句中使用distinct关键字去重，几乎所有
数据
库系统都支持distinct操作。发生这种
重复
的原因主要是表设计不周，通过给表增加主键或唯一索引列即可避免。
select distinct * from table;
对于第二类
重复
问题，通常要求查询出
重复
记...
Form表单做为web2.0时代的重要角色，也是我们与web网站进行
数据
交互的重要渠道，但是大家在web网站开发过程中，都会遇到一个问题，那就是如何避免表单
重复
提交，我们可不确定用户可在提交了一个表单后，是否有足够的耐心等待我们的程序加载完成，如果此时用户不耐烦的在前台
重复
刷新页面，那么就会造成
数据
重复
提交、信息不准确，因此我们在程序设计时一定要规避这样的问题，接下来介绍一下在
Django
框架开发...
#coding:utf-8import osos.environ.setdefault("
DJANGO
_SETTINGS_MODULE", "www.settings")'''
Django
版本大于等于1.7的时候，需要加上下面两句import
django
django
.setup()否则会抛出错误
django
.core.exceptions.AppRegistryNotReady: Model...
Python
输入列表去掉列表中
重复
的数字,按原次序输出。2018-04-13 使用列表推导,只保留元素个数等于1的 1 2 3 a = ['a', 'b', 'c', 'd', 'a', 'a'] b = [x for x in a if a寂寞太澮笕縫挿zんèη，小编拏什嬷粜禾ロτà抗衡。(
数据
结构)设计一个算法从顺序表中删除
重复
元素答案给的算法： Void delsame(SqList &am...
在做项目时，遇到这个问题，首页设置为登录页login.html，登录后跳转至工具页tool.html。使用
django
自带的会话及身份验证中间件，自己认为的应该没问题，但总报标题所述错误，折腾了半天，终于解决，这里记录一下。
我的urls.py
urlpatterns = [
path('xadmin/', xadmin.site.urls),
path('', LoginView.as_view(), name='index'),
path('tool/', Template
