斗地主就用AI出牌器，让我们一起用Python制作，赢取海量欢乐豆，走上豆豆巅峰！
前言
最近在CSDN上看到一个很火的开源项目 《斗地主老是输？一起用Python做个AI出牌器，欢乐豆蹭蹭涨！》 ，但是在扑克牌牌型识别的时候由于使用的是特定模板匹配，所以只适用于固定分辨率的某游戏大厅的斗地主，而无法适用于大部分的斗地主，尤其是某手游助手的斗地主。于是打算通过 YOLOv5算法 进行扑克牌目标检测与识别，从而实现AI出牌 。
那么现在我们就一起来学习自己制作一个基于 Dragon少年 版本的斗地主出牌器，看看AI是如何来帮助我们斗地主，赢取海量欢乐豆，走上豆豆巅峰的吧！
首先一起来看看AI斗地主出牌器的效果：
出牌器实现效果：
可以看到，该游戏平台自带的推荐牌型是一对八，而我们这款出牌器推荐出一对A，可以看到效果还是比较明显的。
下面，我们开始介绍这个AI出牌器的制作过程。
一、核心功能设计
这款出牌器是基于 Dragon少年 开发的，核心是DouZero，利用训练好的AI模型给出最优出牌方案。
所以我们首先要让这个出牌器确认一个AI出牌角色，代表我们玩家自己。
其次我们只要给这个AI出牌器输入玩家手牌和三张底牌。确认好地主和农民的各个角色，告诉它三个人对应的关系，这样就可以确定队友和对手。我们还要识别每一轮其他两人的出牌并将其输入到出牌器，这样出牌器就可以根据出牌数据，及时提供给我们最优出牌决策，带领我们取得胜利。
那么如何获取三者之间的关系呢？谁是地主？谁是农民？是自己一人作战还是农民合作？自己玩家的手牌是什么？三张底牌是什么？其他人出牌情况是什么？这些也都需要在开局后逐步确认。
拆解需求后，整理出核心功能如下：
- UI设计排版布局
- 显示三张底牌
- 显示AI角色出牌数据区域，上家出牌数据区域，下家出牌数据区域，本局胜率区域
- AI玩家手牌区域
- AI出牌器开始停止
- 手牌和出牌数据识别
- 游戏刚开始根据屏幕位置，截图识别AI玩家手牌及三张底牌
- 确认三者之间的关系，识别地主和农民角色，确认队友及对手关系
- 识别每轮三位玩家依次出了什么牌，刷新显示对应区域
- AI出牌方案输出
- 加载训练好的AI模型，初始化游戏环境
- 每轮出牌判断，根据上家出牌数据给出最优出牌决策
- 自动刷新玩家剩余手牌和本局胜率预测
二、实现步骤
1. UI设计排版布局
由于我们是基于 Dragon少年 开发的AI出牌器进行开发，所以我们不需要重新制作界面，只需要理解该界面设计，并将通用的扑克牌牌型识别加入到手牌和出牌数据识别就可以了。
其使用的是 pyqt5 ， 进行简单的 UI布局设计，核心代码如下：
def retranslateUi(self, Form):
_translate = QtCore.QCoreApplication.translate
Form.setWindowTitle(_translate("Form", "AI欢乐斗地主"))
self.WinRate.setText(_translate("Form", "胜率：--%"))
self.InitCard.setText(_translate("Form", "开始"))
self.UserHandCards.setText(_translate("Form", "手牌"))
self.LPlayedCard.setText(_translate("Form", "上家出牌区域"))
self.RPlayedCard.setText(_translate("Form", "下家出牌区域"))
self.PredictedCard.setText(_translate("Form", "AI出牌区域"))
self.ThreeLandlordCards.setText(_translate("Form", "三张底牌"))
self.Stop.setText(_translate("Form", "停止"))实现效果如下：
2. 手牌和出牌数据识别
下面我们需要截取 游戏屏幕特定区域 ，并将相应截图送入提前训练好的神经网络中进行 图像识别 ，这样才能获取AI玩家手牌、底牌、每一轮出牌、三者关系（地主、地主上家、地主下家）。
识别AI玩家手牌及三张底牌：
我们可以截取游戏屏幕的固定位置，送入训练好的YOLOv5网络，来识别当前AI玩家的手牌和三张底牌。核心代码如下：
def find_three_landlord_cards(self, pos):
three_landlord_cards_real = ""
img = pyautogui.screenshot(region=pos)
three_landlord_cards_real=detect_cards(img)
return three_landlord_cards_real
def find_my_cards(self, pos):
user_hand_cards_real = ""
img = pyautogui.screenshot(region=pos)
# img2 = color.rgb2gray(img)
user_hand_cards_real=detect_cards(img)
return user_hand_cards_real
def detect_cards(img):
path="datas\cards.png"
img.save(path)
raw_cards=detect(source=path)
replace_cards=[replace_num[i] if i in replace_num else i for i in raw_cards]
list_cards = sorted(replace_cards, key=lambda x: ranks_value[x])
cards=("".join(list_cards))
return cards
def detect()
# Initialize
set_logging()
# device = select_device(device)
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")#若有gpu可用则用gpu
# half &= device.type != 'cpu' # half precision only supported on CUDA
w = weights[0] if isinstance(weights, list) else weights
classify, pt, onnx = False, w.endswith('.pt'), w.endswith('.onnx') # inference type
stride, names = 64, [f'class{i}' for i in range(1000)] # assign defaults
if pt:
model = attempt_load(weights, map_location=device) # load FP32 model
stride = int(model.stride.max()) # model stride
names = model.module.names if hasattr(model, 'module') else model.names # get class names
if half:
model.half() # to FP16
if classify: # second-stage classifier
modelc = load_classifier(name='resnet50', n=2) # initialize
modelc.load_state_dict(torch.load('resnet50.pt', map_location=device)['model']).to(device).eval()
elif onnx:
check_requirements(('onnx', 'onnxruntime'))
import onnxruntime
session = onnxruntime.InferenceSession(w, None)
dataset = LoadImages(source, img_size=imgsz, stride=stride)
bs = 1 # batch_size
vid_path, vid_writer = [None] * bs, [None] * bs
t0 = time.time()
imgsz = check_img_size(imgsz, s=stride) # check image size
for path, img, im0s, vid_cap in dataset:
if pt:
img = torch.from_numpy(img).to(device)
img = img.half() if half else img.float() # uint8 to fp16/32
elif onnx:
img = img.astype('float32')
img /= 255.0 # 0 - 255 to 0.0 - 1.0
if len(img.shape) == 3:
img = img[None] # expand for batch dim
# Inference
t1 = time_sync()
if pt:
pred = model(img, augment=augment, visualize=visualize)[0]
elif onnx:
pred = torch.tensor(session.run([session.get_outputs()[0].name], {session.get_inputs()[0].name: img}))
# NMS
pred = non_max_suppression(pred, conf_thres, iou_thres, classes, agnostic_nms, max_det=max_det)
t2 = time_sync()
# Second-stage classifier (optional)
if classify:
pred = apply_classifier(pred, modelc, img, im0s)
# Process predictions
for i, det in enumerate(pred): # detections per image
p, s, im0, frame = path, '', im0s.copy(), getattr(dataset, 'frame', 0)
p = Path(p) # to Path
gn = torch.tensor(im0.shape)[[1, 0, 1, 0]] # normalization gain whwh
imc = im0.copy() if save_crop else im0 # for save_crop
if len(det):
# Rescale boxes from img_size to im0 size
det[:, :4] = scale_coords(img.shape[2:], det[:, :4], im0.shape).round()
lists=[]
# Print results
for c in det[:, -1].unique():
n = (det[:, -1] == c).sum() # detections per class
for i in range(n):
lists.append(names[int(c)])
return lists效果如下所示：
地主、地主上家、地主下家：
同理我们可以根据游戏屏幕截图，识别地主的图标，确认地主角色。核心代码如下：
# 查找地主角色
def find_landlord(self, landlord_flag_pos):
for pos in landlord_flag_pos:
result = pyautogui.locateOnScreen('pics/landlord_words.png', region=pos, confidence=self.LandlordFlagConfidence)
if result is not None:
return landlord_flag_pos.index(pos)
return None
效果如下所示：
这样我们就可以得到玩家AI手牌，其他玩家手牌（预测），地主三张底牌，三者角色关系，出牌顺序。
3. AI出牌方案输出
这一部分，我们依然是基于
Dragon少年
所用到的DouZero开源的AI斗地主了。DouZero项目地
https://
github.com/kwai/DouZero
。我们需要将该开源项目下载并导入项目中。
创建一个AI玩家角色，初始化游戏环境，加载模型，进行每轮的出牌判断，控制一局游戏流程的进行和结束。
但在这过程中需要判断斗地主中其他二人的出牌情况，包括 等待 ， 不出 或者 出牌 。所以在这一阶段，我们训练了 ResNet50 网络，将对应区域的图像送入网络中进行三种状态的判断。如果是出牌的话，那么再将对应区域的图像送入 YOLOv5 网络进行牌型识别。
出牌、不出、等待状态：
同理我们可以根据游戏屏幕截图，识别其他人出牌区域，判断其状态 。核心代码如下：
labels=['等待','出牌','不出']
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")#若有gpu可用则用gpu
model = models.resnet50(pretrained=False)
fc_inputs = model.fc.in_features
model.fc = nn.Sequential(
nn.Linear(fc_inputs, 256),
nn.ReLU(),
nn.Dropout(0.4),
nn.Linear(256, config.NUM_CLASSES),
nn.LogSoftmax(dim=1)
pthfile=config.TRAINED_BEST_MODEL
checkpoint = torch.load(pthfile)
model.load_state_dict(checkpoint['model'])
# optimizer.load_state_dict(checkpoint['optimizer'])
start_epoch = checkpoint['epoch']
# test(model, test_load)
model.to(device).eval()
def detect_pass(pos):
img = pyautogui.screenshot(region=pos)
# path="datas\state.png"
time =datetime.datetime.now().strftime(TIMESTAMP)
path="datas\states\state"+'_'+time+'.png'
img.save(path)
# path="datas/states/state_20210807160852.png"
src = cv2.imread(path) # aeroplane.jpg
image = cv2.resize(src, (224, 224))
image = np.float32(image) / 255.0
image[:,:,] -= (np.float32(0.485), np.float32(0.456), np.float32(0.406))
image[:,:,] /= (np.float32(0.229), np.float32(0.224), np.float32(0.225))
image = image.transpose((2, 0, 1))
input_x = torch.from_numpy(image).unsqueeze(0).to(device)
pred = model(input_x)
pred_index = torch.argmax(pred, 1).cpu().detach().numpy()
pred_index=int(pred_index)
print(pred_index)
return pred_index效果如下所示：
到这里，整个AI斗地主出牌流程基本已经完成了。
三、出牌器用法
按照上述过程，这款AI出牌器已经制作完成了。后面应该如何使用？
如果不想研究源码，只想使用这款AI斗地主出牌器，验证下效果，那么下面开始介绍如何配置环境并运行这个AI出牌器。
1. 环境配置
首先我们需要安装这些第三方库，配置相关环境，如下所示：
torch==1.9.0
GitPython==3.0.5
gitdb2==2.0.6
PyAutoGUI==0.9.50
PyQt5==5.13.0
PyQt5-sip==12.8.1
Pillow>=5.2.0
opencv-python