前言

最近在玩兒公主連結(jié)，之前也玩兒過(guò)陰陽(yáng)師這樣的游戲，這樣的游戲都會(huì)有個(gè)初始號(hào)這樣的東西，或者說(shuō)是可以肝的東西。

當(dāng)然，作為一名程序員，肝這種東西完全可以用寫(xiě)代碼的方式幫我們自動(dòng)完成。游戲腳本其實(shí)并不高深，最簡(jiǎn)單的體驗(yàn)方法就是下載一個(gè)Airtest了，直接截幾個(gè)圖片，寫(xiě)幾層代碼，就可以按照自己的邏輯玩兒游戲了。

當(dāng)然，本篇文章不是要講Airtest這個(gè)怎么用，而是用原始的python+opencv來(lái)實(shí)現(xiàn)上面的操作。

這兩天我寫(xiě)了一個(gè)公主連結(jié)刷初始號(hào)的程序，也不能算寫(xiě)游戲腳本的老手，這篇文章主要是分享一些基礎(chǔ)的技術(shù)和使用上的心得吧。

準(zhǔn)備工作

首先，我們要完成以下準(zhǔn)備。

安卓設(shè)備一個(gè)：模擬器或者真機(jī)都可以。

安裝ADB，并添加到系統(tǒng)的PATH里：adb是用來(lái)

安裝tesseract-ocr，并添加到系統(tǒng)的PATH里：幫助我們實(shí)現(xiàn)簡(jiǎn)單的字符識(shí)別

安裝python3.7以上的版本

這里adb和tesseract我放在百度網(wǎng)盤(pán)里了，里面順便放了一個(gè)錄制的效果視頻。

鏈接：pan.baidu.com/s/1edTPu2o7… 提取碼：33aw

python庫(kù)安裝

pipinstall pillow pytesseract opencv-python復(fù)制代碼

除此以外，如果有需要可以安裝uiautomator2，這篇文章就不涉及這塊知識(shí)了。

使用adb獲取安卓設(shè)備

這里我們主要是涉及到單個(gè)安卓設(shè)備的ADB連接操作，首先我們打開(kāi)模擬器。

然后我們調(diào)用adb devices來(lái)獲取當(dāng)前的安卓設(shè)備，我這里是一個(gè)模擬器。

接下來(lái)可以調(diào)用adb shell測(cè)試一下是否能進(jìn)入到安卓設(shè)備的shell環(huán)境下，確認(rèn)可以輸入exit退出即可。

如果有的時(shí)候進(jìn)不了shell，可以先調(diào)用一下adb kill-server，然后再調(diào)用adb devices。

可能常用的ADB Shell命令

接下來(lái)是一些ADB的命令操作。通過(guò)adb命令，我們可以用python來(lái)操作的安卓設(shè)備。

屏幕截圖

最常見(jiàn)的操作就是截圖了，先調(diào)用screencap截圖放到安卓設(shè)備里，然后再把截圖下拉到電腦。

def take_screenshot():
    os.system("adb shell screencap -p /data/screenshot.png")
    os.system("adb pull /data/screenshot.png ./tmp.png")

下拉文件

下拉文件就是剛剛那個(gè)adb pull了，以公主連結(jié)為例，以下代碼可以導(dǎo)出賬號(hào)信息的xml，以后通過(guò)xml就可以登錄了。

os.system(f"adb pull /data/data/tw.sonet.princessconnect/shared_prefs/tw.sonet.princessconnect.v2.playerprefs.xml ./user_info.xml")

上傳文件

有了下拉自然就有上傳了，通過(guò)adb push即可完成。以公主連結(jié)為例，以下代碼可以完成賬號(hào)的切換。

# 切換賬號(hào)1
os.system("adb push ./user_info1.xml /data/data/tw.sonet.princessconnect/shared_prefs/tw.sonet.princessconnect.v2.playerprefs.xml")
# 切換賬號(hào)2
os.system("adb push ./user_info2.xml /data/data/tw.sonet.princessconnect/shared_prefs/tw.sonet.princessconnect.v2.playerprefs.xml")

點(diǎn)擊屏幕某個(gè)位置

def adb_click(center, offset=(0, 0)):
    (x, y) = center
    x += offset[0]
    y += offset[1]
    os.system(f"adb shell input tap {x} {y}")

輸入文字

text = "YourPassword"
os.system(f"adb shell input text {text}")

刪除字符

有的時(shí)候輸入框會(huì)有輸入的緩存，我們需要?jiǎng)h除字符。

# 刪除10個(gè)字符
for i in range(10):
    os.system("adb shell input keyevent 67")

查詢(xún)當(dāng)前運(yùn)行的包名和Activity

通過(guò)以下代碼，可以查詢(xún)當(dāng)前運(yùn)行的程序的Activity，也可以順便查包名。

xxxxxxxxxx

adb shell dumpsys activity activities

停止某個(gè)應(yīng)用

有時(shí)候會(huì)需要停止某個(gè)應(yīng)用，需要提供應(yīng)用的包名。

adb shell am force-stop tw.sonet.princessconnect

開(kāi)啟某個(gè)應(yīng)用

開(kāi)啟某個(gè)應(yīng)用需要提供包名以及Activity。

adb shell am start -W -n tw.sonet.princessconnect/jp.co.cygames.activity.OverrideUnityActivity

圖像操作

對(duì)于圖像的操作第一就是圖像查找了，比如說(shuō)像Airtest提供的這種，無(wú)非就是判斷某個(gè)圖像在不在截屏中，在的話(huà)在什么位置。

除此之外還需要一些摳圖，比如說(shuō)我們想獲取賬號(hào)的id，賬號(hào)的等級(jí)，需要截取出一部分圖片然后進(jìn)行OCR操作。

圖像查找

圖像查找其實(shí)就是先拿到兩張圖片，然后調(diào)用cv2.matchTemplate方法來(lái)查找是否存在以及位置，這里匹配是一個(gè)相對(duì)模糊的匹配，會(huì)有一個(gè)相似度的概率，最高是1。我們?cè)O(shè)定一個(gè)閾值來(lái)判斷模板是否在截屏里即可。

這里截屏如下，文件名為tmp.png：

模板如下：

代碼如下：

import cv2
def image_to_position(screen, template):
    image_x, image_y = template.shape[:2]
    result = cv2.matchTemplate(screen, template, cv2.TM_CCOEFF_NORMED)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
    print("prob:", max_val)
    if max_val > 0.98:
        global center
        center = (max_loc[0] + image_y / 2, max_loc[1] + image_x / 2)
        return center
    else:
        return False
if __name__ == "__main__":
    screen = cv2.imread('tmp.png')
    template =  cv2.imread('Xuandan.png')
    print(image_to_position(screen, template))

運(yùn)行上述代碼后，可以看到模板匹配出來(lái)的概率為0.9977，位置為(1165, 693)，對(duì)于一張圖片，左上角為原點(diǎn)，因?yàn)槲业姆直媛适?280 * 720，那么右下角的坐標(biāo)就是(1280, 720)。可以看到我們這個(gè)選單其實(shí)就是剛好在右下角的位置。

如何快速裁剪模板？（win10）

游戲腳本其實(shí)并不是代碼很難寫(xiě)，而是需要截很多的圖，這些圖要保證分辨率和原始一樣。我發(fā)現(xiàn)在win10如果用畫(huà)圖打開(kāi)圖片

可以保證使用QQ截屏出來(lái)的分辨率，和圖片本身的分辨率一樣。

這個(gè)時(shí)候直接用qq截屏出來(lái)的模板即可直接用于識(shí)別。

圖像裁剪

接下來(lái)就是有時(shí)候需要裁剪一些圖像了，當(dāng)然我們的模板圖片也可以通過(guò)裁剪圖片的方式得到，這樣的模板圖片是最準(zhǔn)的。

裁剪其實(shí)就是需要裁剪的位置，以及需要的高度和寬度，說(shuō)白了就是一篇長(zhǎng)方形的區(qū)域，下面的代碼使用PIL庫(kù)實(shí)現(xiàn)。

from PIL import Image
def crop_screenshot(img_file, pos_x, pos_y, width, height, out_file):
    img = Image.open(img_file)
    region = (pos_x, pos_y, pos_x + width, pos_y + height)
    cropImg = img.crop(region)
    cropImg.save(out_file)
    print("exported:", out_file)
if __name__ == "__main__":
    crop_screenshot("tmp.png", 817,556, 190, 24, "test_id.png")

上面的代碼以截取玩家的id為例。

運(yùn)行代碼后，得到截圖如下：

簡(jiǎn)單的OCR

得到了以上的圖片信息后就是進(jìn)行OCR了，也就是光學(xué)字符識(shí)別。這里代碼非常簡(jiǎn)單，只要調(diào)用API即可。

from PIL import Image
import pytesseract
image = Image.open('test_id.png')
content = pytesseract.image_to_string(image)   # 識(shí)別圖片
print(content)

不過(guò)需要注意的一點(diǎn)就是pytesseract識(shí)別出來(lái)的結(jié)果會(huì)有空格符，換行符這樣的符號(hào)，真正要用的時(shí)候進(jìn)行一些字符的過(guò)濾即可。

The End

這篇文章到這里就結(jié)束了，主要還是介紹一些ADB以及圖像相關(guān)的基礎(chǔ)操作。謝謝大家的觀(guān)看。