今天要讲的这个技术方案,能用到人会觉得真有用,用不到的人会觉得真没用。这个方案就是采用python实现将安卓手机屏幕上的部分内容转为文字。效果如下:
就算是包含公式或者表格也可以识别:
有类似需求的人,自然能看到商机。比如采集APP排名,或者自动做题等等。不过,今天我仅仅从技术上说是如何实现的。
要想实现这个功能,首先要获得屏幕上的内容。那么,我们肯定想到的是截屏。现在智能手机基本上都有一个截屏功能。比如在华为手机上,敲击两下屏幕就能取得当前图像。
如果用代码去实现,只需一行命令,手机系统截屏也是这样做的:
adb shell screencap -p /sdcard/screenshot.png
这行命令实现了截取手机当前屏幕,并将图片保存,文件名为screenshot.png
。而python调用命令的代码更简单,仅仅就是os.system("命令语句")
。
不过,想要执行adb
命令,需要一些工具支持。因此得去如下地址下载platform-tools
这套工具:
https://developer.android.google.cn/tools/releases/platform-tools?hl=zh-cn
打开页面之后,选择适合自己系统的内容下载。
下载解压之后,可以先测试一下。将安卓手机插上数据线,打开允许USB调试模式。然后进入解压目录,我的是放在C盘根目录下,运行adb devices
就可以看到已连接的手机情况。
上面的情况表示有一部设备已连接。
有了这个环境,那么我们通过python
代码就可以轻松获取截图了。
# 执行截屏并保存命令
os.system("C:/platform-tools/adb shell screencap -p /sdcard/screenshot.png")
# 将保存的截图从手机复制到电脑中
os.system("C:/platform-tools/adb pull /sdcard/screenshot.png "+img_path)
两句代码,一句是截屏保存,另一个句是拷贝截图到电脑。img_path是电脑的存放图片的路径。我设置的是在项目根目录下的img
文件夹下,文件名为时间戳。
目前获得的图片是手机的全屏,当然这个也能识别。但是,现实中我们希望能再次编辑。比如仅仅识别某一部分。
因此,我们需要用python
的tkinter
写一个界面操作。当鼠标按下时记录起点,鼠标移动时绘制路径,鼠标抬起时记录终点并裁剪图片。
以下是界面主框架代码:
if __name__ == '__main__':
# 鼠标左键按下时x, y坐标
left_mouse_down_x, left_mouse_down_y = 0, 0
sole_rectangle = None # 画出的矩形
target = f"{BASE_DIR}{os.sep}img"
w_flag = True
clip_img_path = ""
while w_flag:
win = tk.Tk()
win.title("手机截屏转文字")
frame = tk.Frame()
frame.pack()
button = tk.Button(frame, text = "截屏", command=win.destroy)
button.pack(side="left", padx=10, pady=8)
button = tk.Button(frame, text = "识别", command=ocr)
button.pack(side="left", padx=10, pady=8)
button = tk.Button(frame, text = "退出", command=exit)
button.pack(side="left", padx=50, pady=8)
image = Image.open(img_path)
image_x, image_y = image.size
img = ImageTk.PhotoImage(image)
canvas = tk.Canvas(win, width=image_x, height=image_y, bg='white')
i = canvas.create_image(0, 0, anchor='nw', image=img)
canvas.pack(padx=10, pady=10)
canvas.bind('<Button-1>', left_mouse_down) # 鼠标左键按下
canvas.bind('<ButtonRelease-1>', left_mouse_up) # 鼠标左键释放
canvas.bind('<Button-3>', right_mouse_down) # 鼠标右键按下
canvas.bind('<ButtonRelease-3>', right_mouse_up) # 鼠标右键释放
canvas.bind('<B1-Motion>', moving_mouse) # 鼠标左键按下并移动
win.mainloop()
下面是鼠标的各类操作:
# 鼠标左键按下事件
def left_mouse_down(event):
global left_mouse_down_x, left_mouse_down_y
# 记录按下的坐标,赋值给全局变量
left_mouse_down_x = event.x
left_mouse_down_y = event.y
# 鼠标左键按下并移动
def moving_mouse(event):
global sole_rectangle # 绘制的矩形
# 鼠标按下的x,y
global left_mouse_down_x, left_mouse_down_y
moving_mouse_x = event.x
moving_mouse_y = event.y
# 如果原来画过矩形,删除前一个矩形,绘制出新的
if sole_rectangle is not None:
canvas.delete(sole_rectangle)
sole_rectangle = canvas.create_rectangle(left_mouse_down_x, left_mouse_down_y, moving_mouse_x,moving_mouse_y, outline='red')
# 鼠标左键抬起事件
def left_mouse_up(event):
global clip_img_path
# 记录抬起时的坐标,鼠标左键抬起时x,y坐标
left_mouse_up_x = event.x
left_mouse_up_y = event.y
# 通过抬起的点减去按下的点,比划矩形,计算出宽和高
width = left_mouse_up_x - left_mouse_down_x
height = left_mouse_up_y - left_mouse_down_y
# 如果宽高太小,有可能是点击了一下,或者想放弃这次操作
if width < 20 or height < 20:
print("size is to small")
return
# 保存文件
corp_image = image.crop((left_mouse_down_x, left_mouse_down_y, left_mouse_up_x, left_mouse_up_y))
corp_image.save(clip_img_path)
这样我们就实现了一个从截屏上画图裁剪的功能:
下一步要做的,就是将裁剪选取的小图片交给OCR服务去识别。
这OCR该如何选型呢?是该自研还是调用第三方?
需要看需求!如果我们的OCR识别在一百个字符以内,而且自己拥有数据,建议自研。因此这类小场景,自研的话成本不高,而且准确率会比用第三方还要高。就比如LED数字屏幕的识别,或者水表、电表仪器的识别,这类适合自己做。
但是,如果你想要识别大场景,就比如汉字识别。这里面涉及众多标点符号、繁简字体,它会有上万个字符。这时我们很难凑足那么多数据。而且近似字符很多,需要做矫正,也有技术难度。因此,选用第三方的服务,反而成本更低。
我们这次要识别的内容,不但包含中英文、甚至还有公式。那这必须要使用第三方。第三方OCR服务多了去了,基本上每家都有,我们随便选一家就好。就比如阿里的OCR。
选哪一个场景也看你的需求。有通用的识别,也有专用的识别。因为我有识别文字和公式的需求,因此选择教育场景里的题目识别。
关于题目识别的介绍如下:
https://duguang.aliyun.com/experience?type=edu&subtype=question_ocr#intro
阿里的文档还是挺好的,提供了多种对接方式。不过,还是需要先开通服务才行。每个月有200次免费额度。
我开通了。
然后创建AccessKey。
拿着AccessKey就可以调用服务了。关于调用的代码,官方也提供了详细的文档和示例:
https://next.api.aliyun.com/api/ocr-api/2021-07-07/RecognizeEduQuestionOcr?sdkStyle=dara&tab=DEMO&lang=PYTHON
我们只需要将key换成自己的就行。调用后,接口会返回识别到的内容。拿到识别的内容,显示出来就可以了。
总结起来,就两步。第一步截屏保存,第二步识别显示。
至于作用嘛,就是开头说的。用到的会说有用,用不到的确实没用。因为这点功能,是很多扫描软件附带的能力。
如果咱们只是偶尔用几次,那么随便找一个软件更合适。但是如果我们经常用,又有个性化需求,需要批量操作,或者后续操作想自动化,那么自己开发会有更多可控制的地方。
最后再看一下综合效果。
对通知公告类的识别
对课程直播类的识别