Android(安卓)模拟按键H5点击方案探究

最近在实现 Android 辅助功能模拟按键点击功能时，将遇到的问题和思路做下记录。
首先，对于 Android 利用无障碍功能模拟点击事件的基础实现原理和方案以及实际应用就不做过多说明了，相信研究过这块知识的同学都有一个基础的了解了。但是在各位实践过程中肯定遇到了一个很难缠的问题，怎样对H5页面布局分析处理及点击响应？

将问题细化一下分步解决：1、怎样解析H5页面查找到指定元素？2、怎样在H5页面中查找目标元素的可点击元素？3、怎样点击H5页面中的元素？

在查找各种资料以及实践后发现，前两个问题都能查找到可行方案也不是本文的重点，但是第3个问题就很少有相关解答了。原生API接口并不支持调用H5页面组件的OnClick事件，也就是点击无效。有人可能会想到利用 adb 命令发送全局点击事件，当年火了一段时间的“跳一跳”辅助就是利用adb命令和python图像识别做出来的。但这种方案用诸多缺点，adb两次点击之间有最短间隔，1s还是多少的具体记不太清了。手机需要和 pc 保持 adb 连接。并不通用不能实现我们远大的抱负啊！

看到网上案例利用模拟点击实现“支付宝-蚂蚁森林”案例，只可采集自己的能量。自己想实现的“钉钉”自动打卡功能也卡在H5页面的点击上面。这个问题是否就此打住没有办法了，肯定不能啊！想一想像 AirDroid 一样的远程控制软件，功能强大，好用方便无需连接无需Root，控制手机，说明一个什么问题！！！实现方案肯定是有的只是我们还没找到而已。

OK，有了这个定心丸我们就去研究一下Android的远程控制原理，找到一篇很重要的文章，感谢这篇文章的作者。连接：https://blog.csdn.net/qingchunweiliang/article/details/69210431。往下看之前请先看一下上面的文章连接。

我们来分析一下文章中的原理，没有开发一个独立的APK做远程连接的客户端，却生成了一个Dex文件，结合AirDroid软件的免Root方案，好像发现了一点东西哦。

通过adb shell 命令启动一个程序 A 运行在后台，因为程序A是shell启动的，所以拥有和shell一样的权限。这个程序 A 做了两件事，1、建立了一个LocalServerSocket连接。2、利用双亲委派机制拿到InputManager实例实现点击，加上shell的系统权限实现全局点击。

这个程序A很显然就是我们需要的东西。所以搬到我们的应用中去做，在我们自己的app里面建立LocketSocket客户端，运行发现Permission Denied,又是一顿折腾发现原因是我们的App和程序A的权限组是不同的，连接被拒。失败，开始怀疑方案可行性，但是不对啊，别人能做的肯定是可行的，继续折腾。查看LocalSocket和Socket的区别，换Socket试试，nice，居然这次没拒，socket是建立起来了，说明什么？我们的基本流程已经OK了啊！！！

然后就是不断的折腾，期间还遇到很多问题好在都有解决方案，就提一下吧。

文章中app_process建立的程序随着adb退出就死了，解决方案，放程序在后台运行，原命令需要调整 "nohup app_process .... &"

然后细节优化部分就不说了，以上方案能实现远程控制和全局模拟点击功能，唯一需要的额外工作是需要连接电脑用ADB跑一下让程序A运行起来，只要手机不重启，就会一直在后台等待Socket连接响应动作。

至于能做什么事情，我觉得意义非常重大，大家就发挥自己的想象吧。代码就不贴了，链接文章的作者有关键代码。有其他问题可以私我。

更多相关文章

随机推荐