“一心”——智能助手APP

基于云服务器对多App应用页面信息同步实时获取智能分析，并与App页面进行交互操作技术及系统

 

1.一种设计系统，其特征在于，包括：可以运行App的云系统和客户端，其中云系统设置于网络侧，运行App的页面信息实时分析、整理传送至客户端，用户利用客户端与运行在云系统的App进行交互。

所述App包括但不限于安卓应用、IOS应用、Windows应用、Mac应用。云系统部署于云服务器上，系统包括但不限于安卓系统、IOS系统、Windows系统、Mac系统、Linux等可以运行App的系统，客户端包括但不限于手机、电脑等可显示设备，用于接收云系统运行的App页面信息及基于页面信息处理后的信息。

2、运行App的云系统的设计方法，其特征在于置于服务器端的云系统可以同时运行多个App，并保证用户在App应用中一直是登陆在线状态，可以定时刷新并监控各App页面信息，客户端用户发送点击、移动、输入等操作命令，多个同时运行的App可以同时响应，并对命令进行执行反馈。

3、获取App的页面信息的设计方法，其特征在于对正在运行的App页面进行截图、录制等操作，也可对页面进行直接读取。

4、分析整理App的页面信息的设计方法，其特征在于利用基于语言模型的大数据人工智能对其进行分析整理，所谓基于语言模型的大数据人工智能主要有ChatGPT、文心一言等，本文档都简称为智能AI。

5、用户对各App进行操作交互的设计方法，其特征在于当运行的App的页面信息经过整理后发给用户，用户点击显示界面，大数据智能AI程序根据用户点击的信息，根据信息的内容和位置迅速定位到该信息来源于哪个App的哪个位置，并根据用户的操作实时对该信息所属App内该处信息进行操作。

 

背景技术

目前用户想要获取互联网信息，可以通过百度、谷歌等搜索引擎，但由于国内各个互联网公司都有自己的App，百度、谷歌等搜索引擎无法获取App内的信息。用户需要下载各种App，从而获得该App内的信息。用户需要大量的操作与时间与这些App进行交互，同时每个App都需要用户管理自己的账号密码，这无疑耗费了用户额外的精力，同时大量的App占用了手机大部分内存，导致手机垃圾数据变多、运行缓慢。随着云技术和5G的发展，在云服务器运行App，实时监控所有正在运行的App的页面。而智能AI的快速发展，可以利用大数据AI模型对所有页面数据实时解析，并依靠5G的网速，可以快速将解析后的页面信息呈现给客户端的用户。5G的网速可以大幅减少信息延迟，尽管App是在云服务器上，但仍能让用户有在客户端运行App的感觉。解析后的页面信息会更集中，更有效，更易于用户理解。用户在客户端的操作，传输至云服务器端中的智能AI，智能AI再依据传过来的操作指令，对正在云服务器运行的App进行操作。依靠该系统，未来的手机只需要一个与云服务器交互的智能AI程序，不再需要安装其余繁多的App应用，用户也不需要花费时间在各种App的繁杂的操作上。试想以下场景，当你对手机内的智能AI说“今天微博有哪些新鲜事”， 智能AI立即对这句话进行解析，随后操控云服务器内的监控程序，监控程序立马锁定微博页面，将微博页面数据传给智能AI，智能AI立即解析页面数据，将热点内容筛选出来，随后就对用户说“今天微博上有不少趣事……”。手机厂商的精力将会放在手机的硬件上，例如更好的照相机、更清晰的显示器。

本发明基于云服务器，所以需要一个云服务器，该云服务器支持通信连接，基本配置要满足流畅运行操作系统。在该服务器中部署操作系统，操作系统包括但不限于安卓系统、IOS系统、Windows系统、Mac系统、Linux等。以安卓系统为例，在该系统上安装所需要的App应用，运行各个App，每个App都有各自的页面，保持所有App运行并停留在登陆界面。若一个服务器无法满足多个App同时运行，可提升服务器的硬件性能，也可配置多台服务器，确保所有App都能同时运行并有独自的页面。

再部署监控程序，监控程序用于监控各个运行App的页面，该监控程序可以对App实现简单的操作例如点击App页面、滑动App页面、对App页面进行截图保存为图片格式、对App页面进行录制保存为视频格式。监控程序同时可以将图片，视频等文件传给服务器中的智能AI。

部署智能AI，获取智能AI的api接口，可将用户语音、监控程序获取的页面信息通过api接口传递给AI，AI将会立即解析并返回相应信息。

 

1、系统功能实现

1.1、云服务器安装云操作系统的技术实现，云服务器可由云服务商提供，也可自行搭建。云服务器可以进行网络连接，其配置也可满足操作系统的运行。云服务器准备妥当后即可安装操作系统，操作系统需能安装App应用，并流畅运行。可以一个云服务器部署一个或多个操作系统，具体取决于云服务器的硬件配置。

1.2、云操作系统显示所有App页面的技术实现，将App应用安装至操作系统中，运行App应用，进入App页面，保持App运行状态，一直显示App页面。将所有需要的APP都运行显示页面。为了能保证每个App都能正常运行显示，可安排一个或多个服务器部署一个或多个操作系统，每个操作系统负责运行一个或多个App，多个App页面可进行排列，形成矩阵，如附图图一。

1.3、智能AI解析用户语音的技术实现，用户允许ai获取客户端音频输入输出设备权限，用户语音通过设备音频输入传递给智能AI的API接口，智能AI通过API接口获取语音信息并进行解析，提取语音内容中的关键词，根据关键词生成响应的操作指令，并将操作指令传递给监控程序。

1.4、监控程序监控所有运行App页面的技术实现，所有的App都运行在云操作系统上面。监控程序也可以部署在云操作系统中，也可直接部署在云服务器上。目前主流的App页面刷新都是通过用户在该手机App页面进行下滑操作实现。监控程序可以对运行在云系统的App页面进行下滑操作，定时下滑实现刷新，例如可以设定0.001秒刷新一次，也可以3秒刷新一次，每刷新一次对App进行截屏操作，通过比较两次截屏内容判断App页面是否产生新内容。对某些不需要刷新操作的App页面，监控程序只需要定时截图，截屏操作的频率可自行设定，例如可以0.001秒截取一次，也可以3秒截取一次。通过这种操作可以实现对各个运行App页面进行实时监控。

1.5、监控程序对App页面元素进行定位技术实现，当监控程序将云系统运行的App页面截取并传至用户客户端时，用户会对呈现的页面进行点击交互操作，记录用户点击页面位置，例如用户用手机接收页面，用户对手机屏幕进行触摸，可以建立坐标系，记录用户点击页面时的横纵坐标，考虑到用户显示设备大小不一与云系统中App页面大小不一致，所以将用户点击页面的位置的相对横纵坐标传给监控程序，监控程序获取坐标，对云系统中App页面该处进行与用户相同的操作。

1.6、智能AI对App页面进行解析的技术实现，监控程序将截图通过API接口传给智能AI，智能AI对传入的图片进行解析，获取页面关键信息。

 

2、系统功能实现

2.1、搜索功能实现，用户通过输入设备输入需要搜索的信息，监控程序获取到搜索信息与搜索指令，搜索指令会定位到各App页面上的搜索框，填入搜索信息，点击各App页面上搜索按键，当各App搜索结束后，截取App页面，对各个App页面进行编号，再对App页面内每一行进行编号，将各个App页面信息进行去重整合处理后合成一个页面，再将页面发送至客户端呈现给用户，用户浏览返回的页面，点击感兴趣的内容，页面上每条数据都有页面编号和行编号，根据页面编号和行编号可以快速确定用户点击的内容来源于哪个App页面的哪一行，监控程序迅速定位到该行，并复刻用户点击操作，App跳转到另一个页面，监控程序再将该页面返回至客服端呈现给用户，后续可不断重复该过程。引入智能AI可有效解析用户的输入信息，例如用户对某个信息进行描述，智能AI可有效分析出关键点，增加搜索的准确性。智能AI也可分析监控程序整理后的页面，提取页面有效关键信息，剔除无用信息例如广告、虚假信息、重复信息等，极大得提升了用户体验。

2.2、评论功能的实现，用户浏览社交类软件，会发表某些言论，一般涉及日常生活、对某事某人的看法、自身的心得。当用户通过客户端输入设备输入该类信息时，智能AI会对这些言论进行润色，使用户的表达更加准确。针对用户的某些具有攻击性的言论，例如指责、谩骂，容易催生网络暴力，智能AI对这类言论进行优化让其既能表达用户的意思，又降低攻击性。

2.3、账号信息管理功能的实现，用户每个下载使用的App都需要进行注册，这导致用户有大量的账号密码，当用户在云系统运行的App第一次进行账号注册时，监控程序会记住用户输入的账号、密码，并加密保存至服务器或用户客户端。智能AI会协助用户设定更加复杂难以破解的密码，提升用户账号安全性。

2.4、通过验证码验证功能的实现，用户登录App时会遇到各种各样的验证码，一类是短信验证码，一类是图片验证码、滑动验证码。针对短信验证码，若云系统可以接收到运营商的短信，那监控程序就会自动解析收到的短息，并将验证码填入验证输入框中完成验证。针对非短信验证码，监控程序就会将需要验证的App页面返回给客户端，客户端用户会点击、滑动，将用户点击、滑动等坐标传给监控程序，监控程序根据相对坐标在需要验证的App页面进行与用户相同的操作，从而完成验证。引入智能AI，对某些非短信验证码，例如图形、滑动验证，智能AI会对该验证图片进行分析，生成操作指令，控制监控程序自动完成点击、滑动操作。

2.5、垃圾信息和骚扰电话拦截功能的实现，当云系统接入运行商，可以接收短信和接听电话。用户可以设定垃圾短息和骚扰电话的种类，例如将各App的推销短信设为垃圾短信，将推销电话设为骚扰电话，智能AI会对接收到的短息内容进行解析，若内容符合用户对垃圾短信的设定，则不会通知监控程序，将该信息推送至客户端用户。同样若来电显示号码，智能AI将会号码进行解析，若符合骚扰电话设定，则控制监控程序，自动挂断电话。同时智能AI接入公安反诈系统，将陌生来电号码传入公安反诈系统，若公安反诈系统识别为诈骗号码，则自行挂断电话。