摸鱼新境界,用ChatGPT搞个机器人替自己干活
大家好,我是东哥,你身边放心的香港保险顾问。
这是我的第641篇原创。
上篇文章,我们探讨了要不要介入当前大热点小红书,去分一杯流量的羹。
所有的赚钱,都是内行人赚外行人的钱。
把自己的长处,打磨成一米宽、一万米深,形成绝对优势。
然后用这个绝对优势,给别人创造价值,进而在增量市场上,赚更高级的钱。
把自己的基本盘丢一边,跑到别人的地盘上抢食,凭什么?
梁静茹也没这么大的勇气。
今天我们继续聊AI。
东哥这段时间,在ChatGPT的帮助下,做了一个机器人,让它干些数据收集的工作。
感觉很爽。
1
数据获取传统的方式是用爬虫。
但实际上,爬虫在现代网站上已经越来越不好用了。
一来是各网站的反爬系统非常强大。
为了获取一点数据,和专业的反爬工具和反爬团队斗智斗勇,不值。
二来现代网页有很多动态展示,传统爬虫没有办法处理这些问题。
怎么办?
换思路。
反爬工具是捕获爬虫特征,如果我们不用爬虫,而是模拟人的操作,大部分反爬工具就不好用了。
就是传说中的机器人啊哈哈。
最简单的,是用一些模拟鼠标键盘的工具,比如pyautogui。
这是什么东东?
pyautogui是一个简单、强大的 Python 库,用于模拟鼠标和键盘操作。
常用于自动化任务、图形化用户界面测试以及一些简单的脚本化工作。
简单的来说,就是用Python控制鼠标和键盘,进而用代码模拟人的操作。
比如可以移动鼠标到指定位置,点击、双击、右键点击,以及滚动鼠标滚轮。
再比如可以键盘控制,输入文本、按下、释放单个或多个键,以及模拟快捷键操作。
它主要能用来做什么?
典型的,可以自动化任务。
比如填写表单、点击按钮,或者做一些自动化重复性工作,例如登录系统、运行测试。
也有人用来做游戏脚本,模拟点击和操作。
哈,啥都能和玩儿挂上钩。
pyautogui的问题是,功能太单一。
比如想从网页上获取数据,就必须对网页做一些交互,比如点击、复制之类。
就会依赖于点击的位置。
所以它只能是针对特定问题的一次性解决方案,不具备通用性。
怎么办?
2
既然想获取的内容在网页上,那我们就用专门针对网页的库。
比如selenium。
什么是selenium?
Selenium 是一个广泛使用的开源工具,用于自动化 Web 浏览器的操作。
它支持多种编程语言,比如 Python、Java、C# 等。
常用于 Web 应用测试、数据爬取以及自动化任务。
可以看做网页专用机器人。
我们可以用它来做一些浏览器自动化任务。
具体来说,可以模拟用户在浏览器中的操作,例如点击、输入、滚动、截图等。
selenium兼容多个主流浏览器,包括 Chrome、Edge、Firefox 和 Safari 等。
说到这儿,有点忧伤。
目前东哥的主力浏览器,是Edge,为的是设置啥的能跟着俺的微软账户同步。
而世界范围内,更主流的浏览器是Chrome。
根据最新的市场数据,2024年12月全球浏览器市场的占有率如下:
谷歌Chrome:66.88%。
微软Edge:13.21%。
苹果Safari:8.49%。
Mozilla Firefox:6.14%。
Opera:2.74%。
Chrome稳居市场首位。
但是,我们的网络状况,用不了……
哎。
回过头来,咱继续聊selenium。
具体的技术细节,咱这里就不讨论了。
毕竟咱不是专业的IT账号。
而且怎么实现这些功能,用ChatGPT比东哥更高效。
东哥使用下来的感受是,适度的自动化是最好的。
不要尝试所有内容都交给自动化脚本,那样脚本会无比复杂。
比如网页导航,以及动态数据展示,就可以手工处理。
把剩下的重复性工作,交给selenium。
用selenium采集到数据之后,就可以把文本内容交给pandas等更专业的文本及数据处理工具,做进一步加工了。
3
东哥利用selenium,把之前估计需要用一周才能完成的任务,花了大概两个小时就搞定了。
其中有一个多小时,是在和ChatGPT聊天。
告诉它我的需求,让它一点点完善和调整。
ChatGPT的出现,极大的拓展了东哥的边界。
而这一切,才刚刚开始。
关注东哥,保护中产财富,一起慢慢变富。
东哥目前提供如下服务,有需要的朋友欢迎微信来撩。
,一个经营强链接的社群。
群里有老板、投资人、500强高管、律师、HR……
讨论个人IP打造、中年人第二曲线、硕博学历提升、企业出海项目等。
,分享一些专业金融知识及硬核资讯;
讨论香港保险、香港银行开户、美股投资、比特币投资、房产投资等。
,1-2小时的深度交流。
涵盖自媒体指导、职业规划、就业指导、IP打造、个人优势挖掘、销售获客技巧、资源链接等。
人是万物的尺度。找一群人一起走,一起慢慢变富。