使用ChatGPT自动编写Python爬虫脚本

闪电发卡2年前ChatGPT1477

都知道最近ChatGPT聊天机器人爆火,我也想方设法注册了账号,据说后面要收费了。

ChatGPT是一种基于大语言模型的生成式AI,换句话说它可以自动生成类似人类语言的文本,把梳理好的有逻辑的答案呈现在你面前,这完全不同于传统搜索工具。

ChatGPT不光可以回答人文、科学、情感等传统问题,还可以写代码、改bug,程序员可就急了,简直是在抢饭碗,所以网上出现各种ChatGPT让你失业的焦虑言论。

俗话说“百闻不如一见”,我试着让ChatGPT用Python去写爬虫脚本,看它到底行不行?

1、爬取知乎上的专栏文章

提问:

帮我用python写代码爬取这个网站的文章 https://zhuanlan.zhihu.com/p/595050104

ChatGPT:

把给到的代码放进PyCharm中跑一遍,发现没有报错,且打印出了内容。

import requests
from bs4 import BeautifulSoup

url = "https://zhuanlan.zhihu.com/p/595050104"response = requests.get(url)soup = BeautifulSoup(response.text, "html.parser")title = soup.find("h1", class_="Post-Title").text.strip()body = soup.find("div", class_="Post-RichText").text.strip()print("Title:", title)print("Body:", body)

虽然说ChatGPT给出的代码可以执行,但它也提到由于爬取的网站会随时变更,也就是HTML会变动,所以代码可能需要调整才能正常工作。

凡是写过爬虫的同学应该都能理解,人工写的爬虫代码也没法一劳永逸,需要随时改。

这一点ChatGPT提示的很有道理。

后来我测试了medium、百家号上的文章,ChatGPT提供的代码形式几乎和上面一致,没法直接执行获取结果,需要微调后才能跑。

2. 爬取京东某商品的评论

为了给ChatGPT增加难度,我试着让它去爬取某电商网站的用户评论

提问:

请用python写代码爬取这个京东商品的所有用户评论  https://item.jd.com/13652780.html

ChatGPT:

可能这个网页是动态页面,ChatGPT提供的方法并不能爬取评论。

我接着问:

爬取的结果是空值怎么办?

ChatGPT:

ChatGPT提供了3种可能存在的原因,但并没有帮我修改代码。

于是我又问:

还是空值 请帮我重新写代码爬取

ChatGPT:

image.png

这次就牛掰了,它重新用Selenium写了爬虫代码,并告诉我爬取动态网页需要模拟浏览器行为,因此得用selenium技术。

我没有运行去测试代码正确与否,但ChatGPT确实惊艳到我了,能够前后关联对话内容,并给出正确的解决方法。

3.继续更多的测试

上面只是蜻蜓点水的玩玩,ChatGPT就已经吸引到我,

我准备多花时间去测试ChatGPT应对各种爬虫的解决方案,以及它对bug的修复能力。

仅仅从写代码层面看,ChatGPT已经可以媲美中高级程序员的水平了,而且它的知识范畴远超人类最厉害的程序员

ChatGPT能够根据对话生成人想要的内容,这是AI巨大的突破,未来它的应用之广难以想象。


闪电发卡ChatGPT产品推荐:

ChatGPT Plus共享账号:https://www.chatgptzh.com/post/319.html

ChatGPT Plus独享账号(购买充值代充订阅):https://www.chatgptzh.com/post/306.html

ChatGPT APIKey购买充值(直连+转发):https://www.chatgptzh.com/post/305.html

ChatGPT Plus国内镜像逆向版:https://www.chatgptzh.com/post/312.html

ChatGPT国内版(AIChat):https://www.chatgptzh.com/post/318.html


相关文章

实用ChatGPT Prompt 教程:提升AI写作的技巧

大家好,欢迎来到我的博客。今天我们要聊的是一个非常热门的话题——如何利用ChatGPT来提升AI写作的技巧。相信很多朋友都对这款强大的语言模型有一定的了解,但是否真的懂得如何高效地使用它呢?今天,我们...

实例解析ChatGPT原理:让AI对话更加智能

在如今的科技时代,人工智能(AI)已深入我们的日常生活,ChatGPT作为其中一员,更是表现得尤为突出。今天,我们就来聊聊ChatGPT的工作原理,让大家了解这款智能对话系统是如何让我们的交流变得更加...

法律领域的AI革命:ChatGPT在法律分析中的应用

大家好,欢迎来到我的博客!今天我们要聊的是一个非常有趣且重要的话题:人工智能(AI)在法律领域的应用,特别是ChatGPT在法律分析中的作用。随着科技的进步,AI已经渗透到我们生活的各个角落,而法律领...

利用ChatGPT进行会计数据分析:人工智能助力财务决策

在如今这个信息爆炸的时代,人工智能已经逐渐渗透到各行各业。而会计作为企业管理和决策的重要组成部分,也正在经历着一场深刻的变革。今天,我们就来聊聊如何利用ChatGPT进行会计数据分析,看看人工智能是如...

制造业如何通过ChatGPT优化生产流程

在如今的制造业中,生产效率和质量控制一直是企业关注的重点。随着人工智能技术的快速发展,越来越多的制造业企业开始探索如何通过AI技术来提升生产流程的效率和准确性。今天,我想和大家聊聊如何通过ChatGP...

酷表ChatExcel -北大出品免费自动处理表格工具

酷表ChatExcel -北大出品免费自动处理表格工具

酷表ChatExcel是通过文字聊天实现Excel的交互控制的AI辅助工具,期望通过对表输入需求即可得到处理后的数据(想起来很棒),减少额外的操作,辅助相关工作人员(会计,教师等)更简单的工作。Cha...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。