使用ChatGPT自动编写Python爬虫脚本

闪电发卡2年前ChatGPT1498

都知道最近ChatGPT聊天机器人爆火,我也想方设法注册了账号,据说后面要收费了。

ChatGPT是一种基于大语言模型的生成式AI,换句话说它可以自动生成类似人类语言的文本,把梳理好的有逻辑的答案呈现在你面前,这完全不同于传统搜索工具。

ChatGPT不光可以回答人文、科学、情感等传统问题,还可以写代码、改bug,程序员可就急了,简直是在抢饭碗,所以网上出现各种ChatGPT让你失业的焦虑言论。

俗话说“百闻不如一见”,我试着让ChatGPT用Python去写爬虫脚本,看它到底行不行?

1、爬取知乎上的专栏文章

提问:

帮我用python写代码爬取这个网站的文章 https://zhuanlan.zhihu.com/p/595050104

ChatGPT:

把给到的代码放进PyCharm中跑一遍,发现没有报错,且打印出了内容。

import requests
from bs4 import BeautifulSoup

url = "https://zhuanlan.zhihu.com/p/595050104"response = requests.get(url)soup = BeautifulSoup(response.text, "html.parser")title = soup.find("h1", class_="Post-Title").text.strip()body = soup.find("div", class_="Post-RichText").text.strip()print("Title:", title)print("Body:", body)

虽然说ChatGPT给出的代码可以执行,但它也提到由于爬取的网站会随时变更,也就是HTML会变动,所以代码可能需要调整才能正常工作。

凡是写过爬虫的同学应该都能理解,人工写的爬虫代码也没法一劳永逸,需要随时改。

这一点ChatGPT提示的很有道理。

后来我测试了medium、百家号上的文章,ChatGPT提供的代码形式几乎和上面一致,没法直接执行获取结果,需要微调后才能跑。

2. 爬取京东某商品的评论

为了给ChatGPT增加难度,我试着让它去爬取某电商网站的用户评论

提问:

请用python写代码爬取这个京东商品的所有用户评论  https://item.jd.com/13652780.html

ChatGPT:

可能这个网页是动态页面,ChatGPT提供的方法并不能爬取评论。

我接着问:

爬取的结果是空值怎么办?

ChatGPT:

ChatGPT提供了3种可能存在的原因,但并没有帮我修改代码。

于是我又问:

还是空值 请帮我重新写代码爬取

ChatGPT:

image.png

这次就牛掰了,它重新用Selenium写了爬虫代码,并告诉我爬取动态网页需要模拟浏览器行为,因此得用selenium技术。

我没有运行去测试代码正确与否,但ChatGPT确实惊艳到我了,能够前后关联对话内容,并给出正确的解决方法。

3.继续更多的测试

上面只是蜻蜓点水的玩玩,ChatGPT就已经吸引到我,

我准备多花时间去测试ChatGPT应对各种爬虫的解决方案,以及它对bug的修复能力。

仅仅从写代码层面看,ChatGPT已经可以媲美中高级程序员的水平了,而且它的知识范畴远超人类最厉害的程序员

ChatGPT能够根据对话生成人想要的内容,这是AI巨大的突破,未来它的应用之广难以想象。


闪电发卡ChatGPT产品推荐:

ChatGPT Plus共享账号:https://www.chatgptzh.com/post/319.html

ChatGPT Plus独享账号(购买充值代充订阅):https://www.chatgptzh.com/post/306.html

ChatGPT APIKey购买充值(直连+转发):https://www.chatgptzh.com/post/305.html

ChatGPT Plus国内镜像逆向版:https://www.chatgptzh.com/post/312.html

ChatGPT国内版(AIChat):https://www.chatgptzh.com/post/318.html


相关文章

ChatGPT注册时提交手机号报错,ChatGPT还能注册吗?chatgpt怎么注册?

ChatGPT注册时提交手机号报错,ChatGPT还能注册吗?chatgpt怎么注册?

OpenAI官方4月13号修改规则 导致现在还不能接收验证码OpenAI官方4月13号修改规则目前已大面积风控注册,大部分注册到手机号验证那一步都会提示“Your account was flagge...

ChatGPT函数调用初体验:让ChatGPT具备抓取网页文本的能力

 OpenAI在6月13号升级了ChatGPT,推出了类似其网页版插件的功能——函数调用(Function calling),13号当天我在很多微信公众号就看到了这个消息,甚至有人将函数调用称为杀手级...

GPT-4.0和GPT3.5大比拼,究竟谁胜?ChatGPT大模型版本对比分析

GPT-4.0和GPT3.5大比拼,究竟谁胜?ChatGPT大模型版本对比分析

作为人工智能史上里程碑事件之一的ChatGPT,自2022年11月30日发布至今,一直备受热议。在ChatGPT热潮尚未见减弱之势,2023年3月14日,OpenAI公司继续发布新一代AI语言大模型G...

如何利用ChatGPT优化电商平台的客户服务体验

在当今快速发展的电商行业,客户服务体验成为了企业成败的关键因素之一。优秀的客户服务不仅能增加客户满意度,还能提升客户忠诚度,从而推动销售增长。那么,如何利用现代科技,特别是ChatGPT这样的人工智能...

探索ChatGPT在电商客户支持中的智能对话功能

在今天这个数字化时代,电商行业已经成为我们生活中不可或缺的一部分。从日常购物到特别节日的礼物,我们都依赖于各种电商平台。然而,随着电商业务的不断扩展,客户支持的需求也在迅速增加。面对大量的客户咨询和复...

ChatGPT4.0怎么用-chatgpt4.0新手使用教程

ChatGPT4.0怎么用-chatgpt4.0新手使用教程

1在将GPT-4系统接入微软必应并推出新的聊天功能几周后,微软研究团队发表论文,声称在早期的实验中,他们发现GPT-4已显示出“通用人工智能的火花”。2微软研究人员在论文中列举的许多例子表明,与大多数...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。