在龙虾上部署爬虫skill,无代码采集网页
- 2026-04-06 22:10:03
在龙虾上部署爬虫skill，无代码采集网页
这几天自己独立搭建了一个skill，用来采集和分析跨境商品信息，并部署到龙虾上，大概用了2小时，实测下来蛮好用的，准确性也高，后期可以完善成电商选品工具之类的skill。
目前能通过钉钉对话输入商品关键词，自动采集对应的商品信息，完全不需要再写任何代码。
最终实现的核心功能有2个：
1、输入关键词获取商品信息
2、ai自动分析商品，返回分析报告
采集工具用到的是亮数据的网页抓取api，能实现无障碍抓取网页，非常方便。
https://get.brightdata.com/w3h8e
创建这个skill还需要两个工具，一个是Trae或者vscode编辑器。
另一个是Anthropic发布的用于创建skill的skill，名字叫作skill-creator，你可以在github中找到它。
首先在Trae中新建文件夹，放入事先写好的python采集脚本，这个是skill的核心。
然后在ai对话框中输入创建skill的指令，如下：
“利用skill creator创建一个skill，用于采集亚马逊的商品数据，可以让用户直接通过关键词搜索商品，并整理成结构化的md文档或csv表格。文件中有两个脚本供参考， scraper.py 负责请求下载数据， dowload.py 负责下载快照的数据集。”
这样ai会自动调用skill-creator技能，来创建新的skill。
创建好skill后，再配置到openclaw中，首先你得自己的小龙虾，然后将SKILL.md文件扔给它，并让它安装skill。
接下来测试，我们在钉钉上输入命令，让它“搜索amazon中3d printer相关的商品”。
openclaw会调用skill采集amazon上3D打印相关的商品数据，并返回csv和md格式文件。
这就是在龙虾上新建skill的完整过程，做出一个demo其实并不难，难的是后续的功能闭环。
更多阅读：
偶然发现一个采集reddit帖子的神器
skillsmp，可能是最全的skills资源网站
notebooklm居然还可以这样玩！
