昨晚 Claude 发了新的 SONNET 3.5,Haiku要月底。其中有两大非常值得看的亮点:AI操作电脑 和 编程能力大提升。
编程能力大提升有一篇单独的文章后续会发出,能做很多事情,感兴趣的小伙伴可以先关注我,今天就纯带大家看看怎么在自己电脑上把Claude 3.5的操作电脑给跑起来,体验体验。
准备工作
-
一台电脑(我用的是Window,理论上能跑Docker都可以)
-
Claude 的官方Key(目前大多数中转是不支持的,我们在加紧对接)
Docker安装

然后,就正常安装就好了。完成之后本地打开,登陆上去之后,啥也不用管。左下角这边需要服务启动成功。

拉取镜像
Claude 官方给了个Demo(Python),可以直接拉取到本地跑起来。
anthropic-quickstarts/computer-use-demo at main · anthropics/anthropic-quickstarts (github.com)
代码拉取到本地后,在当前Python环境下安装依赖(建议3.11以上)
pip install -r dev-requirement.txt
然后,根据官方文档,设置环境变量,启动 docker。

考虑到有些朋友可能不太熟悉环境变量,所以这里建议不懂的朋友直接用下面我修改过的启动命令(key 可以启动后再设置)
docker run -v ${env:USERPROFILE}.anthropic:/home/computeruse/.anthropic -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
克神启动
等镜像拉取的时间,如果没啥意外的话,到这里就启动成功了。按照提示访问网页:http://localhost:8080


侧边栏有 key,填上去,就可以正常玩了。
体验
帮我写一个贪吃蛇游戏并且运行起来
-
直接帮我装了Pygame 的库

-
然后写代码,跑起来,全程大概1分钟

试试他能不能帮我玩这个游戏
试了一下,不太行,因为他是通过截图来获取当前信息的,虽然能操作,但是有时差哈哈。


其实每次判断完下一步要做啥的时候,已经死掉重新开局了。
帮我看看京东最近的大新闻

会正确打开浏览器,使用Google搜索


但是搜索的关键词有丢失 中间搜了好几个关键词,然后给出了一个结论
帮我把新闻整理到Excel里
说的是挺好的,但是创建标题行的时候就没分好(盲猜是坐标定位异常) 然后一条条把刚才的新闻给输入进去了 虽然但是,挺不容易的,在我现在的屏幕分辨率下,能在Excel中定位准确格子并且输入,是挺不容易的一件事情。

帮我去小红书找一下北非蛋的做法
这里异常报错卡住了,没有正确关掉上一个窗口,我重试一下


中间出登陆验证码了,人为辅助了一下 后面就一直限速了,任务失败
结论
-
太卡了,没玩下去。一个可能是Streamlit的问题,导致页面交互数据多了就卡(不用考虑我电脑性能);
-
交互还是很慢的。本质还是大模型通过tools来生成调用,基本操作如下
[ "key","type","mouse_move","left_click","left_click_drag","right_click","middle_click","double_click","screenshot","cursor_position"]
,所以一个任务需要的步骤很多,交互多了,也就慢了;
-
费钱。大概玩了三个任务3.37刀出去了。
-
API权限太低了,一个任务懂不懂就limit了。