Cloudflare Workers 近期上新💡推出 Workers AI
通过API接口或 Workers 直接使用常见开源模型,比如:
文本生成(大语言模型): meta/llama-2-7b-chat-int8
自动语音识别(ASR): openai/whisper
翻译: meta/m2m100-1.2
文本分类: huggingface/distilbert-sst-2-int8
图片分类: microsoft/resnet-50
*面板上已有60来个AI模型可用
*目前处于早期测试阶段,不宜用于生产环境
Workers AI: serverless GPU-powered inference on Cloudflare’s global network💡宣布支持 WebGPU 可用
通过 Dawn 实现标准 WebGPU API 用户通过 JavaScript/Wasm 来使用 GPU 资源
*WebGPU 依赖于 Durable Objects,目前相关API仅在本地开发测试环境可用,暂不支持直接部署到 Cloudflare(这需要几周开发时间)
You can now use WebGPU in Cloudflare Workers💡发布矢量数据库 Vectorize
Vectorize 是一个全球分布式矢量数据库,用户通过 Workers 操作存储机器学习模型生成的矢量数据集,根据自有的数据可以轻松构建具有强大搜索、相似性、推荐、分类或异常检测功能的专有应用程序
返回的矢量可以引用 Cloudflare R2 中存储的图像、KV 中的文档或 D1 中存储的配置文件,从矢量搜索结果到具体对象可用全程闭环,用户无需自建额外的基础设施
*Vectorize 目前处于公开测试阶段:免费可用(有限额)
Vectorize: a vector database for shipping AI-powered applications to production, fast注意
上述新特性在本地开发测试需 wrangler版本 ≥ 3.10
Workers限制放宽:脚本大小 1~10M,运行时限≤400ms
#Cloudflare #Workers #AI #WebGPU
Via
@Cloudflare_CN