据全球最大LLM API聚合平台OpenRouter 2月24日数据,中国AI模型Token消耗量占平台前十总量的61%,前三名全部来自中国实验室。 MiniMax M2.5以单周2.45万亿Token登顶榜首,环比暴涨197%;月之暗面Kimi K2.5以1.21万亿排名第二;智谱GLM-5以7800亿Token位列第三,环比飙升158%;DeepSeek V3.2占据第五。

在软件系统日益复杂的今天，安全漏洞已成为悬在开发者头顶的"达摩克利斯之剑"。从操作系统到移动应用，从金融系统到自动驾驶汽车，任何一个安全漏洞都可能造成难以估量的损失。传统的人工审查代码方式不仅效率低下，更难以应对海量代码库的检测需求。

本文作者来自马里兰大学的 CASE (Collaborative, Automated, Scalable, and Efficient Intelligence) Lab，主要参与者为博士生孙国恒与王子瑶，指导教师为李昂教授。 近年来，大型语言模型（LLM）在处理复杂任务方面取得了显著进展，尤其体现在多步推理、工具调用以及多 ...

Skill（技能）：本质上，它就是一段预先编写好的指令 + 工具调用逻辑。 例如，“帮我查天气”这一 Skill，实质上是将“调用天气 API”这一操作提前封装好的代码模板。 吐槽：所谓 Skill，不过是把“提示词”包装成“高级功能”，再以此变现罢了。

随着越来越多企业部署自有大型语言模型（LLM），配套的内部服务和应用程序接口（API）数量也随之增长。现代安全风险主要不再来自模型本身，而是来自支撑、连接和自动化模型的底层基础设施。每个新增的LLM端点都在扩大攻击面，这些风险在快速部署过程中极易被忽 ...

LLM是Large Language Model的简称，中文名是大语言模型，是一种基于海量文本数据训练的深度学习模型（人工智能模型）。 LLM发展至今，其参数量已经达到万亿规模。 私有LLM应用场景一般是私有化部署，给公司内部员工使用，聚焦垂直领域，训练数据涵盖公司特有 ...

深度学习已经从CNN模型时代发展到大模型LLM时代到如今的MLLM与VLM时代，原有CNN为主的深度学习部署框架已经无法满足LLM与VLM模型部署的需求，最近今年主流的LLM与VLM部署框架主要包含vLLM、TensorRT-LLM、llamacpp、Ollama、LMDeploy、LMStudio等。 vLLM vLLM（Vectorized Large Language ...

11月16日，微软Ignite 2023大会盛大召开，英伟达高管出席并宣布更新了TensorRT-LLM版本。该版本现已支持对OpenAI Chat API的支持，并且还增强了DirectML功能。 今年10月份，英伟达面向数据中心和Windows PC推出了Tensor RT-LLM开源库。其中最大的亮点在于，如果Windows PC配备 ...

在数字化转型与AI技术快速发展的双重驱动下，API已成为企业业务与外部世界连接的神经中枢。然而，随着API的深度应用，针对API的攻击规模与复杂性也在持续升级。 API为何频频成为黑客重点盯防的突破口？企业常见的API防护手段是否还能应对日益智能化的攻击？

刚刚，硅谷爆出新料：OpenAI企业市场份额断崖式下跌，Anthropic全面反超！ GPT-5再不来，奥特曼正要熬夜头秃，无法入眠了！ 刚刚，OpenAI最强劲敌Anthropic被曝年化收益已达45亿美元，晋级为史上增长最快的软件公司。 在LLM API赛道上，Anthropic成功登顶，而OpenAI在AI ...

过去2个月，来自UC伯克利的研究人员给大语言模型们安排了一个擂台——Chatbot Arena。 简之，vLLM是一个开源的LLM推理和服务引擎。它利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值。

针对基于LLM的NLP软件输入鲁棒性测试难题，提出AORTA框架与ABS方法。AORTA将测试转化为组合优化问题，支持黑盒环境下的17种现有测试方法扩展，ABS通过自适应束宽和回溯策略优化搜索效率，在三个数据集和五种LLM模型上平均成功率达86.14%，较基线减少3441.9秒/次 ...