只需修改两行代码,RAG向量检索效率暴涨30%! 不仅适用于文搜文”、“图搜图”、“文搜图”、“推荐系统召回”多种任务;而且具备良好扩展性,适合十亿、百亿级别大规模应用。 浙江大学高云君、柯翔宇团队联手向量检索领域大佬傅聪,开源新方法PSP(Proximity graph with Spherical Pathway),突破RAG两大难题。
简单来说,主流向量检索方法都是基于欧几里得距离设计,主要看“谁离你最近”;但有时AI其实更需要比较“语义相关性”,也就是最大内积、看谁最相似。 以往的内积检索办法,不能像欧式距离检索方法那样满足数学上的三角关系,所以很多老方法失效。 PSP发现,只要进行微小改动,老图结构也能找到最大内积最优解。 而且PSP还设置了提前停止策略,能判断检索是否应该提前结束,避免浪费算力,让搜索更快。 AI产品背后的技术核心 向量检索,是支撑起明星AI产品的核心技术组件。它不仅大大拓宽传统语义检索(关键词检索)的边界,和大模型的配合更是浑然天成。 如何发挥这项技术的真正潜力,让向量模型和向量数据库的组合真正跑出效果,关键在于——选对“度量空间”。
|
|
点击朱笔,直抒胸臆