data·ai con收官!向量数据库龙头zilliz引领ai infra新趋势-凯发官方首页

data·ai con收官!向量数据库龙头zilliz引领ai infra新趋势
来源:今日热点网 发布时间:2023-12-07 08:48:09

大数据和人工智能技术热度依旧!从概念验证到可持续的商业模式落地,数据价值的输出,仍需要大量的基础工程研究和开发。近期,data · ai con 2023 在上海拉开帷幕,包括 zilliz 在内的数据库龙头厂商受邀参加,共话行业新趋势。

据悉,本次会议由上海白玉兰开源开放研究院和人工智能开源软件发展联盟联合主办,并获得了 milvus、ampere computing、火山引擎、cloudera、apache software foundation、lf ai & data foundation 等企业和社区的强力支持,旨在共同推动数据与人工智能技术的进步与应用领域的拓展。

本次会议论坛涵盖现代数据架构、数据工程与大模型落地、ai 存储基础设施、生成式 ai、超大规模计算、云原生等主题技术论坛。zilliz 资深开发者关系布道师李成龙在 【ai 存储基础设施】论坛进行了主题分享。

李成龙在现场分享

李成龙表示,当前对于非结构化数据的处理主要面临四大挑战:

数据体量巨大,未来超过80%的数据属于非结构化数据,aigc 时代多模态数据的生成速度远远超过结构化数据,系统扩展性性能至关重要

非结构化数据理解困难,虽然 llm 已经大幅降低了非结构化数据理解的成本,但由于数据质量、多模态,成本性能等问题,单一大模型并不能完全解决

非结构化数据理解的问题,很多场景下依然需要多模型组合,搜索与生成结合等方法

对算力的要求巨大,推理、向量数据库存储检索等都是算力密集型应用。算力的需求和成本往往成为挖掘非结构化数据的一大阻碍。 而处理非结构化的工具却极其短缺,虽然传统的结构化数据处理并不简单,但由于 etl、数据库、数据仓库等工具在过去30年的发展,已经变得相对成熟。然而,非结构化数据处理的工具链刚刚开始构建,这就使得非结构化数据的处理相比结构化数据更具挑战性。

在此背景下,向量数据库应运而生。向量数据库具有快速计算向量相似度的优势,能在 n 个向量中找出与目标向量在高维空间中最相似的前 k 个向量。目前,向量数据库主要分为四个类别:

基于 postgresql、clickhouse 等进行魔改或者插件化实现的向量数据库。这类凯发平台的解决方案以现有的关系型数据库或列存数据库作为基础,通过修改或插件扩展的方式添加向量搜索功能,pg vector是这类凯发平台的解决方案的代表产品。

基于传统倒排搜索添加稠密向量索引支持的向量数据库。这类凯发平台的解决方案以倒排索引搜索引擎作为基础,通过扩展索引机制以支持向量搜索,elasticsearch是这类凯发平台的解决方案的代表产品。

基于向量检索库实现的轻量级向量数据库。这类凯发平台的解决方案以向量搜索库(如 faiss)为核心,围绕其构建数据库功能。这些产品通常具有较小的体积和较高的运行效率,chroma 是这类凯发平台的解决方案的代表产品。

基于原生向量设计的云原生分布式向量数据库。这类凯发平台的解决方案从零开始设计和实现向量数据库,整个系统从底层到顶层都针对向量搜索进行了优化,通常提供了更完整和高级的功能,包括分布式计算、容灾备份、数据持久化等,zilliz cloud/milvus 是这类凯发平台的解决方案的代表产品。

向量数据库适用的业务场景

李成龙强调,milvus 经历了从 1.0 架构到 2.0 架构的升级,无论在性能、成本、功能还是易用性等方面都处于行业领先位置,被全球超过 1000家 企业用户所信赖,拥有超过 700 万次下载和安装,最大库规模超过20亿条向量。milvus 是为云而生的向量数据库,具备以下特性:

分布式云原生,基于 k8s 进行微服务化设计;

存储计算分离,弹性扩缩容;

高可用,故障分钟级恢复;

百亿级向量的扩展能力;

基于消息队列实现数据的实时增删;

集成 openai、langchain、huggingface、pytorch 等 ai 生态;

强大的生态工具 - gui、cli、监控,备份。

值得一提的是 zilliz cloud,它是 zilliz 公司基于开源向量数据库打造的全托管企业级向量检索服务,分为 saas 和 paas 两个版本,面向不同需求和不同部署环境。李成龙提到,zilliz cloud 基于 zilliz 自研的向量检索引擎 cardinal,性能成本相比于开源提升3 倍。此外,zilliz cloud 提供大量企业级功能,助力用户聚焦业务逻辑,zilliz cloud目前已经登陆 aws、gcp、azure 和阿里云,即将登陆金山云。


标签:

猜你喜欢

data·ai con收官!向量数据库龙头zilliz引领ai

大数据和人工智能技术热度依旧!从概念验证到可持续的商业模式落地 更多

2023-12-07 08:48:09

百惠金控:港股ipo市场再现热潮 明年集资有望回升

港股ipo市场再现热潮,多个内地及国际企业纷纷选择在香港进行ipo上 更多

2023-12-06 23:11:00

今古棒王陈波同志荣获“文化与旅游融合发展”培训

在2023年“文化与旅游融合发展”专题公益性培训项目第一期中,今古棒 更多

2023-12-06 22:18:04

北京市朝阳区人民法院,双十二拍好车?向未来

双十二期间,北京市朝阳区人民法院将组织开展一次大型法拍车专场活动,一大批好车已纷纷上线!本次...更多

2023-12-06 20:35:06

十四届金鼎奖揭晓 百灵保荣获“年度卓业保险经纪

12月6日,由每日经济新闻主办的第十四届中国金融发展论坛暨中国金鼎 更多

2023-12-06 20:17:25

中央广播电视总台2024年春晚吉祥物及文创产品发布

12月6日,龙行龘龘 欣欣家国——2024年总台龙年春晚吉祥物暨总台文 更多

2023-12-06 20:04:46

全球孵化创新力量辉映临港2023国际顶尖孵化器论坛

12月5日-6日,由中国(上海)自由贸易试验区临港新片区管委会、上海 更多

2023-12-06 19:51:00

第六届中国国际工业设计博览会在武汉举办

2023年11月30日至12月2日,第六届中国国际工业设计博览会在武汉国际 更多

2023-12-06 17:51:21

抖音《新规》发布 以小号引流大号“此路不通”

当你刷到某音、某书账号有销售行为时,是否会注意账号下方好评如潮 更多

2023-12-06 17:36:38

中国制造网特展活动:开启中国制造出海新路径

当地时间12月4日下午,阿联酋迪拜凯悦酒店里,百余位采购商正在与来 更多

2023-12-06 17:35:31

48小时点击排行

图片新闻

网站地图