爱数认知智能开发框架KWeaver正式开源

时间 • 2024-04-01 08:49:53
数据
智能

近日,16周年庆活动场,爱数正式开放了认知智能开发框架KWeaver。KWeaver诞生于爱数认知智能框架AnyDATA Framework2,具有快速开发能力、全面开放性、高性能等特点,以成熟的数据知识化方法论和系列认知智能应用组件为数据科学家和应用开发者提供动力,从而降低领域认知智能应用开发的复杂度和人才门槛。在开源之后,KWeaver作为双方的技术为行业提供了更多的动力,每个人都可以在GitHub上获得。

长押二维码跳跃爱数数据布局和2021年,爱数发表新的愿景-用数据重新力量,创造智能世界。“数据”和“智能”作为爱数的两个关键词,爱数的定位Data+AI,即AI驱动,很好地呼应数据。在这一愿景的背后,也包含着对爱数更高层次的追求。不仅要成长为模范企业,还要承担社会责任,让技术驱动社会进步,用数据提升人类生产力。

在“数据”层面,爱数很早就开始了数据产业的布局,实现了数据产业从0到1的创新。2019年,公司发布大数据基础设施战略,加快数据产业布局。2021年至2022年,基于区域认知智能技术,建立北方大数据交易中心,构建全国数据交易网络系统。2022年,我们宣布将通过开源来增强行业实力,降低整个社会的成本,实现客户、合作伙伴和其他人之间的信任合作。在“AI”层面上,爱数认知智能技术在这两年也取得了长足的进步。2021年,公司推出了以领域知识网络为核心技术的AnyDATA ONE,并与复旦大学建立了联合实验室,开展认知智能研究。之后,与天津大学共同进行了数据智能的研究。目前,爱数正在全球范围内招聘人工智能博士,在长沙建设人工智能研究院,推动领域认知智能技术的发展。在此背景下,爱数一方面希望通过KWeaver的开源,整合全球智慧,将各行业、各领域不同的问题解决思路和方法模型引入爱数的认知智能框架,刺激更多的创新和应用;另一方面,他希望通过开源,将爱数积累的技术成果从爱数中拿出,面向更多的数据科学家、应用开发者和领域专家,为行业拥抱人工智能提供更多可能性。领域认知驱动需要开源经过几十年的发展,人工智能从计算智能发展到知觉智能,再从知觉智能发展到认知智能。作为第三代人工智能,认知智能的一个非常重要的特征是需要由领域认知驱动。“第三代人工智能的目标是真正模拟人类的智能行为,我们要充分利用知识、数据、算法和计算能力,充分利用四个要素,才能解决信息不完全、不确定环境和动态变化环境下的问题,才能达到真正的人工智能。- -张辛巴院士“在此背景下,领域认知智能成为一种新的问题解决思路,这也是爱数在2021年提出认知智能战略后,与复旦大学、天津大学等高校专家合作,不断实践和探索的技术成果。领域认知智能,针对某领域内的具体业务问题,通过获取领域内的数据来实现数据知识化,形成领域知识网络,进而基于领域智能来评价领域知识的质量,在此基础上利用知识进行理解、推论和决策。从而开发满足用户场景需求的领域认知智能应用,它帮助人们解决特定的问题,从而提高他们的生产力。认知智能的核心能力是“理解”和“解释”,体现在机器理解数据、理解语言、理解现实世界的能力上;体现在机器解释数据、解释过程、解释现象的能力上;体现在推理、计划等一系列人类独特的认知能力上。- -《知识图谱与认知智能》肖仰华,复旦大学教授,复旦爱数联合研究中心主任

但是,每个行业领域很多,专业领域之间的壁垒很高,只有通过开源,才能让来自不同行业、不同领域的开发者开发出领域认知智能,从而让KWeaver不断提高领域认知能力。至于爱数,一方面,我们需要利用开源来整合全球智慧。另一方面,我们可以通过开源开放自己的技术成果和积累,实现AI的全球效益。爱数KWeaver项目开源智能开发框架KWeaver是开源智能开发框架,为数据科学家、应用开发人员和领域专家提供具有快速开发能力、全面性和高性能的网络生成及智能应用开发工具和平台。在KWeaver的名称中,K代表Knowledge知识,Weaver代表编者,意味着将所有领域知识编织在一起,从而实现领域认知智能。

KWeaver为数据科学家、应用程序开发人员和领域专家提供三种功能:快速开发能力KWeaver提供可视化知识网络工作台,提供可视化认知智能应用开发调试工具、丰富的数据加工及模型培训工具,以及开箱即用的API文档;全面开放性KWeaver源代码开源且技术透明,这意味着参与项目的用户可以查看所有技术细节,同时支持多异构数据源对接,提供SDK兼容的更多第三方知识提取模型,提供API与Web组件的集成方式;凭借多年在云原生领域的高性能积累,KWeaver的开发基于云原生技术,提供了横向规模能力,采用分布式计算引擎实现了海量数据访问的处理能力。通过KWeaver实现领域认知驱动的过程包括两个步骤。

第一个是知识的获取。首先建立区域认知模型,在模型的基础上进行数据加工提取知识,对于不同来源的数据,加工方式也有很大差异,有些数据可以直接提取,有些数据需要通过深度学习模型,如文本知识。加工完成后,生成领域知识网络。第二是运用知识。显然,基于网络,数据领域的认知智能不会取代传统的深度学习和机器学习,而是将两者结合起来,发挥更大的作用。KWeaver还集成了许多基于深度学习的知识提取模型。

在此次正式开源之前,KWeaver已经与爱数AnyDATA一起经历了近3年的孵化和打磨,结合AnyShare、AnyRobot、AnyFabric等产品的能力,实现了一系列创新。例如与AnyShare结合在知识管理方面形成行业知识卡、行业标签、知识检索等应用;结合AnyRobot在智能运维方面实现可持续进化的运维知识库,以及运维中小概率事件的故障定位和根源分析;与AnyFabric结合,帮助用户更好地编制数据,以资产图的形式让用户对业务能力、数据质量等进行更直观、全面的观察和分析。16年的专注和16年的探索。从备份一体机到大数据基础设施,从人工智能到领域认知智能,从传统的商业模式到KWeaver的官方开源,爱数始终朝着“用数据重构生产力,创造智能世界”的愿景不断成长。未来,爱数将以更加开放、包容的心,通过更多的开源计划实现技术共享,为数据产业的繁荣发展贡献自己应有的力量。