当前位置:首页 > 源码资源 > 正文内容

一个开源的文档内容高效检索 AI 工具:Semantra

二向箔2023-04-29 18:05:33源码资源1525

ai工具.png

一个开源的文档内容高效检索 AI 工具:Semantra,与传统的文本匹配方式不同,它能够直接使用语义查询,提升检索效率。可选择多种语言模型,支持在本地离线部署运行,注重隐私安全。


使用命令行即可快速处理本地的文本和 PDF 文件。在任务完成后,它会在本地搭建一个 Web 搜索页面,让你能在界面上对直接查询文档。


Semantra 的设计目的是方便易用,可定制。适合需要在大量文档中进行精确搜索的个人或团体,例如新闻从业者、研究员、学生或教师等。主要作用是对存储在本地计算机上的文档(文本或 PDF 文件)进行操作,你可以选择处理单个或多个文档。


该项目对文档的处理有两种方式:「内嵌模型」和调用「OpenAI API」。默认是用的 MPNet 语言模型。


如果你电脑配置还过得去,或者想离线处理文档,可以优先选择下载大语言模型,这种方式可以最大程度保证你的隐私安全。


如果想用 OpenAI API,项目也提供了相对应的方案,不过所产生的 Token 消耗,你需要自行承担。


针对这两种方案,作者都在 GitHub 中给出了详细文档。


GitHub地址:

https://github.com/freedmand/semantra







扫描二维码推送至手机访问。

版权声明:本站内容为原创和部分整理自网络,如有侵权务必联系我们删除,保障您的权益,本站所有软件资料仅供学习研究使用,不可进行商业用途和违法活动,本站不承担任何法律责任。

本文链接:https://www.erxbo.com/post/777.html

分享给朋友:

“一个开源的文档内容高效检索 AI 工具:Semantra” 的相关文章

第一个通过强化学习人类反馈 (RHLF) 进行训练的大型开源聊天机器人

第一个通过强化学习人类反馈 (RHLF) 进行训练的大型开源聊天机器人

第一个通过强化学习人类反馈 (RHLF) 进行训练的大型开源聊天机器人模型下载:https://huggingface.co/CarperAI/stable-vicuna-13b-deltaStability AI 发布了 StableVicuna,这是 AI 世界上第一个开源 RLHF LLM 聊...

吴恩达和OpenAI联合推出,免费的Prompt Engineering(提示工程师)课程

吴恩达和OpenAI联合推出,免费的Prompt Engineering(提示工程师)课程

面向开发人员的 ChatGPT 提示工程 吴恩达和OpenAI携手推出了一门免费的Prompt Engineering(提示工程师)课程,旨在为AI开发者们提供一个全面而深入的学习平台。该课程内容涵盖了如何书写高质量的AI提示词,以及如何利用GPT-3的先进技术开发一个高效、智能的AI聊天...

一款平替AutoGPT的工具:AI Agent

一款平替AutoGPT的工具:AI Agent

一款平替AutoGPT的工具:AI Agent | #工具众所周知,AutoGPT是最受欢迎的开源AI代理之一,它非常强大,用于自动化整个工作流程,自主地去实现给定的目标,但使用起来有很高的门槛。而AI Agent则完全不用,不要技术能力和API密钥,墙内能用。输入你要实现的目标,它自动会帮你去实现...

潘多拉 Pandora一个开源的 ChatGPT 命令行工具

潘多拉 Pandora一个开源的 ChatGPT 命令行工具

潘多拉 Pandora,一个开源的 ChatGPT 命令行工具,可直接通过 access token 来访问网站功能。后端优化,绕过 Cloudflare,提升访问速度。主要用于解决以下问题:- 高峰期能绕过官方限制,继续使用;- 应答速度直逼 PLUS;- 官方故障的时候,它可能还是能跑;- 多模...

复旦大学发布大语言模型 MOSS 引发轰动

复旦大学发布大语言模型 MOSS 引发轰动

复旦大学发布了一个引发轰动的大语言模型:MOSS这是一个支持中英双语和多种插件的开源对话语言模型,moss-moon系列模型具有160亿参数,在FP16精度下可在单张A100/A800或两张3090显卡运行,在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单...

一款中文的开源数据标记工具

一款中文的开源数据标记工具

一款中文的开源数据标记工具。目录前工具栏、多边形、标记点、标记线、分类、描述等图像标记标记能力,能够支持容器分组标记、扩展标记例分割、文本转写、转库线检测、关键点检测等计算机视觉任务现场,通过工具的自由组合即可自定义标记任务,支持COCO、MASK格式数据导出。 场景:计算机视觉检测:车辆...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。