🤔️ 我也想用上 AI 助手
我长期使用本地笔记工具的主要原因,是不想受限制于云端服务,自己的笔记可以安全的存储在自己的电脑硬盘上,不会因为云笔记服务商的跑路,或者出现体验更好的笔记工具,来回横跳,最后笔记过于分散,没有形成系统,在查找所需材料的时候无从下手。
一款可以直接编辑本地文件的 markdown ,才是我的趁手利器。
而 Obsidian 恰好满足了我的全部需求,不仅有很好的码字体验,而且有很多第三方插件可以加强笔记的使用体验,也不会因为服务提供商的策略调整额外付费。在此之前,我使用的是 Typora 和 Ulysses 。
从去年开始,在所有工具都在适配 AI 大模型功能,无论是常用的 Notion 还是去年火起来的 Craft。在市场的培养中,我也适应了 AI 带来的便利,生成图片、编写文档、小范围写点代码,我已经把很多的工作外包给了 AI 。
然而,自己的电脑肯定是没有带动大模型系统的条件。我有时也会想,如果想实现与本地笔记对话的 AI ,似乎只能把笔记全都手动搬到云端应用上,使用服务提供商的大模型。但这样一是费时间,二是不安全,三是还不确定云端服务的效果。
我回头看了看我的全部笔记,几乎每天都会有至少2000字的内容,有习惯养成的复盘、计划和方法、阅读内容的笔记以及时间/精力的分配记录。一个月下来,再去回顾的时候,就要花费很多时间,另外因为笔记文件太多,要去查找的时候并不是特别方便,因此我需要一个 AI 来帮助我做一些总结和提醒。
到此,我需求已经很明确了:找到一款本地可用的大模型工具,或者是把笔记系统搬到线上。不过我更倾向于前者,但不排除前者无法有效满足我需求的可能。
所以,我从两个方向出发先尝试一下本地可用的大模型:一是要在 obsidian 市场中找到一款能使用 AI 的插件,二是要找到一个价格合适而且好用的 AI API 。
得益于开发者提供的插件,我在 obsidian 社区中很快锁定了 copilot for obsidian 插件,理由很简单:不受限于 OpenAI 的服务,可以对接任意的大模型 API 。搜索的时候,看到很多是基于 OpenAI 开发的插件,虽然效果很不错,但价格确实不便宜,平替+性价比才是最好的。
我碰巧在 Twitter 中看到一条跟我在寻求相同解决方案的帖子,在下方的评论里面,我发现了一家名叫 openrouter.ai 的公司,这家公司提供很多开源模型的服务,无需自己 host 就可直接调用 API,而且提供了很多大 token 模型的免费 API 调用(Grok刚刚开源,估计很快就能体验到)。
🧐 一阵折腾
一切准备就绪之后,就差把大模型应用到 obsidian 里面了。首先从 openrouter.ai 中生成一份新的密钥。
把密钥配置到 copilot for obsidian 插件中。
这里有很多选项,你需要往下拉就找到 openrouter.ai,然后在对应的位置填写密钥。
特别注意的是在选择模型的时候,一定要从 openrouter.ai 提供的模型中复制代码出来,比如你填写「ChatGPT」肯定就不能用。可以通过输入框下方的「Find Models Here」链接找到对应的模型。
我使用的「OpenChat」模型,原因是携带的上下文比较大而且模型效率还不错,在 openrouter.ai 中免费版对应的代码是「openchat/openchat-7b:free」。
填写完密钥和模型代码,记得回到页面顶部,点击保存,才能生效。
这时,在 obsidian 左侧就已经出现了「Chat」的图标,点击图标就可以跟实现跟 AI 的对话。
🍺 效果
目前来说,我已经用了一个多星期,也切换了不少模型,整体的体验效果不错,免费的 API 速度相较于GPT-4来说都能快出很多,虽然效果不如GPT-4,但能满足我的基本需求,剩下的就是我还需要花点时间研究研究如何调校好写好 prompt,让 AI 更好地服务于我。
不过,唯一的不便是在手机和iPad上不能使用, copilot for obsidian 插件仅限电脑端使用。
推荐阅读:独立开发的100个思考。