chatgpt代码导航和分析

chunhui_true · 2023 年4 月 25 日 02:24

看介绍这个思路感觉不错。要比关键字索引，语法索引要更上一层。还没用过，各位觉得怎么样？emacs中可能集成这种功能么？

manateelazycat · 2023 年4 月 25 日 02:38

看着不错，其实就是 ChatGPT 的embedding API, 这个应该不难，主要是比较耗费 ChatGPT 的费用。

zhangjunphy · 2023 年4 月 25 日 02:44

小项目感觉能好用, 大项目的话, 可能一个源文件就几百 k, chatgpt 读不了这么长的文本, 不知道他们是怎么解决的.

manateelazycat · 2023 年4 月 25 日 02:47

类似的项目 GitHub - freedmand/semantra: Multi-tool for semantic search ，这个项目是语义搜索PDF文件的。

chunhui_true · 2023 年4 月 26 日 01:24

可以接入chatgpt之外其他的语言模型，或者专门针对代码训练的模型。要么网络要么本地部署。好用的话，会有非常多的人肯花钱。

从代码索引，跳转，字符语法扩展。进一步提升到，语义级别的扩展和自动生成。 office已经试验辅助插件了，这应该是将来的必然趋势。

chunhui_true · 2023 年4 月 26 日 01:27

不止要读取一个源文件，还要分析整个项目。这种辅助能力会提升几十上百倍的效率。chatgpt读不了，可以想办法，或者用其他模型。

我感觉这块会是编码领域的爆点。

fhqgqj · 2023 年5 月 4 日 08:07

这个也是我最近在做的一个东西, 这个bloop尝试过, 不过过不了我的测试case, 另外有人也用langchain和deeplake做了一个例子来讲twitter推荐算法, 我也试了一下, 目前也不太满意.

github.com

hwchase17/langchain/blob/master/docs/use_cases/code/twitter-the-algorithm-analysis-deeplake.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Analysis of Twitter the-algorithm source code with LangChain, GPT4 and Deep Lake\n",
    "In this tutorial, we are going to use Langchain + Deep Lake with GPT4 to analyze the code base of the twitter algorithm. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "!python3 -m pip install --upgrade langchain deeplake openai tiktoken"
   ]
  },
  {

This file has been truncated. show original

简单的思路就是用langchain先定位到git repo, 然后进行文件分段索引, 放到本地向量数据库里, 之后问问题的时候, 把query向量向查询出片段, 再统一扔给gpt进行qa.

这个东西原理挺简单的, 但是中间有些地方要好好调一调. embedding里的分隔方法, 分隔长度. 查询出来的文本放置到query前prompt时的放置顺序和prompt模板, 应该都会影响问题的效果. 还有待进一步实验, 稍后得好好看下langchain.