完全不像…GPT是decoder-only,只有单向attention的模型(与任何词语的意思没有任何关系
这种和编程语言关系不大。现在ai底层是c++写的(如torch),上层就是python搭积木,想用别的语言也没问题,有onnx。现在的ai主要是复杂度,即越大的参数量会带来越大的收益。当参数量超过200亿还会有一系列的惊喜。
我指的之前“想法”跟任何编程语言没有关系,我的概念是:每个词语都像是一个函数(规律),尤其是成语就是稍微高层一点点函数(通用库)
前面应该是回“chatGPT用到lisp了吗”的那个帖子,贴子锁了吗就找到这回了,今天也问了chatGPT,感觉chatGPT有点拒绝回答这个问题的意思。
作为一个AI语言模型,我不使用编程语言或数据库,我是通过机器学习算法和大量数据训练出来的。
我可以使用各种编程语言和数据库的语法和知识,但是并不像人一样有自己的喜好和习惯。
你这个概念我感觉有点文学编程的意思
chatgpt 肯定是用 C++ 和 python 写的。这点基本上毋庸置疑。搞深度学习基本上都是用这两门语言。Python 用于原型开发,C++ 用于部署模型。
NASA 开源的一个 Clojure 项目,内容好像比较边缘,不过写的挺规范的
近年我对 Erlang 很感兴趣
在实际项目上主要是用node.js + Postgres
因为后台的工作绝大部分都是在数据库完成(我写大量的 SQL function/procedure)
前端开发也用JavaScript (React Native / Web Components)
一直还没有能够凸显出Erlang/Common Lisp 优势的场景,所以有点渐行渐远
我似乎总是在用中文的思想来学英语,最近感觉中文的"成语"其实在英语里面其实也是有对应的,就是缩写,某个含义要表达出来如果不使用成语,可能要写上一小段文字,而把含义抽象封装成语,就可用四个字搞定,方便很多。
英语也是如此,比如我从来没有见人打过: Hyper Text Markup Language,打的都是缩写HTML,这个和成语很相近了,可能你打长段别人一眼看不出来是什么意思,用缩写(成语)反倒一眼就可看出是什么意思
嗯,例如 R.I.P 很多英语不好的人也知道,而完整单词反而看不懂
就像一个函数,你只知道如何调用就可以了(语境是一个默认参数),不需要完整的源代码
我觉得成语和缩写不是一种东西吧。
不明觉厉。。。
(首先声明,我仅仅折腾 Emacs 比较多,下面这两个语言也没完整学过,就是很感兴趣)
Common Lisp 给我一种很强大、很适合工业开发的感觉,而 Scheme 感觉很小巧、适合教学。
但是 Chez Scheme 之前是闭源的,很多公司也会花钱买来用,为什么会这样呢,有人能够指点一下吗?
(当然我的这种感觉可能来源于这篇古早文章:https://www.yinwang.org/blog-cn/2013/03/28/chez-scheme)
我记得 Nokia 很久以前研究过 Scheme 开发。
另外 Chez Scheme 到现在也是非常快的,想想那些慢的语言(Python, Ruby)都有人用,有公司会买也不稀奇了(比如用来写胶水代码)
用来做 EDA 软件的脚本语言,Chez 是 Cadence Research Center 赞助开发的,后来 Cadence 被 CISCO 买断之后才把 Chez 作为相对不太重要的部分开源(真就成冲话费送的了),而 Cadence 就是行业内最出名的 EDA 软件之一,而且授权费也很高,我记得现在全套打折下来要八万美元一年,放在以前 Chez 的代码和使用授权就在 Cadence 的全套授权里(应该也有另外购买授权做二次开发的,不过这些都不会有公开报价的)。芯片设计要试很多不同参数来,所以有一个跑的快还支持元编程的脚本语言还是很重要的(不是设计 CPU 这种主要只涉及到逻辑电路级别的,一般是设计基带这种以模拟电路为主的)。
另外 Tcl 最初也是作为 EDA 的脚本语言设计的,现在也还用在 Synopsys 的产品里。
有道理,并且我似乎还听说 Chez 有一个闭源版本,比开源版本还快,开源版本是“负优化”过的
哇!很受用的背景知识,感谢提供!
不过我很难想象,做模拟电路的模拟还用到这个小众的语言,一直以为那都是专注有限元、时域有限差分等工业仿真软件干的事情 ,当然,有可能他们底层的物理层面的模拟是另一套机制,外面套上 Scheme(有点像人工智能是底层 C 套上外层 Python)
SQLite 最初也是为了给 Tcl 开发一个数据库开发的,这些 Tcl 大神太离谱了
我对lisp编写语法树的功能特别感兴趣。我认为用lisp的语法来写其他语言会是一个绝妙的设计。