Julia 代码生成的错误案例搜集

综合讨论区
1

大家好，我最近在做一项小众语言（例如 Julia ）的代码生成的研究。所以想请教一下大家，各位用大模型生成 julia 代码（自然语言描述的需求 -> Julia 代码）的时候有遇到什么问题吗？我想搜集一下相关的案例用于后续研究。谢谢各位！

比如说：

  1. 生成的Julia 代码存在语法错误；
  2. 生成的 Julia 代码无法正确完成任务；
  3. 生成的 Julia 代码存在幻觉；
  4. etc.

最好能够包括下面几个维度：

  1. 使用的模型：GPT3.5/GPT4/Claude/Gemini/LLaMA/Copilot/qwen/etc.
  2. 案例说明：在什么情况下产生的错误的代码？
  3. 复现的prompt：有的话最好啦！

谢谢各位 :pray:

3

不算100%符合你的提问，因为我是把python代码丢给大模型、让它生成julia代码。

——————

  1. 使用的模型：GPT3.5
  2. 案例说明：需要把python的jieba迁移到julia，给prompt的时候中英文都试过；出现的问题主要两个：
    (1) 大模型生成的julia代码，很多次只是形式上与python一致，但字符串处理时的索引全部是python风格的（0起始、每个中文算一个offset）；指出索引不正确后，它会认错、并批量给生成代码的索引+1——显然，对中文字符串处理来说也是不正确的；
    (2) GPT生成的代码里有julia不存在、或者与python同名但功能和/或入参不同的函数，强调不正确后它会给函数换个名字，问题照旧。
1 个赞