斯坦福搞出来个“草泥马”，ChatGPT的平替？

「核旋风」

一夜之间，大模子界又炸出个big news！
            斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，大家都可微调Meta家70亿参数的LLaMA大模子，结果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且照旧单卡就能运行的那种，乃至树莓派、手机都能hold住！
                        
            另有一个更绝的“骚操纵”。
            研究所涉及到的数据集，是斯坦福团队花了不到500美元用OpenAI的API来天生的。
            以是整个过程下来，就等同于GPT-3.5本身教出了个半斤八两的对手AI。（薅羊毛高手……）
            然后团队还说，用大多数云盘算平台去微调练习好的模子，本钱也不到100美元：复制一个GPT-3.5结果的AI，很自制，很轻易，还很小。
            而且团队还把数据集（秒省500美元）、代码齐备都给开源了，这下子大家都能去微调个结果炸裂的对话AI：
                        
            项目在GitHub发布才半天时间，便已经狂揽1800+星，火爆水平可见一斑。
            Django团结开辟者乃至对斯坦福的新研究用“惊天大事”来形容：
                        
            不但云云，斯坦福团队还搞了个demo，在线可玩的那种。
            话不多说，我们如今就来看看这个“草泥马”的结果。
            比肩davinci-003的草泥马Aplaca
            在斯坦福官方的演示中，他们先小试牛刀地提了一个题目：
            什么是羊驼？它和美洲驼的区别是什么？
                        
            草泥马Aplaca给出的答案较为干练：羊驼是一种小型骆驼科动物，原产于秘鲁、玻利维亚、厄瓜多尔和智利；它比美洲驼小，羊毛更细，也没有驼峰。
            而后又简朴的先容了二者群居生存的差别。
            同样的题目如果交给ChatGPT（GPT3.5-turbo），则答案就不会像草泥马Aplaca那般简便：
                        
            对此，团队给出的表明是：Alpaca的答案通常比ChatGPT短，反映出text-davinci-003的输出较短。
            而后团队演示了让草泥马Alpaca写邮件：写一封e-mail庆贺被斯坦福大学登科的新生，并提到你很高兴能亲身见到他们。
            草泥马Alpaca对于这个使命也是信手拈来，直接给出了一个像模像样的邮件模板：
                        
            难度再次进阶，团队这次提出了让草泥马Alpaca写论文择要的需求：写一篇颠末深图远虑的呆板学习论文择要，证实42是练习神经网络的最优seed。
            草泥马Alpaca给出的答案从内容上来看，非常符合大多数论文的择要情势：试图答复什么题目、用了什么方法、效果怎样，以及将来预测。
                        
            固然，也有如饥似渴的网友亲身了局试验，发现草泥马Alpaca写代码也是不在话下。
                        
            不外即便草泥马Alpaca可以或许hold住大部门题目，但这并不意味着它没有缺陷。
            比方团队便演示了一个例子，在答复“坦桑尼亚的都城是那里”的题目时，草泥马Alpaca给出的答案是“达累斯萨拉姆”。
            但现实上早在1975年便被“多多马”代替了。
                        
            除此之外，如果亲身体验过“草泥马”Alpaca就会发现，它……巨慢：
                        
            对此，有网友以为大概是利用的人太多的缘故原由。
                        
            条记本、手机、树莓派都能跑
            Meta开源的LLaMA大模子，刚发布几周就被各人安排明确了，单卡就能运行。
            以是理论上，基于LLaMA微调的Alpaca同样可以轻松在当地摆设。
            没有显卡也不要紧，苹果条记本乃至树莓派、手机都可以玩。
            在苹果条记本摆设LLaMA的方法来自GitHub项目llama.cpp，利用纯C/C++做推理，还专门对ARM芯片做了优化。
                        
            作者实测，M1芯片的MacBook Pro上即可运行，别的也支持Windows和Linux体系。
                        
            照旧这个C++移植版本，有人乐成在4GB内存的树莓派4上乐成运行了LLaMA的 70亿参数版本。
            固然速率非常慢，约莫10秒天生一个token（也就是一分钟蹦出4.5个单词）。
                        
            更离谱的是仅仅2天之后，有人把LLaMA模子量化压缩（权重转换成更低精度的数据格式）后乐成在Pixel 6安卓手机上运行（26秒一个token）。
            Pixel 6利用谷歌自研处置惩罚器Google Tensor，跑分结果在骁龙865+到888之间，也就是说新一点的手机理论上都能胜任。
                        
            微调数据集也开源
            斯坦福团队微调LLaMA的方法，来自华盛顿大学Yizhong Wang等客岁底提出的Self-Instruct。
                        
            以175个题目作为种子使命，让AI本身从中组合出新的题目以及天生配套答案实例，人工过滤掉低质量的，再把新使命添加到使命池里。
            全部这些使命，之后可以接纳InstructGPT的方法让AI学会怎样依照人类指令。
            套娃几圈下来，相称于让AI本身引导本身。
                        
            斯坦福版Alpaca，就是花了不到500美元利用OpenAI API天生了5.2万个如许的示例搞出来的。
            这些数据同样开源了出来，而且比原论文的数据多样性更高。
                        
            同时还给出了天生这些数据的代码，也就是说假如有人还嫌不敷，可以再去自行扩充微调数据，继承进步模子的体现。
                        
            微调代码也会在HuggingFace官方支持LLaMA后放出。
                        
            不外Alpaca终极的模子权重必要Meta允许才气发布，而且继续了LLaMA的非商用开源协议，克制任何贸易用途。
            而且由于微调数据利用了OpenAI的API，根据利用条款也克制用来开辟与OpenAI形成竞争的模子。
            One More Thing
            还记得AI绘画的发展进程吗？
            2022年上半年还只是话题热度高，8月份Stable Diffusion的开源让本钱降落到可用，并由此产生爆炸式的工具创新，让AI绘画真正进入各类工作流程。
            语言模子的本钱，现在也降落到了个人电子装备可用的水平。
            末了照旧由Django框架首创人Simon Willison喊出：
            大语言模子的Stable Diffusion时候到了。
            梦晨 金磊 发自 凹非寺
            量子位 | 公众号 QbitAI

贝德隆防水

干得美丽