.:. 草榴社區 » 技術討論區 » 本地部署到电脑上 Llama 3.1. meta最强开源大模型。只比ChatGPT低一个等级, 可以离线使用, 也可在线使用,
--> 本頁主題: 本地部署到电脑上 Llama 3.1. meta最强开源大模型。只比ChatGPT低一个等级, 可以离线使用, 也可在线使用, 字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
呼兰大侠 


級別:風雲使者 ( 13 )
發帖:2624
威望:143 點
金錢:2576 USD
貢獻:252274 點
註冊:2015-08-14


本地部署到电脑上 Llama 3.1. meta最强开源大模型。只比ChatGPT低一个等级, 可以离线使用, 也可在线使用,



废话不多说直接上干货。
1.本地电脑安装的硬件要求:​
​Windows:3060以上显卡+8G以上显存+16G内存,硬盘空间至少20G
Mac:M1或M2芯片 16G内存,20G以上硬盘空间
在开始之前,首先我们需要安装Ollama客户端,来进行本地部署Llama3.1大模型
安装llama3.1-8b,至少需要8G的显存,
ollama run llama3.1:8b
安装llama3.1-70b,至少需要大约 70-75 GB 显存,适合企业用户,
ollama run llama3.1:78b
安装llama3.1-405b,这是一个极其庞大的模型,安装和运行它在本地需要非常高的显存和硬件资源,至少需要大约 400-450 GB 显存,适合顶级大企业用户,
ollama run llama3.1:405b

下载地址 https://ollama.com/download
下面是你是什么系统 下载什么版本。
 
下载完成安装即可
 
C盘如果小 建议换个大的。
展示页面
 
 
当然看着CMD 很蛋疼, 那么可以直接安装可视化界面。
https://www.freedidi.com/11195.html

 
 
 
 
 
 
 
 
 
 


本帖为转发,转自油管大佬 零度解说, 实在不会的请看原视频
https://www.youtube.com/watch?v=nvTQI6d8Gkw&ab_channel=%E9%9B%B6%E5%BA%A6%E8%A7%A3%E8%AF%B4
最简单的还不会的话 如果设备不行的话可以用在线网页版,网址在这。
注意 除本地部署成功后 ,不需要梯子, 下载 和视频教程 都需要梯子。
https://huggingface.co/chat/



赞(52)
DMCA / ABUSE REPORT | TOP Posted: 09-27 23:09 樓主 引用 | 發表評論
恐龙扛狼


級別:新手上路 ( 8 )
發帖:537
威望:54 點
金錢:4126 USD
貢獻:7 點
註冊:2023-07-16


电脑没显卡,玩不了
TOP Posted: 09-27 23:11 #1樓 引用 | 點評
梅拉蒂


級別:聖騎士 ( 11 )
發帖:1567
威望:286 點
金錢:13536 USD
貢獻:30000 點
註冊:2023-08-31

谢谢大佬分享
TOP Posted: 09-27 23:17 #2樓 引用 | 點評
jianka


級別:騎士 ( 10 )
發帖:2612
威望:408 點
金錢:3779 USD
貢獻:0 點
註冊:2012-02-11

谢谢分享
TOP Posted: 09-28 00:00 #3樓 引用 | 點評
shejizhen


級別:新手上路 ( 8 )
發帖:309
威望:31 點
金錢:754 USD
貢獻:0 點
註冊:2024-08-24

感谢分享
TOP Posted: 09-28 00:22 #4樓 引用 | 點評
风月无涯


級別:騎士 ( 10 )
發帖:3256
威望:326 點
金錢:2148 USD
貢獻:3884 點
註冊:2015-06-18

是时候上一台好电脑了。
TOP Posted: 09-28 00:30 #5樓 引用 | 點評
飞矢不动


級別:精靈王 ( 12 )
發帖:8199
威望:1004 點
金錢:7865 USD
貢獻:7629 點
註冊:2018-11-17

个人的话没有必要chatgpt4就够了 企业的话基于隐私敏感信息可以考虑本地模型
TOP Posted: 09-28 00:42 #6樓 引用 | 點評
要用中文名


級別:俠客 ( 9 )
發帖:2150
威望:226 點
金錢:128970 USD
貢獻:0 點
註冊:2022-04-03

这种硬件要求不是一般玩家爱好者能承受的,能玩得起苹果的vision pro也玩不起ai,这玩意儿太烧钱。关键是个人这么玩不经济,投入与产出完全不成比例,花大笔金钱看个烟花,偶尔为之可以,不会有人长期这么干的。买个chatgpt或者copilot账号才是最经济实惠的选择。


點評

    TOP Posted: 09-28 01:06 #7樓 引用 | 點評
    龙翔天下


    級別:俠客 ( 9 )
    發帖:2191
    威望:220 點
    金錢:7679 USD
    貢獻:0 點
    註冊:2021-12-27

    有多大呢?能干啥呢?能出色图和叫床换人吗?
    TOP Posted: 09-28 06:01 #8樓 引用 | 點評
    cspgxyl


    級別:精靈王 ( 12 )
    發帖:3803
    威望:627 點
    金錢:8024 USD
    貢獻:25493 點
    註冊:2011-06-06

    感谢分享
    TOP Posted: 09-28 06:44 #9樓 引用 | 點評
    詩和遠方


    級別:騎士 ( 10 )
    發帖:2918
    威望:347 點
    金錢:1299 USD
    貢獻:1654 點
    註冊:2023-12-02

    涨见识了
    TOP Posted: 09-28 07:53 #10樓 引用 | 點評
    海神的三叉戟


    級別:俠客 ( 9 )
    發帖:2439
    威望:299 點
    金錢:8353 USD
    貢獻:0 點
    註冊:2020-03-03


    谢谢分享
    TOP Posted: 09-28 08:01 #11樓 引用 | 點評
    巴黎伯伯


    級別:騎士 ( 10 )
    發帖:5065
    威望:507 點
    金錢:5403 USD
    貢獻:0 點
    註冊:2021-10-16

    感谢分享
    TOP Posted: 09-28 08:42 #12樓 引用 | 點評
    思尘


    級別:精靈王 ( 12 )
    發帖:5072
    威望:1720 點
    金錢:22551 USD
    貢獻:104 點
    註冊:2022-11-19

    感谢分享
    TOP Posted: 09-28 09:06 #13樓 引用 | 點評
    gnmlgb空心


    級別:新手上路 ( 8 )
    發帖:320
    威望:33 點
    金錢:660 USD
    貢獻:0 點
    註冊:2024-08-28

    谢谢分享
    TOP Posted: 09-28 11:22 #14樓 引用 | 點評
    拼搏吧学渣


    級別:新手上路 ( 8 )
    發帖:140
    威望:15 點
    金錢:283 USD
    貢獻:0 點
    註冊:2024-09-14

    感谢分享 1024
    TOP Posted: 09-28 14:56 #15樓 引用 | 點評
    风中的丝袜


    級別:騎士 ( 10 )
    發帖:3940
    威望:395 點
    金錢:10223 USD
    貢獻:0 點
    註冊:2023-05-11

    内容很丰富
    TOP Posted: 09-28 16:45 #16樓 引用 | 點評
    wfghefg


    級別:新手上路 ( 8 )
    發帖:242
    威望:25 點
    金錢:2396 USD
    貢獻:0 點
    註冊:2015-11-10


    感谢分享,适合企业吧
    TOP Posted: 09-28 17:15 #17樓 引用 | 點評
    点少天


    級別:新手上路 ( 8 )
    發帖:5
    威望:1 點
    金錢:5 USD
    貢獻:0 點
    註冊:2024-07-23

    1024
    TOP Posted: 09-28 17:36 #18樓 引用 | 點評
    qqq0623


    級別:精靈王 ( 12 )
    發帖:45216
    威望:4404 點
    金錢:1975834 USD
    貢獻:1137 點
    註冊:2011-06-06

    感谢分享
    TOP Posted: 09-28 17:43 #19樓 引用 | 點評
    罪恶之源


    級別:精靈王 ( 12 )
    發帖:10565
    威望:1073 點
    金錢:267843 USD
    貢獻:92650 點
    註冊:2011-06-06

    感谢分享
    ------------------------
    S
    TOP Posted: 09-28 21:08 #20樓 引用 | 點評
    静默的夜


    級別:俠客 ( 9 )
    發帖:838
    威望:142 點
    金錢:1092 USD
    貢獻:1 點
    註冊:2022-04-12

    学习了,去搞个电脑试试
    TOP Posted: 09-28 21:52 #21樓 引用 | 點評
    XD永远的神


    級別:新手上路 ( 8 )
    發帖:459
    威望:81 點
    金錢:1016 USD
    貢獻:2 點
    註冊:2023-06-01

    感谢分享
    TOP Posted: 09-28 22:25 #22樓 引用 | 點評
    lianfu62


    級別:騎士 ( 10 )
    發帖:1559
    威望:357 點
    金錢:1861 USD
    貢獻:0 點
    註冊:2011-06-06


    看看
    TOP Posted: 09-28 22:28 #23樓 引用 | 點評
    jieye叶


    級別:新手上路 ( 8 )
    發帖:196
    威望:20 點
    金錢:232 USD
    貢獻:0 點
    註冊:2024-09-03

    谢谢分享
    TOP Posted: 09-28 22:29 #24樓 引用 | 點評

    .:. 草榴社區 -> 技術討論區

    快速回帖 頂端
    內容
    HTML 代碼不可用

    使用簽名
    Wind Code自動轉換

    按 Ctrl+Enter 直接提交