收集:本地运行Llama3

news/发布时间2024/5/7 1:53:02
本地运行Llama3新方法#
国外有网友火速分享了在本地(Windows、Linux、Mac)一键运行 Llama 3 的新方法~
废话不多说,先看效果。【图1】
在视频1倍速播放中,他用 OpenWebUI 在自己的 Macbook Pro M1 Max 64G 上成功运行了 Llama 3 。
而且还添加了侧边栏展开收起。【图2】
以上效果他通过两个步骤实现。1.安装开源 OpenWebUI(具体链接文末提供)
              2.在 OpenWebUI 的 “拉取模型” 菜单中输入 llama3:instruct,然后单击下载按钮
              3.一键开启运行【图5】

顺便一提, OpenWebUI 还支持 llama 3 与 PDF 及其他文件聊天。【图6】

此外,他还分享了利用 llama 3 生成图像的方法。【图7】

具体而言,他使用开源 Python 库#Gradio#构建了一个可以使用 Stable Diffusion XL Turbo 和 Diffusers 库生成图像的应用程序。

开发者只需将 huggingface hub 名称从“stabilityai/stable-diffusion-xl-turbo”更改为“stabilityai/sdxl-turbo”,然后使用 Gepeto 生成一个启动器脚本即可。【图8】

最后,网友强调了, llama 3 70B 模型占用大约 40G 内存,尝试前需确保磁盘空间。

开源地址合集⬇️
OpenWebUI 开源地址:网页链接
Llama 3开源地址:网页链接
Llama 3在线体验:网页链接
Github地址:网页链接

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ulsteruni.cn/article/52826601.html

如若内容造成侵权/违法违规/事实不符,请联系编程大学网进行投诉反馈email:xxxxxxxx@qq.com,一经查实,立即删除!

相关文章

TPU-MLIR快速入门

12.1 TPU-MLIR快速入门 12.1.1 TPU-MLIR简介 后文假定用户已经处于docker里面的/workspace目录。 1.编译ONNX模型 以 yolov5s.onnx 为例, 介绍如何编译迁移一个onnx模型至BM1684X TPU平台运行。 该模型来自yolov5的官网: https://github.com/ultralytics/yolov5/releases/downl…

centos7安装python3.12.3(最新)

一.安装环境: Linux系统:centos7,可以正常访问互联网。 python版本:3.12.3,建议网工直接就是安装python3的最新版本,毕竟python2和我们网工更不相关了。 环境最基本的就这些了 二.安装步骤 1.安装python3: 不多说,直接上安装过程~ #只是将python3.12.3的安装包下载到 /…

Deep Hello world!

目录1. #include <stdio.h>2.int 整形数据类型3.main 函数4.printf 函数5.return 函数6.”{}”与“;” “Hellow world!"是初学者的第一份代码,可以说所学万物代码之基础。下面看一下代码是如何实现的:代码虽然简洁,但是包含了许多C语言的知识,我们从上往下看有…

20220405【黑历史】M1 Mac使用PD虚拟机配合VSC代替Keil烧录MM32单片机

0.前言因为智能车竞赛而接触到了MM32F32G9P这款单片机。而由于我很喜欢macOS系统,加上我同时喜欢剪视频,因此买了一个arm芯片的MacBook Pro,但这就限制了我没办法用双系统运行Windows系统,只能转而使用虚拟机。使用Mac烧录stm32的教程很多,但是很少有mm32的教程。理论上这…

OOP第一次博客作业

一. 前言 在过去三周里每周都有一次PTA大作业,每次的内容都是在前一次的内容上更加复杂,也更完善。这几次作业考察的不只是基础的Java语法,还有正则表达式,动态列表等,更注重语句之间的逻辑性。从前几次简单的程序要求一下跳到这么困难的题,让人有点难以适应。特别是不定…

OOP第一阶段题集总结

一.前言知识点:数组,字符串的使用,链表,hashmap,泛型的使用,正则表达式的使用,类的设计,类与类之间的关系,单一职责。 题量:题目数量为5+4+3,数量适中,其中都是前几题较简单,最后一题较为复杂,且每一次都是在前一次的基础上进行迭代。 难度:前几题基础简单,最后…