当前位置: 首页 > news >正文

酒店管理专业南京百度推广优化排名

酒店管理专业,南京百度推广优化排名,怎么做网站优化 site,公共资源交易中心职责刚刚在Windows10上搭建环境来对llama2做finetune,里面坑还是挺多的,这里把印象中的坑整理了一下以作备忘。 llama-recipes是meta的开源项目,Github地址为:GitHub - facebookresearch/llama-recipes: Examples and recipes for Ll…

刚刚在Windows10上搭建环境来对llama2做finetune,里面坑还是挺多的,这里把印象中的坑整理了一下以作备忘。

llama-recipes是meta的开源项目,Github地址为:GitHub - facebookresearch/llama-recipes: Examples and recipes for Llama 2 model

llama2同样也是meta的开源LLM模型,因此用此项目做finetune应该是正确的方向;

模型的选择

模型在自然是在huggingface上下载到的,上面的模型很多,因此您也有很多选择。程序加载模型采用了torch因此需要选择带有pytorch-xxx.bin的目录。本人选择的是daryl149/llama-2-7b-chat-hf(daryl149/llama-2-7b-chat-hf · Hugging Face)

数据集选择

默认数据集是samsum_dataset;使用这个数据集的目标是为一段文字做总结。本人的模型微调目标是问答,所以使用了模型提到的另一个数据集:stanford的alpaca_dataset(文本数据21.7 MB)。

数据集请见:Stanford CRFM 

这里我是用项目自带的notebook “quickstart”来一步步执行的,所以我们需要在代码中对数据集进行调整

train_dataset = get_preprocessed_dataset(tokenizer, alpaca_dataset, 'train')

依赖包下载

依赖包下载比较麻烦,这里是坑最多的地方;国内的网速是一方面,类库对Windows系统的支持是另一方面。

国内镜像加速

很庆幸在互联网上找到了这个清华的源,在pip安装的时候可以加上参数:

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn

torch的下载

我这边经过requirement下载的默认是CPU版本的(😓)

需要卸载并安装GPU版本的,本人目前没有调通CPU版本的程序(从实际角度来说,也是GPU在真实场景下使用概率更高)。如何在安装请参考Start Locally | PyTorch

这里我通过CONDA,装的是CUDA11.8

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

一步步处理缺失的包

这里大概就是缺什么包就装什么包

有一点需要额外关注的,就是程序识别不到GPU

这种情况一是安装了CPU版本的pytorch,在前面提到了解决方法;还有一种可能是bitsandbytes的问题;

在Windows10中,我最后同时安装了bitsandbytes 0.39.0版本和bitsandbytes-Windows 0.37.5版本;

同时参考了这篇文章:win11下bitsandbytes的用法 – yinfupai

我仅仅是将main.py 中的evaluate_cuda_setup() 函数做了修改,如下:

#return binary_name, cudart_path, cuda, cc, cuda_version_string
return "libbitsandbytes_cuda118.dll", None, None, None, None

我安装的cuda版本是11.8,因此做如上修改;

运行程序

在我的机器上运行一个epoch要50多个小时(😓),想要发挥作用还是需要更好的算力支持啊!

http://www.yidumall.com/news/33063.html

相关文章:

  • 美女色情做视频网站台州百度快照优化公司
  • 日照网站优化seo怎么做优化方案
  • 微网站怎么做的好今日新闻最新头条
  • 江安网站建设软文写作的三个要素
  • 网站的请求服务做优先级域名注册管理机构
  • 做分享网站问答推广
  • 游戏开发难还是网站开发难市场营销案例分析
  • 用js做网站登录公司网络推广网站
  • 沧州门户网站腾讯企点下载
  • 外国人做数学视频网站旅行网站排名
  • 创建个网站需要多少钱深圳外贸网络推广渠道
  • 望牛墩镇做网站百度竞价推广方案
  • 动态网站开发实训报告1优化教程网官网
  • 网站导航栏 字体有效果的网站排名
  • 应用商店下载安装打开长沙优化排名
  • 西安网站开发外包中国的网络营销公司
  • 上海网站建设专业公司排名免费crm
  • 重庆的网站建设公司应用商店aso优化
  • 湘潭网站建站公司优化设计答案六年级
  • 易语言可以做网站嘛网页优化包括什么
  • 厦门市建设局查询保障摇号网站首页新闻发布平台有哪些
  • 重庆公司直招站长工具seo综合查询网
  • 所有娱乐场网址平台安卓优化大师旧版本下载
  • 河北雄安建设投资集团网站百度网站优化公司
  • 网站建设咨询公线下推广宣传方式有哪些
  • 全屏展示网站图片如何做自适应餐饮店如何引流与推广
  • 加强主流网站集群传播能力建设个人网站模板
  • 天津网上办事seo如何优化关键词
  • webstation做网站武汉建站公司
  • 做外贸网站的价格域名seo站长工具