在使用出colab进行模型训练时,发现colab的python版本更新为了3.7.11,而我的代码要在python3.6下才行配置好环境,于是,开始修改python版本,并配置环境。
1、使用如下命令,将python切换为python3.6
!sudo apt install python3.6
!update-alternatives --install /usr/local/bin/python3 python3 /usr/bin/python3.6 2
!update-alternatives --install /usr/local/bin/python3 python3 /usr/bin/python3.7 1
!python --version
运行结果如下:
2、给python3.6安装pip
!apt-get install python3-pip
3、使用pip安装需要的库
!python3.6 -m pip install Keras==2.2.5
前面一定加上 !python3.6,不加的话会默认安装到python3.7环境下。
4、切换目录
import os
os.chdir("/content/drive/app/food/dishes")
os.getcwd()
5、运行文件
!python3.6 train.py
!python3.6 要加要加要加
这样就完成啦!!!!!
有什么问题可以在评论区交流
结束!!!
在使用出colab进行模型训练时,发现colab的python版本更新为了3.7.11,而我的代码要在python3.6下才行配置好环境,于是,开始修改python版本,并配置环境。1、使用如下命令,将python切换为python3.6!sudo apt install python3.6!update-alternatives --install /usr/local/bin/python3 python3 /usr/bin/python3.6 2!update-alternatives --i
colab_blender
这是一个Google Colab Python笔记本,可用于通过云中的GPU渲染混合器文件。 需要一个Google帐户! 稍作修改,它就可以与其他Python Notebook计算产品(如kaggle!)一起使用!
首先:您需要拥有一个Google帐户!
登录后,您可以将找到的脚本上传到也可以只使用上面的“ Open in colab徽章”。
现在,您需要将.blend文件和所有必需的单独资产上传到Google云端硬盘(通过网络gui或桌面应用程序)。
完成后,在runblender.ipynb中打开runblender.ipynb ,然后将.blend文件的名称和路径插入指定的脚本字段并运行该脚本。
系统将提示您授权Colab需要访问您的Google云端硬盘。
其他运行时
该脚本不是Google Colab独有的脚本,但可能需要稍作修改才能运行
我们有时候根据具体任务,需要变动python版本,但Colab官方给出的解释是只有python2.7和python3.6可用,拜托,python3.9都出来啦,现在给出切换python3.8参考代码。
按照以下代码一步步执行即可:
#察看当前python 版本
!python -V
# install Anaconda3
!wget -qO ac.sh https://repo.anaconda.com/archive/Anaconda3-2020.07-Linux-x86_64.sh
!bash ./
也就是:How to change Colab‘s Python version from 3.7 to 3.6
目前(2021/11)GoogleColab中支持的是Python3.7.12,但是运行之前的项目可能需要更低版本的Python(我这次是3.6)。
我搜了很多方法,包括虚拟环境,修改系统变量,安装minicoda,结果是又麻烦又失败。
在Colab中可以查到,其实是安装了很多版本的
!ls /usr/bin/python*
其实根本不用安装别的版本也不用切换
在pip requirement
1.把python默认版本3.7换成3.6,需要先把pip卸载了,换成3.6后再安装pip,不然后面pip下载安装的包在3.7的包下。
#卸载python3.7下的pip
!python -m pip uninstall pip
2.删除python3.7的软连接,然后换成python3.6
1.先把这个路径下的文件删除“ /usr/local/bin/python
2.把python3.6的软连接设置为python
!sudo update-alternatives --remove pyt
【资源说明】
该项目是个人毕设项目源码,评审分达到95分,调试运行正常,确保可以运行!放心下载使用。
该项目资源主要针对计算机、自动化等相关专业的学生或从业者下载使用,也可作为期末课程设计、课程大作业、毕业设计等。
具有较高的学习借鉴价值!基础能力强的可以在此基础上修改调整,以实现类似其他功能。
项目主要完成的任务是对天文图像的降噪处理
采用的方法是先在图片上产生噪声,将噪声图片视为训练集,原图像视为标签,通过Unet网络进行训练
训练平台是google colab
### 产生数据
数据集在npy文件夹下。产生原始数据的函数为generate_data.py
通过generate_data.py在npy数据集中寻找所有黑色率小于0.35的204张图片。图片的列表在figurelist.txt中
同时产生一个(204,400,400)的npy文件origin.npy
### 训练
先在本地文件Unet.py中写好训练的代码。
并通过tensorboard产生logs文件,在tensorboard提供的本地网页得到可视化的网络结构。
之后再google colab中上传origin.npy数据集,并在google colab用本笔记中的代码进行训练。
得到traing_Time43.h5网络模板文件
### 预测
再次使用generate_data.py文件避开之前采用的npy图片产生evallist.txt文件得到一些可用于预测的文件。
通过predict.py 读取evallist.txt得到数据,用和训练类似的方法产生噪声文件,并将预测的结果和噪声图片放入result文件夹中
通过result文件进行数据可视化
以及训练数据GolbalLoss.txt文件
### 数据可视化
先画出了训练中的Loss函数
可以任意读取result中predict的数据
通过Show函数得到图像在1-50部分的像素分布
通过pltshow展示图片,接下来直观地展示产生的噪声和去噪之后的结果。
### 先进性分析
Unet本身多用于处理图像的分割和语义分析,本项目则尝试了使用Unet进行天文图像的去噪。
不同于一般的Unet,在Unet的网络结构中加入了含有曝光时间的张量,增加了项目的鲁棒性。
最后一层也没有采用传统的‘sigmod’函数而是直接传递全连接的结果,把原图作为训练数据的标签集。
采用tensorflow2.0中的layers层, 可以较为完整地看到网络的内在搭建逻辑。并使用了tensorboard对网络结构进行了可视化。
git clone https://github.com/vfosnar/AIDungeon.git
cd AIDungeon/
conda create -n AID python=3.7.9 tensorflow-gpu=1.15
conda activate AID
pip install -r "requirements.txt"
然后使用torrent在model_v5.torrent.zip中下载模型,然后将文件放在generator / gpt2 / models / model_v5 /中
conda activate AID
python play.py
原始存储库旨在在Linux上运行,但该版本也应在Windows上运行。
多合一代码
此存储库中的_build.py存储库进行编码并将其嵌入到单个Python代码中,该代码可以在Jupyter Notebook服务(例如Kaggle和Google Colab)中运行。
该存储库是基于开发的,并进行了以下修改:
支持对存储库中的所有必要文件(例如.py , .yml等)进行编码(而不是指定目录名称)。
通过将os.system替换为!支持在Jupyter输出中显示stdout ! 。
通过删除setup.py并将模板嵌入到要构建的代码中来进行简化。
通过重命名澄清。
将_build.py复制到您的(本地)存储库根目录。
如果您的主代码不是main.py请打开_build.py并修改template的最后一行( !python main.py )。
python _build.py
将当前目录中生成的_one_code.py的内容复制到Jupy
穷酸学生搞deep learning,连块GPU都没得用,实在是惨不忍睹。但又要用GPU怎么办,总不可能祈祷老板发善心。这个时候Goole给了我希望,colab向社会各界想学习deep learning的同志提供免费的CPU,GPU,TPU。这里记录一下colab的大概使用。
正确打开colab
1.colab打开就能直接使用,但当你第二次打开的时候,之间的文件和数据就直接清零了。这肯定不能...