添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

如果你创建的是深度学习镜像,建议基于 nvidia/cuda 进行创建,下面就是基于此镜像进行创建的

在写Dockerfile的时候我们希望自动安装Miniconda,并且创建一个叫做torch的环境,并且安装相应的包,下面是我写的Dockerfile文件

第一个Dockerfile

第一个Dockerfile的编写如下

#!/bin/bash
FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04
RUN conda create -n torch -y python=3.8
# 用于激活环境,conda activate命令无效
RUN conda activate torch
RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html

然后出现了以下的问题,意思好像是没有初始化conda的shell,一把来说我们都是用bash,docker初始化的时候默认是用的是sh,所以我们加入conda init bash再试一次

CommandNotFoundError: Your shell has not been properly configured to use 'conda activate'.
To initialize your shell, run
    $ conda init <SHELL_NAME>
Currently supported shells are:
  - bash
  - fish
  - tcsh
  - xonsh
  - zsh
  - powershell
See 'conda init --help' for more information and options.
IMPORTANT: You may need to close and restart your shell after running 'conda init'.

第二个Dockerfile

#!/bin/bash
FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04
RUN conda create -n torch -y python=3.8
# 用于激活环境,conda activate命令无效
RUN conda init bash \
    && conda activate torch
RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html

很可惜的是,依然出现了上面的错误

最终的Dockerfile

如果没有办法在Dockerfile中激活环境,就没有办法安装相应的包,经过查找发现可以使用conda run -n myenv command在Dockerfile中激活conda环境,下面给出其中的问题链接

链接1
链接2

最终版本如下所示

#!/bin/bash
FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04
RUN conda create -n torch -y python=3.8
# 用于激活环境,conda activate命令无效
SHELL ["conda", "run", "-n", "ffmpeg_env", "/bin/bash", "-c"]
# 成功激活
RUN  conda activate torch
RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html
startdocker -u "--ipc=host --shm-size 32G"  -P /ghome/用户名 -D /gdata/用户名 -c "sh /ghome/用户名/bash脚本" bit:5000/deepo
把pytho...
                                    在docker里面使用shell激活conda环境,直接使用conda activate VENV 或者source activate VENV 发现使用shell脚本时提示conda命令找不到,使用source时虽然没有报错,但是环境并没有起来,要是在docker里面使用两个命令都能激活conda环境。
解决办法如下:
1.shell脚本start_conda.sh:
			#!/bin/bash
			source /home/yourhostname/anaconda3/etc/profil
RUN cd /root \
&& sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/conda \
&& rm -f Miniconda3-latest-Linux-x86_64.sh \
&& ln -s /opt/conda/e
为了方便开发,在Docker Hub官方选择一个合适的condadocker镜像,然后下载到本地。
我选择了“docker-anaconda”,地址是:https://hub.docker.com/r/continuumio/anaconda3
下载命令如下:
docker pull continuumio/anaconda.
https://docs.docker.com/engine/reference/builder/
docker通过conda实现多套环境,但与物理机或者dev的流程有所差异,直接把安装命令搬到dockerfile不一定能执行成功
1.在dockerfile创建多套环境
 创建多套环境主要通过conda命令:co...
                                    在Linux终端下直接docker的代码 并将代码的输出文件 映射到Linux终端路径下。进入这个镜像可以看到里面含有前面复制进来的文件,以及创建的虚拟环境等。查看新镜像是否建立成功 :docker images。pull好镜像后,查看,修改tag和image名称。在该虚拟环境部署需要的运行环境,代码等。在镜像里进入conda创建的虚拟环境。在容器使用conda创建虚拟环境。pull 一个 conda镜像。可以看到已经生成了2.0的镜像。将部署好的容器保存为新镜像。
                                    dockerfile使用minicondaconda not found
RUN wget --quiet https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda.sh && \
    /bin/bash ~/miniconda.sh -b -p /opt/conda && \
    rm ~/miniconda.sh && \
身为懒癌患者,必然使用全功能的anaconda,但不想同时装py27和py35两个版本的anaconda巨无霸(同时装两个, 
不知道conda是否也可以管理环境),于是选择用conda装python27的环境及一些必要的包。 
弄了几天终于把办公电脑和家里的Mac机上的环境都配好了,即使有了官方的安装教材,也踩了不少坑。 
(因为国内主要的期货交易API接口只有windows和linux版,所以Mac上的环境只能用来回测,无法
                                    切换至清华镜像源
cmd输入:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
添加Pytorch 清华源(清华源针对pytorch有单独的源)
cmd输入:
conda config --add channels ht
GitHub Actions 是 GitHub 推出的功能,可以为我们的项目构建自动化工作流。例如代码检查,自动化打包,测试,发布版本等等。入口在项目 Pull Requests 旁边。
本篇文章主要是趟一遍其的小坑,让大家在第一次使用的时候能比较顺利的跑通。其主要用到了 GitHub,Docker,SpringBoot,Nginx 等技术。对这些技术还不是很了解的伙伴,可以先自行查阅一下资料哈。????
创建 SpringBoot 工程
使用 IDEA 创建一个 SpringBoot
最近在接触docker的过程,发现conda的使用不可避免,在docker用到镜像开启新的容器势必要再配一遍anaconda,而我每次都要搜索一大堆配置指令,在搜索过程就耗费了大量时间,这次必须做一次完整的总结。
1.conda的linux安装
1.1 配置环境
在root权限下:(否则加root)
yum install -y vim (这是linux安装工具的命令)
vim ~/.bashrc
然后加入下面的语句(将conda的安装环境加入路径)
export PATH=/home/xx
                                    我正在尝试使用一些conda环境创建一个docker容器。当我在交互模式下运行容器时conda update --allconda env create -f env.yml运行没有问题。但是,每当我尝试使用Docker文件执行这些命令时,我都会收到/bin/sh: 1: conda: command not foudDocker文件如下所示:FROM ubuntu:latestRUN apt-g...