如果你创建的是深度学习镜像,建议基于 nvidia/cuda 进行创建,下面就是基于此镜像进行创建的
在写Dockerfile的时候我们希望自动安装Miniconda,并且创建一个叫做torch的环境,并且安装相应的包,下面是我写的Dockerfile文件
第一个Dockerfile的编写如下
#!/bin/bash FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04 RUN conda create -n torch -y python=3.8 # 用于激活环境,conda activate命令无效 RUN conda activate torch RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html 然后出现了以下的问题,意思好像是没有初始化conda的shell,一把来说我们都是用bash,docker初始化的时候默认是用的是sh,所以我们加入conda init bash再试一次 CommandNotFoundError: Your shell has not been properly configured to use 'conda activate'. To initialize your shell, run $ conda init <SHELL_NAME> Currently supported shells are: - bash - fish - tcsh - xonsh - zsh - powershell See 'conda init --help' for more information and options. IMPORTANT: You may need to close and restart your shell after running 'conda init'. 第二个Dockerfile #!/bin/bash FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04 RUN conda create -n torch -y python=3.8 # 用于激活环境,conda activate命令无效 RUN conda init bash \ && conda activate torch RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html 很可惜的是,依然出现了上面的错误 最终的Dockerfile 如果没有办法在Dockerfile中激活环境,就没有办法安装相应的包,经过查找发现可以使用conda run -n myenv command在Dockerfile中激活conda环境,下面给出其中的问题链接 链接1 链接2 最终版本如下所示 #!/bin/bash FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04 RUN conda create -n torch -y python=3.8 # 用于激活环境,conda activate命令无效 SHELL ["conda", "run", "-n", "ffmpeg_env", "/bin/bash", "-c"] # 成功激活 RUN conda activate torch RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html startdocker -u "--ipc=host --shm-size 32G" -P /ghome/用户名 -D /gdata/用户名 -c "sh /ghome/用户名/bash脚本" bit:5000/deepo 把pytho... 在docker里面使用shell激活conda环境,直接使用conda activate VENV 或者source activate VENV 发现使用shell脚本时提示conda命令找不到,使用source时虽然没有报错,但是环境并没有起来,要是在docker里面使用两个命令都能激活conda环境。 解决办法如下: 1.shell脚本start_conda.sh: #!/bin/bash source /home/yourhostname/anaconda3/etc/profil RUN cd /root \ && sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/conda \ && rm -f Miniconda3-latest-Linux-x86_64.sh \ && ln -s /opt/conda/e 为了方便开发,在Docker Hub官方中选择一个合适的condadocker镜像,然后下载到本地。 我选择了“docker-anaconda”,地址是:https://hub.docker.com/r/continuumio/anaconda3 下载命令如下: docker pull continuumio/anaconda. https://docs.docker.com/engine/reference/builder/ docker中通过conda实现多套环境,但与物理机或者dev中的流程有所差异,直接把安装命令搬到dockerfile中不一定能执行成功 1.在dockerfile中创建多套环境 创建多套环境主要通过conda命令:co... 在Linux终端下直接docker中的代码 并将代码的输出文件 映射到Linux终端路径下。进入这个镜像可以看到里面含有前面复制进来的文件,以及创建的虚拟环境等。查看新镜像是否建立成功 :docker images。pull好镜像后,查看,修改tag和image名称。在该虚拟环境中部署需要的运行环境,代码等。在镜像里进入conda创建的虚拟环境。在容器中使用conda创建虚拟环境。pull 一个 conda镜像。可以看到已经生成了2.0的镜像。将部署好的容器保存为新镜像。 dockerfile中使用miniconda 无conda not found RUN wget --quiet https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda.sh && \ /bin/bash ~/miniconda.sh -b -p /opt/conda && \ rm ~/miniconda.sh && \ 身为懒癌患者,必然使用全功能的anaconda,但不想同时装py27和py35两个版本的anaconda巨无霸(同时装两个, 不知道conda是否也可以管理环境),于是选择用conda装python27的环境及一些必要的包。 弄了几天终于把办公电脑和家里的Mac机上的环境都配好了,即使有了官方的安装教材,也踩了不少坑。 (因为国内主要的期货交易API接口只有windows和linux版,所以Mac上的环境只能用来回测,无法 切换至清华镜像源 cmd中输入: conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --set show_channel_urls yes 添加Pytorch 清华源(清华源针对pytorch有单独的源) cmd中输入: conda config --add channels ht GitHub Actions 是 GitHub 推出的功能,可以为我们的项目构建自动化工作流。例如代码检查,自动化打包,测试,发布版本等等。入口在项目 Pull Requests 旁边。 本篇文章主要是趟一遍其中的小坑,让大家在第一次使用的时候能比较顺利的跑通。其中主要用到了 GitHub,Docker,SpringBoot,Nginx 等技术。对这些技术还不是很了解的伙伴,可以先自行查阅一下资料哈。???? 创建 SpringBoot 工程 使用 IDEA 创建一个 SpringBoot 最近在接触docker的过程中,发现conda的使用不可避免,在docker用到镜像开启新的容器中势必要再配一遍anaconda,而我每次都要搜索一大堆配置指令,在搜索过程中就耗费了大量时间,这次必须做一次完整的总结。 1.conda的linux安装 1.1 配置环境 在root权限下:(否则加root) yum install -y vim (这是linux安装工具的命令) vim ~/.bashrc 然后加入下面的语句(将conda的安装环境加入路径) export PATH=/home/xx 我正在尝试使用一些conda环境创建一个docker容器。当我在交互模式下运行容器时conda update --allconda env create -f env.yml运行没有问题。但是,每当我尝试使用Docker文件执行这些命令时,我都会收到/bin/sh: 1: conda: command not foudDocker文件如下所示:FROM ubuntu:latestRUN apt-g...
#!/bin/bash FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04 RUN conda create -n torch -y python=3.8 # 用于激活环境,conda activate命令无效 RUN conda activate torch RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html 然后出现了以下的问题,意思好像是没有初始化conda的shell,一把来说我们都是用bash,docker初始化的时候默认是用的是sh,所以我们加入conda init bash再试一次
然后出现了以下的问题,意思好像是没有初始化conda的shell,一把来说我们都是用bash,docker初始化的时候默认是用的是sh,所以我们加入conda init bash再试一次
CommandNotFoundError: Your shell has not been properly configured to use 'conda activate'. To initialize your shell, run $ conda init <SHELL_NAME> Currently supported shells are: - bash - fish - tcsh - xonsh - zsh - powershell See 'conda init --help' for more information and options. IMPORTANT: You may need to close and restart your shell after running 'conda init'. 第二个Dockerfile #!/bin/bash FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04 RUN conda create -n torch -y python=3.8 # 用于激活环境,conda activate命令无效 RUN conda init bash \ && conda activate torch RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html 很可惜的是,依然出现了上面的错误 最终的Dockerfile 如果没有办法在Dockerfile中激活环境,就没有办法安装相应的包,经过查找发现可以使用conda run -n myenv command在Dockerfile中激活conda环境,下面给出其中的问题链接 链接1 链接2 最终版本如下所示 #!/bin/bash FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04 RUN conda create -n torch -y python=3.8 # 用于激活环境,conda activate命令无效 SHELL ["conda", "run", "-n", "ffmpeg_env", "/bin/bash", "-c"] # 成功激活 RUN conda activate torch RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html startdocker -u "--ipc=host --shm-size 32G" -P /ghome/用户名 -D /gdata/用户名 -c "sh /ghome/用户名/bash脚本" bit:5000/deepo 把pytho... 在docker里面使用shell激活conda环境,直接使用conda activate VENV 或者source activate VENV 发现使用shell脚本时提示conda命令找不到,使用source时虽然没有报错,但是环境并没有起来,要是在docker里面使用两个命令都能激活conda环境。 解决办法如下: 1.shell脚本start_conda.sh: #!/bin/bash source /home/yourhostname/anaconda3/etc/profil RUN cd /root \ && sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/conda \ && rm -f Miniconda3-latest-Linux-x86_64.sh \ && ln -s /opt/conda/e 为了方便开发,在Docker Hub官方中选择一个合适的condadocker镜像,然后下载到本地。 我选择了“docker-anaconda”,地址是:https://hub.docker.com/r/continuumio/anaconda3 下载命令如下: docker pull continuumio/anaconda. https://docs.docker.com/engine/reference/builder/ docker中通过conda实现多套环境,但与物理机或者dev中的流程有所差异,直接把安装命令搬到dockerfile中不一定能执行成功 1.在dockerfile中创建多套环境 创建多套环境主要通过conda命令:co... 在Linux终端下直接docker中的代码 并将代码的输出文件 映射到Linux终端路径下。进入这个镜像可以看到里面含有前面复制进来的文件,以及创建的虚拟环境等。查看新镜像是否建立成功 :docker images。pull好镜像后,查看,修改tag和image名称。在该虚拟环境中部署需要的运行环境,代码等。在镜像里进入conda创建的虚拟环境。在容器中使用conda创建虚拟环境。pull 一个 conda镜像。可以看到已经生成了2.0的镜像。将部署好的容器保存为新镜像。 dockerfile中使用miniconda 无conda not found RUN wget --quiet https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda.sh && \ /bin/bash ~/miniconda.sh -b -p /opt/conda && \ rm ~/miniconda.sh && \ 身为懒癌患者,必然使用全功能的anaconda,但不想同时装py27和py35两个版本的anaconda巨无霸(同时装两个, 不知道conda是否也可以管理环境),于是选择用conda装python27的环境及一些必要的包。 弄了几天终于把办公电脑和家里的Mac机上的环境都配好了,即使有了官方的安装教材,也踩了不少坑。 (因为国内主要的期货交易API接口只有windows和linux版,所以Mac上的环境只能用来回测,无法 切换至清华镜像源 cmd中输入: conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --set show_channel_urls yes 添加Pytorch 清华源(清华源针对pytorch有单独的源) cmd中输入: conda config --add channels ht GitHub Actions 是 GitHub 推出的功能,可以为我们的项目构建自动化工作流。例如代码检查,自动化打包,测试,发布版本等等。入口在项目 Pull Requests 旁边。 本篇文章主要是趟一遍其中的小坑,让大家在第一次使用的时候能比较顺利的跑通。其中主要用到了 GitHub,Docker,SpringBoot,Nginx 等技术。对这些技术还不是很了解的伙伴,可以先自行查阅一下资料哈。???? 创建 SpringBoot 工程 使用 IDEA 创建一个 SpringBoot 最近在接触docker的过程中,发现conda的使用不可避免,在docker用到镜像开启新的容器中势必要再配一遍anaconda,而我每次都要搜索一大堆配置指令,在搜索过程中就耗费了大量时间,这次必须做一次完整的总结。 1.conda的linux安装 1.1 配置环境 在root权限下:(否则加root) yum install -y vim (这是linux安装工具的命令) vim ~/.bashrc 然后加入下面的语句(将conda的安装环境加入路径) export PATH=/home/xx 我正在尝试使用一些conda环境创建一个docker容器。当我在交互模式下运行容器时conda update --allconda env create -f env.yml运行没有问题。但是,每当我尝试使用Docker文件执行这些命令时,我都会收到/bin/sh: 1: conda: command not foudDocker文件如下所示:FROM ubuntu:latestRUN apt-g...
CommandNotFoundError: Your shell has not been properly configured to use 'conda activate'. To initialize your shell, run $ conda init <SHELL_NAME> Currently supported shells are: - bash - fish - tcsh - xonsh - zsh - powershell See 'conda init --help' for more information and options. IMPORTANT: You may need to close and restart your shell after running 'conda init'.
第二个Dockerfile #!/bin/bash FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04 RUN conda create -n torch -y python=3.8 # 用于激活环境,conda activate命令无效 RUN conda init bash \ && conda activate torch RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html 很可惜的是,依然出现了上面的错误 最终的Dockerfile 如果没有办法在Dockerfile中激活环境,就没有办法安装相应的包,经过查找发现可以使用conda run -n myenv command在Dockerfile中激活conda环境,下面给出其中的问题链接 链接1 链接2 最终版本如下所示 #!/bin/bash FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04 RUN conda create -n torch -y python=3.8 # 用于激活环境,conda activate命令无效 SHELL ["conda", "run", "-n", "ffmpeg_env", "/bin/bash", "-c"] # 成功激活 RUN conda activate torch RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html startdocker -u "--ipc=host --shm-size 32G" -P /ghome/用户名 -D /gdata/用户名 -c "sh /ghome/用户名/bash脚本" bit:5000/deepo 把pytho... 在docker里面使用shell激活conda环境,直接使用conda activate VENV 或者source activate VENV 发现使用shell脚本时提示conda命令找不到,使用source时虽然没有报错,但是环境并没有起来,要是在docker里面使用两个命令都能激活conda环境。 解决办法如下: 1.shell脚本start_conda.sh: #!/bin/bash source /home/yourhostname/anaconda3/etc/profil RUN cd /root \ && sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/conda \ && rm -f Miniconda3-latest-Linux-x86_64.sh \ && ln -s /opt/conda/e 为了方便开发,在Docker Hub官方中选择一个合适的condadocker镜像,然后下载到本地。 我选择了“docker-anaconda”,地址是:https://hub.docker.com/r/continuumio/anaconda3 下载命令如下: docker pull continuumio/anaconda. https://docs.docker.com/engine/reference/builder/ docker中通过conda实现多套环境,但与物理机或者dev中的流程有所差异,直接把安装命令搬到dockerfile中不一定能执行成功 1.在dockerfile中创建多套环境 创建多套环境主要通过conda命令:co... 在Linux终端下直接docker中的代码 并将代码的输出文件 映射到Linux终端路径下。进入这个镜像可以看到里面含有前面复制进来的文件,以及创建的虚拟环境等。查看新镜像是否建立成功 :docker images。pull好镜像后,查看,修改tag和image名称。在该虚拟环境中部署需要的运行环境,代码等。在镜像里进入conda创建的虚拟环境。在容器中使用conda创建虚拟环境。pull 一个 conda镜像。可以看到已经生成了2.0的镜像。将部署好的容器保存为新镜像。 dockerfile中使用miniconda 无conda not found RUN wget --quiet https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda.sh && \ /bin/bash ~/miniconda.sh -b -p /opt/conda && \ rm ~/miniconda.sh && \ 身为懒癌患者,必然使用全功能的anaconda,但不想同时装py27和py35两个版本的anaconda巨无霸(同时装两个, 不知道conda是否也可以管理环境),于是选择用conda装python27的环境及一些必要的包。 弄了几天终于把办公电脑和家里的Mac机上的环境都配好了,即使有了官方的安装教材,也踩了不少坑。 (因为国内主要的期货交易API接口只有windows和linux版,所以Mac上的环境只能用来回测,无法 切换至清华镜像源 cmd中输入: conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --set show_channel_urls yes 添加Pytorch 清华源(清华源针对pytorch有单独的源) cmd中输入: conda config --add channels ht GitHub Actions 是 GitHub 推出的功能,可以为我们的项目构建自动化工作流。例如代码检查,自动化打包,测试,发布版本等等。入口在项目 Pull Requests 旁边。 本篇文章主要是趟一遍其中的小坑,让大家在第一次使用的时候能比较顺利的跑通。其中主要用到了 GitHub,Docker,SpringBoot,Nginx 等技术。对这些技术还不是很了解的伙伴,可以先自行查阅一下资料哈。???? 创建 SpringBoot 工程 使用 IDEA 创建一个 SpringBoot 最近在接触docker的过程中,发现conda的使用不可避免,在docker用到镜像开启新的容器中势必要再配一遍anaconda,而我每次都要搜索一大堆配置指令,在搜索过程中就耗费了大量时间,这次必须做一次完整的总结。 1.conda的linux安装 1.1 配置环境 在root权限下:(否则加root) yum install -y vim (这是linux安装工具的命令) vim ~/.bashrc 然后加入下面的语句(将conda的安装环境加入路径) export PATH=/home/xx 我正在尝试使用一些conda环境创建一个docker容器。当我在交互模式下运行容器时conda update --allconda env create -f env.yml运行没有问题。但是,每当我尝试使用Docker文件执行这些命令时,我都会收到/bin/sh: 1: conda: command not foudDocker文件如下所示:FROM ubuntu:latestRUN apt-g...
#!/bin/bash FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04 RUN conda create -n torch -y python=3.8 # 用于激活环境,conda activate命令无效 RUN conda init bash \ && conda activate torch RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html 很可惜的是,依然出现了上面的错误 最终的Dockerfile 如果没有办法在Dockerfile中激活环境,就没有办法安装相应的包,经过查找发现可以使用conda run -n myenv command在Dockerfile中激活conda环境,下面给出其中的问题链接 链接1 链接2 最终版本如下所示 #!/bin/bash FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04 RUN conda create -n torch -y python=3.8 # 用于激活环境,conda activate命令无效 SHELL ["conda", "run", "-n", "ffmpeg_env", "/bin/bash", "-c"] # 成功激活 RUN conda activate torch RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html startdocker -u "--ipc=host --shm-size 32G" -P /ghome/用户名 -D /gdata/用户名 -c "sh /ghome/用户名/bash脚本" bit:5000/deepo 把pytho... 在docker里面使用shell激活conda环境,直接使用conda activate VENV 或者source activate VENV 发现使用shell脚本时提示conda命令找不到,使用source时虽然没有报错,但是环境并没有起来,要是在docker里面使用两个命令都能激活conda环境。 解决办法如下: 1.shell脚本start_conda.sh: #!/bin/bash source /home/yourhostname/anaconda3/etc/profil RUN cd /root \ && sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/conda \ && rm -f Miniconda3-latest-Linux-x86_64.sh \ && ln -s /opt/conda/e 为了方便开发,在Docker Hub官方中选择一个合适的condadocker镜像,然后下载到本地。 我选择了“docker-anaconda”,地址是:https://hub.docker.com/r/continuumio/anaconda3 下载命令如下: docker pull continuumio/anaconda. https://docs.docker.com/engine/reference/builder/ docker中通过conda实现多套环境,但与物理机或者dev中的流程有所差异,直接把安装命令搬到dockerfile中不一定能执行成功 1.在dockerfile中创建多套环境 创建多套环境主要通过conda命令:co... 在Linux终端下直接docker中的代码 并将代码的输出文件 映射到Linux终端路径下。进入这个镜像可以看到里面含有前面复制进来的文件,以及创建的虚拟环境等。查看新镜像是否建立成功 :docker images。pull好镜像后,查看,修改tag和image名称。在该虚拟环境中部署需要的运行环境,代码等。在镜像里进入conda创建的虚拟环境。在容器中使用conda创建虚拟环境。pull 一个 conda镜像。可以看到已经生成了2.0的镜像。将部署好的容器保存为新镜像。 dockerfile中使用miniconda 无conda not found RUN wget --quiet https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda.sh && \ /bin/bash ~/miniconda.sh -b -p /opt/conda && \ rm ~/miniconda.sh && \ 身为懒癌患者,必然使用全功能的anaconda,但不想同时装py27和py35两个版本的anaconda巨无霸(同时装两个, 不知道conda是否也可以管理环境),于是选择用conda装python27的环境及一些必要的包。 弄了几天终于把办公电脑和家里的Mac机上的环境都配好了,即使有了官方的安装教材,也踩了不少坑。 (因为国内主要的期货交易API接口只有windows和linux版,所以Mac上的环境只能用来回测,无法 切换至清华镜像源 cmd中输入: conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --set show_channel_urls yes 添加Pytorch 清华源(清华源针对pytorch有单独的源) cmd中输入: conda config --add channels ht GitHub Actions 是 GitHub 推出的功能,可以为我们的项目构建自动化工作流。例如代码检查,自动化打包,测试,发布版本等等。入口在项目 Pull Requests 旁边。 本篇文章主要是趟一遍其中的小坑,让大家在第一次使用的时候能比较顺利的跑通。其中主要用到了 GitHub,Docker,SpringBoot,Nginx 等技术。对这些技术还不是很了解的伙伴,可以先自行查阅一下资料哈。???? 创建 SpringBoot 工程 使用 IDEA 创建一个 SpringBoot 最近在接触docker的过程中,发现conda的使用不可避免,在docker用到镜像开启新的容器中势必要再配一遍anaconda,而我每次都要搜索一大堆配置指令,在搜索过程中就耗费了大量时间,这次必须做一次完整的总结。 1.conda的linux安装 1.1 配置环境 在root权限下:(否则加root) yum install -y vim (这是linux安装工具的命令) vim ~/.bashrc 然后加入下面的语句(将conda的安装环境加入路径) export PATH=/home/xx 我正在尝试使用一些conda环境创建一个docker容器。当我在交互模式下运行容器时conda update --allconda env create -f env.yml运行没有问题。但是,每当我尝试使用Docker文件执行这些命令时,我都会收到/bin/sh: 1: conda: command not foudDocker文件如下所示:FROM ubuntu:latestRUN apt-g...
#!/bin/bash FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04 RUN conda create -n torch -y python=3.8 # 用于激活环境,conda activate命令无效 RUN conda init bash \ && conda activate torch RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html 很可惜的是,依然出现了上面的错误
很可惜的是,依然出现了上面的错误
最终的Dockerfile 如果没有办法在Dockerfile中激活环境,就没有办法安装相应的包,经过查找发现可以使用conda run -n myenv command在Dockerfile中激活conda环境,下面给出其中的问题链接 链接1 链接2 最终版本如下所示 #!/bin/bash FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04 RUN conda create -n torch -y python=3.8 # 用于激活环境,conda activate命令无效 SHELL ["conda", "run", "-n", "ffmpeg_env", "/bin/bash", "-c"] # 成功激活 RUN conda activate torch RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html startdocker -u "--ipc=host --shm-size 32G" -P /ghome/用户名 -D /gdata/用户名 -c "sh /ghome/用户名/bash脚本" bit:5000/deepo 把pytho... 在docker里面使用shell激活conda环境,直接使用conda activate VENV 或者source activate VENV 发现使用shell脚本时提示conda命令找不到,使用source时虽然没有报错,但是环境并没有起来,要是在docker里面使用两个命令都能激活conda环境。 解决办法如下: 1.shell脚本start_conda.sh: #!/bin/bash source /home/yourhostname/anaconda3/etc/profil RUN cd /root \ && sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/conda \ && rm -f Miniconda3-latest-Linux-x86_64.sh \ && ln -s /opt/conda/e 为了方便开发,在Docker Hub官方中选择一个合适的condadocker镜像,然后下载到本地。 我选择了“docker-anaconda”,地址是:https://hub.docker.com/r/continuumio/anaconda3 下载命令如下: docker pull continuumio/anaconda. https://docs.docker.com/engine/reference/builder/ docker中通过conda实现多套环境,但与物理机或者dev中的流程有所差异,直接把安装命令搬到dockerfile中不一定能执行成功 1.在dockerfile中创建多套环境 创建多套环境主要通过conda命令:co... 在Linux终端下直接docker中的代码 并将代码的输出文件 映射到Linux终端路径下。进入这个镜像可以看到里面含有前面复制进来的文件,以及创建的虚拟环境等。查看新镜像是否建立成功 :docker images。pull好镜像后,查看,修改tag和image名称。在该虚拟环境中部署需要的运行环境,代码等。在镜像里进入conda创建的虚拟环境。在容器中使用conda创建虚拟环境。pull 一个 conda镜像。可以看到已经生成了2.0的镜像。将部署好的容器保存为新镜像。 dockerfile中使用miniconda 无conda not found RUN wget --quiet https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda.sh && \ /bin/bash ~/miniconda.sh -b -p /opt/conda && \ rm ~/miniconda.sh && \ 身为懒癌患者,必然使用全功能的anaconda,但不想同时装py27和py35两个版本的anaconda巨无霸(同时装两个, 不知道conda是否也可以管理环境),于是选择用conda装python27的环境及一些必要的包。 弄了几天终于把办公电脑和家里的Mac机上的环境都配好了,即使有了官方的安装教材,也踩了不少坑。 (因为国内主要的期货交易API接口只有windows和linux版,所以Mac上的环境只能用来回测,无法 切换至清华镜像源 cmd中输入: conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --set show_channel_urls yes 添加Pytorch 清华源(清华源针对pytorch有单独的源) cmd中输入: conda config --add channels ht GitHub Actions 是 GitHub 推出的功能,可以为我们的项目构建自动化工作流。例如代码检查,自动化打包,测试,发布版本等等。入口在项目 Pull Requests 旁边。 本篇文章主要是趟一遍其中的小坑,让大家在第一次使用的时候能比较顺利的跑通。其中主要用到了 GitHub,Docker,SpringBoot,Nginx 等技术。对这些技术还不是很了解的伙伴,可以先自行查阅一下资料哈。???? 创建 SpringBoot 工程 使用 IDEA 创建一个 SpringBoot 最近在接触docker的过程中,发现conda的使用不可避免,在docker用到镜像开启新的容器中势必要再配一遍anaconda,而我每次都要搜索一大堆配置指令,在搜索过程中就耗费了大量时间,这次必须做一次完整的总结。 1.conda的linux安装 1.1 配置环境 在root权限下:(否则加root) yum install -y vim (这是linux安装工具的命令) vim ~/.bashrc 然后加入下面的语句(将conda的安装环境加入路径) export PATH=/home/xx 我正在尝试使用一些conda环境创建一个docker容器。当我在交互模式下运行容器时conda update --allconda env create -f env.yml运行没有问题。但是,每当我尝试使用Docker文件执行这些命令时,我都会收到/bin/sh: 1: conda: command not foudDocker文件如下所示:FROM ubuntu:latestRUN apt-g...
如果没有办法在Dockerfile中激活环境,就没有办法安装相应的包,经过查找发现可以使用conda run -n myenv command在Dockerfile中激活conda环境,下面给出其中的问题链接
链接1 链接2
最终版本如下所示
#!/bin/bash FROM nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04 RUN conda create -n torch -y python=3.8 # 用于激活环境,conda activate命令无效 SHELL ["conda", "run", "-n", "ffmpeg_env", "/bin/bash", "-c"] # 成功激活 RUN conda activate torch RUN pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html startdocker -u "--ipc=host --shm-size 32G" -P /ghome/用户名 -D /gdata/用户名 -c "sh /ghome/用户名/bash脚本" bit:5000/deepo 把pytho... 在docker里面使用shell激活conda环境,直接使用conda activate VENV 或者source activate VENV 发现使用shell脚本时提示conda命令找不到,使用source时虽然没有报错,但是环境并没有起来,要是在docker里面使用两个命令都能激活conda环境。 解决办法如下: 1.shell脚本start_conda.sh: #!/bin/bash source /home/yourhostname/anaconda3/etc/profil RUN cd /root \ && sh Miniconda3-latest-Linux-x86_64.sh -b -p /opt/conda \ && rm -f Miniconda3-latest-Linux-x86_64.sh \ && ln -s /opt/conda/e 为了方便开发,在Docker Hub官方中选择一个合适的condadocker镜像,然后下载到本地。 我选择了“docker-anaconda”,地址是:https://hub.docker.com/r/continuumio/anaconda3 下载命令如下: docker pull continuumio/anaconda. https://docs.docker.com/engine/reference/builder/ docker中通过conda实现多套环境,但与物理机或者dev中的流程有所差异,直接把安装命令搬到dockerfile中不一定能执行成功 1.在dockerfile中创建多套环境 创建多套环境主要通过conda命令:co... 在Linux终端下直接docker中的代码 并将代码的输出文件 映射到Linux终端路径下。进入这个镜像可以看到里面含有前面复制进来的文件,以及创建的虚拟环境等。查看新镜像是否建立成功 :docker images。pull好镜像后,查看,修改tag和image名称。在该虚拟环境中部署需要的运行环境,代码等。在镜像里进入conda创建的虚拟环境。在容器中使用conda创建虚拟环境。pull 一个 conda镜像。可以看到已经生成了2.0的镜像。将部署好的容器保存为新镜像。 dockerfile中使用miniconda 无conda not found RUN wget --quiet https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda.sh && \ /bin/bash ~/miniconda.sh -b -p /opt/conda && \ rm ~/miniconda.sh && \ 身为懒癌患者,必然使用全功能的anaconda,但不想同时装py27和py35两个版本的anaconda巨无霸(同时装两个, 不知道conda是否也可以管理环境),于是选择用conda装python27的环境及一些必要的包。 弄了几天终于把办公电脑和家里的Mac机上的环境都配好了,即使有了官方的安装教材,也踩了不少坑。 (因为国内主要的期货交易API接口只有windows和linux版,所以Mac上的环境只能用来回测,无法 切换至清华镜像源 cmd中输入: conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --set show_channel_urls yes 添加Pytorch 清华源(清华源针对pytorch有单独的源) cmd中输入: conda config --add channels ht GitHub Actions 是 GitHub 推出的功能,可以为我们的项目构建自动化工作流。例如代码检查,自动化打包,测试,发布版本等等。入口在项目 Pull Requests 旁边。 本篇文章主要是趟一遍其中的小坑,让大家在第一次使用的时候能比较顺利的跑通。其中主要用到了 GitHub,Docker,SpringBoot,Nginx 等技术。对这些技术还不是很了解的伙伴,可以先自行查阅一下资料哈。???? 创建 SpringBoot 工程 使用 IDEA 创建一个 SpringBoot 最近在接触docker的过程中,发现conda的使用不可避免,在docker用到镜像开启新的容器中势必要再配一遍anaconda,而我每次都要搜索一大堆配置指令,在搜索过程中就耗费了大量时间,这次必须做一次完整的总结。 1.conda的linux安装 1.1 配置环境 在root权限下:(否则加root) yum install -y vim (这是linux安装工具的命令) vim ~/.bashrc 然后加入下面的语句(将conda的安装环境加入路径) export PATH=/home/xx 我正在尝试使用一些conda环境创建一个docker容器。当我在交互模式下运行容器时conda update --allconda env create -f env.yml运行没有问题。但是,每当我尝试使用Docker文件执行这些命令时,我都会收到/bin/sh: 1: conda: command not foudDocker文件如下所示:FROM ubuntu:latestRUN apt-g...