[go: up one dir, main page]
Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Dockerization and updates #3

Open
wants to merge 8 commits into
base: develop
Choose a base branch
from
Open

Dockerization and updates #3

wants to merge 8 commits into from

Conversation

RomiLanda
Copy link
Member

Descripción

  • Se llevó a cabo la dockerización del repo dado que las métrica del modelo mostraban cierta dependencia con la máquina en la cual se realizaba el entrenamiento. La dockerización realizada contempla el uso o no de GPU.
  • Se realizó la actualización de todas las librerías incluyendo Spacy de su versión 2 a su nueva versión 3.
  • Se relocalizo el código existente a la nueva estructura.
  • Se crearon módulos a partir del código existente.
  • Se añadó la opción de trabajar con Notebooks.

ADVERTENCIA
Este PR introduce únicamente las actualizaciones de las librerías pero no la adaptación del código a las mismas. Por lo tanto muchas funcionalidades se verán afectadas.

Tipo de cambio

Elimine las opciones que no sean relevantes.

  • Breaking change (un fix o nueva feature que haría que funcionalidades existentes no funcionen como se espera)
  • Este cambio requiere una actualización de la documentación.

¿Cómo se ha probado?

open container in vscode.
make jupyter-run : Crea ambiente para correr notebooks con GPU.
make jupyter-cpu : Crea ambiente para correr notebooks sin GPU.
make jupyter-build: Realiza el build de la imagen.
Chequeo de versiones actualizadas:

  • spaCy version 3.5.3
  • Python version 3.10.12

Instrucciones:

Lista de Verificación

Las siguientes opciones en negrita son necesarias para la aprobación del PR. Marque las casillas solo si es necesario, nos ayuda a minimizar el proceso de revisión.

  • [ X] He realizado una autoevaluación de mi propio código.
  • He comentado mi código, especialmente en áreas difíciles de entender.
  • He realizado los cambios correspondientes a mis cambios en la documentación.
  • Mis cambios no generan nuevas advertencias.
  • He añadido pruebas que prueban que mi bugfix es eficaz o que mi feature funciona.

@RomiLanda RomiLanda closed this Jun 16, 2023
@RomiLanda RomiLanda reopened this Jun 16, 2023
@josx
Copy link
Member
josx commented Jun 22, 2023

Antes que nada esta muy interesante la línea de trabajo es algo que mejora el proyecto sustancialmente.

Igualmente como aclaras bien antes de mezclar el código, entiendo que es necesario:

  • Modificar la documentación

Para Verificar que toda la funcionalidad anterior sigue funcionando, apartir de la documentación.

Por otro lado:

  • Por las dudas somos agnosticos con respecto al editor de texto o ide (lo menciono por la aclaración de vscode dev container)
  • No existe make jupyter-cpu como dice la documentación
  • Me di cuenta que era con run : make jupyter-run-cpu me sale un error sed: no se puede leer .env: No existe el archivo o el directorio. ¿Qué tiene que haber dentro del archivo .env?
  • Cree un archivo vacio .env y corri make jupyter-run-cpu, me tiro un error
WARNING: The CORE_IMAGE variable is not set. Defaulting to a blank string.
WARNING: The PYTHON_VERSION variable is not set. Defaulting to a blank string.
WARNING: The PIP_VERSION variable is not set. Defaulting to a blank string.
WARNING: The CUDA_VERSION variable is not set. Defaulting to a blank string.
WARNING: The TORCH_VERSION variable is not set. Defaulting to a blank string.
WARNING: The TEST_MODEL_FILE variable is not set. Defaulting to a blank string.
WARNING: The DATASETS_VOLUME_MOUNT variable is not set. Defaulting to a blank string.
WARNING: The RESOURCES_VOLUME_MOUNT variable is not set. Defaulting to a blank string.
WARNING: The JUPYTER_IMAGE variable is not set. Defaulting to a blank string.
WARNING: The SRC_VOLUME_MOUNT variable is not set. Defaulting to a blank string.
WARNING: The NOTEBOOKS_VOLUME_MOUNT variable is not set. Defaulting to a blank string.
WARNING: The TEST_COMMAND variable is not set. Defaulting to a blank string.
WARNING: The TEST_VOLUME_MOUNT variable is not set. Defaulting to a blank string.
ERROR: The Compose file './docker-compose.yml' is invalid because:
services.ia2-core-test-cpu.volumes value ['/home/josx/Desarrollo/camba/proyectos/ia2-cli/', '/home/josx/Desarrollo/camba/proyectos/ia2-cli/', '/home/josx/Desarrollo/camba/proyectos/ia2-cli/'] has non-unique elements
services.ia2-jupyter-cpu.volumes value ['/home/josx/Desarrollo/camba/proyectos/ia2-cli/', '/home/josx/Desarrollo/camba/proyectos/ia2-cli/', '/home/josx/Desarrollo/camba/proyectos/ia2-cli/'] has non-unique elements
services.ia2-jupyter-gpu.volumes value ['/home/josx/Desarrollo/camba/proyectos/ia2-cli/', '/home/josx/Desarrollo/camba/proyectos/ia2-cli/', '/home/josx/Desarrollo/camba/proyectos/ia2-cli/'] has non-unique elements
services.ia2-core.volumes value ['/home/josx/Desarrollo/camba/proyectos/ia2-cli/', '/home/josx/Desarrollo/camba/proyectos/ia2-cli/'] has non-unique elements
make: *** [Makefile:27: core-build] Error 1

¿Estas son las variables de entorno que necesito poner? ¿tengo que usar alguna versión especifica de docker-compose?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Reviewers
No reviews
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

Successfully merging this pull request may close these issues.
3 participants
@RomiLanda @josx @cuococarlos