Oneulog

Backgroundtmux는 하나의 터미널 세션 안에서 여러 개의 터미널 창을 생성하고 Background로 관리할 수 있게 해 주는 도구이다. 즉, 터미널 멀티플렉서의 역할을 수행한다. 그렇기 때문에 서버 작업이나 개발 환경에서 특히 유용하게 사용된다. 주요 기능으로는 여러 세션 관리, 창과 패널, 세션 유지, 네트워크 장애 복구 등이 있다고 한다.  실제로 tmux를 사용하면서 가장 좋았던 점은 "Background에서 작업을 유지하는 데 편하다"이다. 실제로 nohup 사용 당시 실행 중인 프로그램을 내릴 때 직접 PID를 찾아서 내렸던 기억이 있다.(이 부분은 nohup에 대한 이해도 부족의 이슈도 있다.) 하지만 tmux에서는 직접 생성한 이름의 세션에 들어가서 작업을 확인 혹은 추가 진행할 수..

Background여러 데모들을 동시에 만들게 되면서 LLM을 각 데모 별로 서버에 올리기에는 메모리 제한이 생길 수 밖에 없는 현상이 발생했다. 제작 중인 데모들은 실제 계약 및 사업 진행으로 이루어진 것들이 아니기에 LLM Base 모델로 Prompting 혹은 물리적인 작업들을 진행하는 게 전부였기 때문에 HuggingFace에 올라와 있는 Base 모델만 활용하고 있었다. 그렇기 때문에 LLM Serving Framework 중 하나인 SGLang을 활용해서 LLM API Server를 만들고 각 데모에서 텍스트를 입력받을 시 LLM API Server를 호출해서 답변을 얻는 방식으로 진행하고자 했다. 물론 이 과정은 진행 중인 데모에 특정 LLM 모델을 사용한다는 점을 전제로 한다. 또 SGLa..