手動運行Ollama並看執行的log

在Server上面用下面指令啟動Ollama來當LLM inference server，並且可長長久久運行：

• export OLLAMA_MODELS="/llm/.../ollama/models"
• export OLLAMA_NUM_PARALLEL=1
• export OLLAMA_MAX_LOADED_MODELS=2
• export OLLAMA_FLASH_ATTENTION=1
• export OLLAMA_CONTEXT_LENGTH=65536
• export OLLAMA_KEEP_ALIVE="1h"
• export OLLAMA_LOAD_TIMEOUT=8h
• ollama serve 2>&1 | tee ~/ollama-service.log & 

這樣ollama在載入LLM model的時候，相關的log就會存下來。用下面指令看：

用SSH tunnel把內部服務轉到本機上使用

上一篇《SSH用ProxyJump過堡壘機連內部伺服器》 就可以直接遠端登入到躲在堡壘機後面的內部伺服器。這篇介紹要如何把躲在堡壘機後面內部伺服器開啟的服務轉到自己的電腦上，流程說明如下：

• 開一個Ollama服務在內部服務器，預設長在11434 port
• 堡壘機Bastion上可以透過 http://192.168.11.23:11434存取該服務
• 本地電腦與堡壘機的資料傳輸則會透過SSH tunnel來加密
• 在本地電腦用 http://localhost:22434 存取Ollama服務

只要兩個指令就可以完成，再用一個指令驗證：