修改ALLM環境變數，改善5分鐘會斷線

用AnythingLLM(ALLM)當前端去呼叫Ollama的LLM model，會出現5分鐘就斷線的問題。當LLM model很大，生成內容的時間超過5分鐘，就會因為用Node.js寫的ALLM預設fetch()是300秒，造成ALLM主動斷線，回傳 HTTP 500。修正方法是：

• sed -i '' "s/OLLAMA_RESPONSE_TIMEOUT='0'/OLLAMA_RESPONSE_TIMEOUT='86400000'/" ~/Library/Application\ Support/anythingllm-desktop/storage/.env
• sed -i '' "s/ANYTHINGLLM_FETCH_TIMEOUT='0'/ANYTHINGLLM_FETCH_TIMEOUT='86400000'/" ~/Library/Application\ Support/anythingllm-desktop/storage/.env

完成之後重開ALLM就可以了。以下說明這兩個環境變數的作用：

手動運行Ollama並看執行的log

在Server上面用下面指令啟動Ollama來當LLM inference server，並且可長長久久運行：

• export OLLAMA_MODELS="/llm/.../ollama/models"
• export OLLAMA_NUM_PARALLEL=1
• export OLLAMA_MAX_LOADED_MODELS=2
• export OLLAMA_FLASH_ATTENTION=1
• export OLLAMA_CONTEXT_LENGTH=65536
• export OLLAMA_KEEP_ALIVE="1h"
• export OLLAMA_LOAD_TIMEOUT=8h
• ollama serve 2>&1 | tee ~/ollama-service.log & 

這樣ollama在載入LLM model的時候，相關的log就會存下來。用下面指令看：

《I love 人生！》

宮本浩次－ I love 人生！ 4m12s

用SSH tunnel把內部服務轉到本機上使用

上一篇《SSH用ProxyJump過堡壘機連內部伺服器》 就可以直接遠端登入到躲在堡壘機後面的內部伺服器。這篇介紹要如何把躲在堡壘機後面內部伺服器開啟的服務轉到自己的電腦上，流程說明如下：

• 開一個Ollama服務在內部服務器，預設長在11434 port
• 堡壘機Bastion上可以透過 http://192.168.11.23:11434存取該服務
• 本地電腦與堡壘機的資料傳輸則會透過SSH tunnel來加密
• 在本地電腦用 http://localhost:22434 存取Ollama服務

只要兩個指令就可以完成，再用一個指令驗證：

SSH用ProxyJump過堡壘機連內部伺服器

通常內部伺服器(Server)都不會直接碰到外網，要連線進去會經過堡壘機(Bastion)，但這樣就會需要兩個步驟：

1. 從外網的機器SSH到外部堡壘機Bastion
2. 再從堡壘機SSH到內部伺服器Server

這樣很麻煩，而且有時候只是要透過SSH叫Server做些事情回傳就好。一個解決方案直接從外網透過SSH ProxyJump，就能夠像是直連到Server了。