2 posts
LiteLLMをコスト効率良くオンデマンド起動するLLM基盤を作った
宅鯖環境でLiteLLMをLLM・MCPゲートウェイとして動かしつつ、Aurora Serverlessやアプリケーション本体も必要なときだけ起動する構成を作りました。
Golangのnet/httpの実装からHTTP1.1クライアントでのTCPコネクションの挙動を確かめる
