LLM のバックアップ(No.2)

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• LLM へ行く。
  • 1 (2024-06-23 (日) 08:02:01)
  • 2 (2024-06-23 (日) 08:35:35)

概要 †

• 流行りだよね

OpenAI API †

• インストール

pip3 install --upgrade openai

• https://platform.openai.com/api-keys でキーを作成
• .bashrc に以下を追加

export OPENAI_API_KEY='sk-KEY'

• openai.py

from openai import OpenAI
client = OpenAI()

completion = client.chat.completions.create(
  model="gpt-3.5-turbo",
  messages=[
    {"role": "system", "content": "You are a poetic assistant, skilled in explaining complex programming concepts with 
creative flair."},
    {"role": "user", "content": "Compose a poem that explains the concept of recursion in programming."}
  ]
)

print(completion.choices[0].message)

• python3 openai.py

Ubuntu 20.04 †

• ローカルで LLM をする動かす方法

• インストール（GPU なし）

apt -y install nvidia-cudnn python3-pip python3-dev python3-venv gcc g++ cmake jq
pip3 install llama-cpp-python[server]
wget https://huggingface.co/TheBloke/Llama-2-13B-chat-GGUF/resolve/main/llama-2-13b-chat.Q4_K_M.gguf

• サーバ立ち上げ

python3 -m llama_cpp.server --model ./llama-2-13b-chat.Q4_K_M.gguf --n_gpu_layers -1 --host 0.0.0.0 --port 8000 &
http://localhost:8000/docs

• コマンド（出力には 2 分以上かかる）

curl -s -XPOST -H 'Content-Type: application/json' localhost:8000/v1/chat/completions -d '{"messages": [{"role": "user", "content": "Tell me about Hiroshima city, Japan."}]}' | jq | sed -e 's/\\n/\n/g'