LLM の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• LLM へ行く。
• LLM の差分を削除

*概要 [#v3cfbc66]
-流行りだよね

*アドバーサリアルリトライ [#o4870069]
-生成AIの出力結果を生成AIに検証させて、問題がありそうならリトライをする処理はできそう
--指示が悪い、生成者が悪い、生成者は問題ないの3パターン

*OpenAI API [#k4caf045]

-インストール

 pip3 install --upgrade openai

-https://platform.openai.com/api-keys でキーを作成
-.bashrc に以下を追加

 export OPENAI_API_KEY='sk-KEY'

-openai.py

 from openai import OpenAI
 client = OpenAI()
 
 completion = client.chat.completions.create(
   model="gpt-3.5-turbo",
   messages=[
     {"role": "system", "content": "You are a poetic assistant, skilled in explaining complex programming concepts with 
 creative flair."},
     {"role": "user", "content": "Compose a poem that explains the concept of recursion in programming."}
   ]
 )
 
 print(completion.choices[0].message)

-python3 openai.py

*Ubuntu 20.04 [#ze7dafd2]
-ローカルで LLM をする動かす方法

-インストール（GPU なし）

 apt -y install nvidia-cudnn python3-pip python3-dev python3-venv gcc g++ cmake jq
 pip3 install llama-cpp-python[server]
 wget https://huggingface.co/TheBloke/Llama-2-13B-chat-GGUF/resolve/main/llama-2-13b-chat.Q4_K_M.gguf

-サーバ立ち上げ

 python3 -m llama_cpp.server --model ./llama-2-13b-chat.Q4_K_M.gguf --n_gpu_layers -1 --host 0.0.0.0 --port 8000 &
 http://localhost:8000/docs

-コマンド（出力には 2 分以上かかる）

 curl -s -XPOST -H 'Content-Type: application/json' localhost:8000/v1/chat/completions -d '{"messages": [{"role": "user", "content": "Tell me about Hiroshima city, Japan."}]}' | jq | sed -e 's/\\n/\n/g'