✅ GoogleやMetaが自社LLMを公開した理由まとめ#

1.2 ローカルLLMに必要なファイル#

• 必要なファイルは２つ
  • LLMファイル
    • インターネット上にある膨大なデータを学習したモデルファイル
    • ChatGPTのようなクラウド型のAIはクローズド型
    • インターネット公開されているものはオープン型のLLMファイル
      • HuggingFaceのModelsのウェブページから入手可能
      • https://huggingface.co/models
        • ファイルはGB単位で、一般的にサイズが大きいほど高性能なLLM
        • 日本語に強いLLMがあったり色々
      • LLM選択のポイント
        • gguf形式であること
        • パラメータ数
        • 量子化のビット数
          • 量子化・標本化について：https://joho-taisaku.com/sampling/
      • まとめ
        • パラメータ数と量子化のビット数が多いほど高性能なLLMだが、代わりにファイルサイズも巨大になるので、動かすには高性能なパソコンを用意しなければならない
        • 性能の低いパソコンをでLLMを動かしたいのであれば、パラメータ数と量子化ビット数が少ないLLMを選ぶ
      • LLM選定の３つのポイントはファイル名に含まれている
        • ELYZA-japanese-Llama-2-7b-q4_0.gguf
        • 7b:70億パラメータを示す billion
        • q4:量子化ビット数は4bitを示す、qはquantization(量子化)の略
        • gguf:ファイル形式
  • LLMプラットフォームのソフトウェア
    • LLM実行環境と呼ばれるもの
    • 例）
      • Jan
      • Ollama
      • llama.cpp
      • Text-generation-webui
      • Backyard AI
      • LM Studio
      • NVIDIA ChatRTX
      • AI Toolkit for VS Code
    • これらのソフトでダウンロードしたLLMファイルを動かすことが可能

2.1 ChatGPT風ツール「Jan」を導入する#

• Jan: ローカル環境で大規模言語モデル（LLM）を簡単に実行できるオープンソースのプラットフォーム

  • 👋のマークのLLMプラットフォーム
  • たぶん、Janは人名でよく使われる名称で親しみを込めて命名されたのでは？という説

• ここからインストール

  • https://jan.ai

• 開くといろんなLLMモデルが表示されるが、タグがついていないのが、現在のマシンで推奨されるモデル

• Llama 3.2 1B Instruct Q8

  • 8bit量子化
  • 10億パラメータ

2.2 Llama 3.2 とのチャットAIを試す#

• 前提
  • Fugakuはスペック不足でインストールできなかったので、Llamaで試す
• Jan起動
• 適当なChatを実施する
• 左下のサーバーボタンを選択し、StartServerでサーバ起動

1
from openai import OpenAI
2

3
client = OpenAI(base_url="http://127.0.0.1:1337/v1", api_key="dummy")
4

5
completion = client.chat.completions.create(
6
  # model="Fugaku-LLM-13B-instruct-Q4_0.gguf",
7
  # model="meta-llama/Llama-3.2-1B",
8
  model="llama3.2:1b",
9
  messages=[
10
    {"role": "system",
11
     "content": "あなたは親切なアシスタントです。"},
12
    {"role": "user",
13
     "content": "プログラミング言語を二つに分類すると、何と何になりますか？"}
14
  ])
15

16
print(completion.choices[0].message.content)

• tempelatureの値を0に設定すると毎回ほぼ同じ解答になる
  • ばらつきを示す
  • 0.7がばらんすの取れた値とされている

1
from openai import OpenAI
2

3
client = OpenAI(base_url="http://127.0.0.1:1337/v1", api_key="dummy")
4

5
completion = client.chat.completions.create(
6
  temperature=0,
7
  # model="Fugaku-LLM-13B-instruct-Q4_0.gguf",
8
  # model="meta-llama/Llama-3.2-1B",
9
  model="llama3.2:1b",
10
  messages=[
11
    {"role": "system",
12
     "content": "あなたは親切なアシスタントです。"},
13
    {"role": "user",
14
     "content": "プログラミング言語を二つに分類すると、何と何になりますか？"}
15
  ])
16

17
print(completion.choices[0].message.content)

• 別PCからアクセス可能にするために、Server起動時に127.0.0.1のループバックアドレスではなく、0.0.0.0を指定する

Pythonダウンロードと設定#

1
brew install python@3
2
python3 -m venv ~/mypy
3
source ~/mypy/bin/activate
4
pip3 install openai
5
deactivate

2.5 チャットAIのWebサイトを構築#

• PythonのOSSWebUIライブラリの「Chainlit」を使ってWebサイト構築

  • Vscodeをインストール
  • pip install chainlit

• 以下実行

1
from openai import AsyncOpenAI
2
import chainlit as cl
3

4
client = AsyncOpenAI(base_url="http://127.0.0.1:1337/v1", api_key="dummy")
5

6
@cl.on_message
7
async def on_message(input):
8
  completion = await client.chat.completions.create(
9
    # model="Fugaku-LLM-13B-instruct-Q4_0.gguf",
10
    model="llama3.2:1b",
11
    messages=[
12
      {"role": "system",
13
       "content": "あなたは親切なアシスタントです。"},
14
      {"role": "user",
15
       "content": input.content}])
16

17
  await cl.Message(content=completion.choices[0].message.content).send()

• 返答が少しずつ表示されるように改修

1
from openai import AsyncOpenAI
2
import chainlit as cl
3

4
client = AsyncOpenAI(base_url="http://127.0.0.1:1337/v1", api_key="dummy")
5

6
@cl.on_chat_start   # チャット開始時に実行される関数
7
def start_chat():
8
  # ユーザーセッションの変数"history"を設定する
9
  cl.user_session.set("history",
10
    [{"role": "system",   # "history"の初期値
11
      "content": "あなたは親切なアシスタントです。"}])
12

13
@cl.on_message   # ユーザーが質問文を送信したときに実行される関数
14
async def main(input):   # ユーザーの質問文は引数inputに格納される
15
  message = cl.Message(content="")   # メッセージを作成
16
  await message.send()               # メッセージを送信
17

18
  # ユーザーセッションの変数"history"を取得
19
  history = cl.user_session.get("history")
20
  # "history"にユーザーの質問文を追加
21
  history.append({"role": "user", "content": input.content})
22

23
  # LLMに変数"history"の内容を送る
24
  stream = await client.chat.completions.create(
25
    # model="Fugaku-LLM-13B-instruct-Q4_0.gguf",
26
    model="llama3.2:1b",
27
    messages=history,
28
    stream=True)   # ストリーミングをオンにする
29

30
  # LLMの返答を1トークンずつ表示
31
  async for part in stream:
32
    token = part.choices[0].delta.content
33
    if token != "":
34
      await message.stream_token(token)
35

36
  # "history"にLLMの返答を追加
37
  history.append({"role": "assistant", "content": message.content})
38
  await message.update()

休題#

• ローカルLMMを手軽に試すには？
  • ローカルLMMのスマホアプリ
    • 例
      • PocketPal
      • PricateLLM
      • LLM Farm

3.1 Ollamaの概要#

• OllamaはJanと同じく、LLMプラットフォームで、ローカル環境でLLMを実行するためのOSSの１つ
  • データが外部に送信されない
  • オフラインでも実行可能
  • 大規模言語モデルの推論を高速に実行するためのOSSライブラリである「llama.cpp」を実行基盤としている
  • そのため、llama.cppで実行できる、「GGUF」形式のファイルをサポートしている
    • 「.safetensors」や「.pth」などのモデルファイル形式には対応していない

3.2 Ollamaのインストール#

• Windowsの場合

  • https://ollama.com/download
  • こちらからインストール

• Macの場合

  • homebrewでインストール可能
  • brew install --cask ollama
  • 以下のコマンドを追加実行すると最新化できる
    • brew upgrade --cask ollama
    • pkill ollama
    • open -a Ollama
    • ollama --version

3.3 Ollamaの使い方#

• ollama pullコマンドでモデル（LLMファイル）をダウンロードできる
  • ダウンロード済みのモデルをアップデートするときにも使う
• ollama runコマンドを実行することで動作させる

1
# モデル名を指定してダウンロード
2
ollama pull llama3.2
3
# ダウンロード済みのモデル自一項
4
ollama run llama2.3
5
# 正常に実行完了すると >>> で入力受付になるので対話形式で動かしてみる
6
# 対話形式で実行中に /? でヘルプ表示をすることも可能
7
# /bye で実行中のollama runコマンドを終了できる
8
# /load <model> でモデルを切り替えることができる

• 量子化でサイズを小さくしているモデルについての説明

3.4 Ollamaを深く知ろう#

• 発展的な使い方

  • Ollamaのローカルサーバーにリクエストを送信する
  • PythonのプログラムからOllamaを実行する

• １）Ollaamaのローカルサーバーにリクエスト送信

  • Ollamaを起動している間はローカルサーバー（JanのLLMサーバと同じ）が立ち上がっている
  • ollama serve
  • すでに立ち上がっていたらエラーが返る
    • Error: listen tcp 127.0.0.1:11434: bind: address already in use

1
# HTTP送信
2
curl http://localhost:11434/api/generate -d '{"model": "llama3.2", "prompt": "こんにちは"}'
3
# デフォルトだとStream形式で表示される
4

5
# Streamオフ
6
curl http://localhost:11434/api/generate -d '{"model": "llama3.2", "prompt": "こんにちは","stream": false}'

• PythonのプログラムからOllamaを実行する

• Ollamaインストール

• pip install ollama

1
from ollama import Client
2
import json
3

4
client = Client()
5
response = client.chat(
6
    model="llama3.2", messages=[{"role": "user", "content": "こんにちは"}]
7
)
8

9
response = response.model_dump()
10
print(json.dumps(response, indent=2, ensure_ascii=False))

休題：　Llamaのポート番号について#

• 11434 は、LlamaのLeetであると言われている
• Leetとは：類似の文字や読みの同じ文字を別の文字に置き換えて表現すること
  • 有名なところだと toやforを、2や4に置き換えて表現するもの

4.1 画像を読み込んで説明する#

LLMの中には文章だけではなく、画像も解釈できるものがある いわゆる「マルチモーダル」に対応するLLM

• 例えば）

  • llava-llama-3-8b-v1_1-ggufがそれに当たる

• 画像読み込んで処理させる説明は省略

5.1 VSCodeの拡張機能「Continue」#

• ContinueはVSCodeにAI支援を追加する拡張機能

• 流れ

  • VS Codeインストール：割愛
  • OllamaとGemma2 2Bを導入
    • Googleが公開している「Gemma 2 2B」とGemma 2 2Bにコード生成させるためのソフトウェアである「Ollama」を導入
    • ollama pull gemma2:2b
    • ollama run gemma2:2b
  • Python導入：割愛
  • Continueを導入
    • http://localhost:11434/にアクセスしてOllama is running と表示されるかどうかを確認
    • VSCodeのプラグイン検索：Continue

5.2 MacOSとLinuxで使えるZedエディタ#

• Zed: AI支援機能付きのエディタ

5.3 コマンドプロンプトで使える「Aider」#

コマンドプロンプトで対話しながら、LLMにプログラムの作成を依頼できるPythonで作られたツール