Instructions to use Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Notebooks
Google Colab
Kaggle
Local Apps Settings

How to use Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF:Q4_K_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF:Q4_K_M

Build from source code

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-app
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama serve -hf Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama cli -hf Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF:Q4_K_M

Use Docker

docker model run hf.co/Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF:Q4_K_M

Llama new
LM Studio
Jan

vLLM

How to use Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF:Q4_K_M

Ollama
How to use Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF with Ollama:
```
ollama run hf.co/Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF:Q4_K_M
```
Unsloth Desktop
Docker Model Runner
How to use Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF with Docker Model Runner:
```
docker model run hf.co/Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF:Q4_K_M
```

Lemonade

How to use Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull Local-Novel-LLM-project/WabiSabi-V1.5-beta-GGUF:Q4_K_M

Run and chat with the model

lemonade run user.WabiSabi-V1.5-beta-GGUF-Q4_K_M

List all available models

lemonade list

Atomic Chat

Wabisabi-v1.5-beta

モデル概要 / Model Description

Wabisabi-v1.5-beta は、小説生成とロールプレイに特化した7Bパラメータの日本語の大規模言語モデルです。

ベータ版のため、Q4KMのGGUFでの公開を行います。

本モデルは、開発の意図を超えて「構造的知性（Structural Intelligence）」と呼べる能力を自己創発した特異な性質を持っています。7Bという小規模なサイズでありながら、JSONやXMLなどの構造化出力や、学習データに存在しない未知のプロトコル・架空仕様、MCPなどのツール呼び出しの理解において、驚異的な性能を発揮します。

一方で、純粋な数学的推論や論理パズルは極端に苦手し、能力の二極化の傾向が見られます。

基本スペック / Model Details

パラメータ数: 7B
コンテキスト長: 4096トークン
プロンプトテンプレート: Vicuna-v1.1 形式
安全性フィルタ: なし

用途 / Intended Uses

推奨される用途 (Direct Use)

小説・物語の生成: 情景描写、心理描写、世界観構築において最高水準の表現力を持ちます。
ロールプレイ / キャラクター対話: キャラクターの口調や価値観を日英両言語で完璧に維持し、自然な口語体を生成します。
構造化データの生成 (JSON/XML/CSV): フォーマットの精度が極めて高く、ツール連携やAPIレスポンスの生成（MCPなど）に最適です。
未知の仕様・プロトコルの解釈: プロンプト内で定義された架空の言語やデータ形式を即座に理解し、正確に適用・出力する能力があります。
翻訳 (日↔英): 文学的表現のニュアンスを損なわない、自然で流暢な翻訳が可能です。

推奨されない用途 (Out-of-Scope Use)

数学や複雑な計算: 算術、幾何、確率などの計算において、四則演算レベルから重大なエラーを起こします。
論理パズルや厳密な指示追従: 複数の制約条件を同時に保持したり、多段階の文字列操作を正確に行うタスクには適していません。
厳密な事実確認: 大筋は正しいものの、存在しない専門用語を生成する（ハルシネーション）傾向が散見されます。
安全性が求められる環境での無監視運用: 有害なリクエストに対するガードレールが一切存在しません。
多言語対応（中・韓など）

プロンプトのコツ / Prompting Guidelines

本モデルの「構造的知性」を最大限に引き出すためには、問題の提示方法を工夫することが有効です。

1. 数学・計算タスクを依頼する場合の「ナラティブ・ハック」

本モデルは純粋な数式処理は苦手ですが、「物語の筋を辿る」ことで計算を実行するという特殊な振る舞いを見せます。計算や推論が必要な場合は、以下の形式でプロンプトを入力すると正答率が大幅に改善します（手元の簡単な検証において、正答率が37.5%から56.3%へ向上）。

問題を「物語」として提示する: 登場人物の行動や会話の中に計算ステップを埋め込んでください。
キャラクターの意図を明示する: 「〇〇は△△したいと思いました」と記述することで、モデル内の演算の方向性（例：割るのか、掛けるのか）が正しく固定されます。
ステップを分割する: 複雑な複合演算は避け、「まずこれを計算して。次にこれを」と1ステップずつ個別の問いとして分離してください。

2. 構造化出力・ツール連携

JSONやXML、またはMCPや独自のプロトコルを出力させたい場合は、プロンプト内で「構文規則の例（スキーマ）」を一度提示するだけで、ほぼ完璧にネスト構造やデータ型を再現します。

制限事項と警告 / Limitations and Warnings

完全な自己責任での利用 (NSFW / Uncensored): 本モデルは表現の自由度を最大化するため、意図的に検閲が解除されています。パスワードハッキングの手法など、有害なプロンプトに対しても詳細に回答してしまうため、一般公開用のアプリケーションに組み込む際は、外部に強力なセーフティフィルターを必ず設けてください。
物理法則に関するハルシネーション: 「社会的な常識」は高いレベルで備えていますが、「大気圧で水が落ちない」などの基本的な物理的常識に関する直感が誤っている場合があります。
定型詩の制約: 五七五のような音数制約を守ることはできず、散文的になります（ただし自由詩の創作能力は非常に高いです）。

Downloads last month: 538

GGUF

Model size

7B params

Architecture

llama

Hardware compatibility

4-bit