ghosthets commited on
Commit
c389d98
·
verified ·
1 Parent(s): e4cf2f0

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +3 -3
app.py CHANGED
@@ -10,15 +10,15 @@ app = flask.Flask(__name__)
10
  # ===========================
11
  # LOAD MODEL
12
  # ===========================
13
- model_id = "TheBloke/Mistral-7B-Instruct-v0.2-GGUF"
14
  print("🔄 Loading model...")
15
 
16
  try:
17
  # ctransformers का उपयोग करके GGUF मॉडल को CPU पर लोड करें
18
  ai = AutoModelForCausalLM.from_pretrained(
19
  model_id,
20
- model_file="mistral-7b-instruct-v0.2.Q4_K_M.gguf", # GGUF फ़ाइल का नाम
21
- model_type="mistral",
22
  gpu_layers=0 # CPU पर चलाने के लिए
23
  )
24
  print("✅ Model loaded!")
 
10
  # ===========================
11
  # LOAD MODEL
12
  # ===========================
13
+ model_id = "Qwen/Qwen1.5-1.8B-Chat-GGUF"
14
  print("🔄 Loading model...")
15
 
16
  try:
17
  # ctransformers का उपयोग करके GGUF मॉडल को CPU पर लोड करें
18
  ai = AutoModelForCausalLM.from_pretrained(
19
  model_id,
20
+ model_file="qwen1_5-1_8b-chat-q5_k_m.gguf", # GGUF फ़ाइल का नाम
21
+ model_type="qwen",
22
  gpu_layers=0 # CPU पर चलाने के लिए
23
  )
24
  print("✅ Model loaded!")