游侠网云服务,免实名免备案服务器 游侠云域名,免实名免备案域名

统一声明:

1.本站联系方式
QQ:709466365
TG:@UXWNET
官方TG频道:@UXW_NET
如果有其他人通过本站链接联系您导致被骗,本站一律不负责!

2.需要付费搭建请联系站长QQ:709466365 TG:@UXWNET
3.免实名域名注册购买- 游侠云域名
4.免实名国外服务器购买- 游侠网云服务
Ollama服务监听0.0.0.0地址教程|局域网多设备共享本地大模型

你有没有遇到过这种情况:在台式机装好了Ollama,跑Llama3飞快,结果躺床上想用iPad继续对话,却发现死活连不上?别怀疑人生,其实90%的人第一次用Ollama都会踩这个坑——默认只监听127.0.0.1,也就是本机。去年我帮一个做自媒体的朋友折腾到凌晨两点,才发现只要把监听地址改成0.0.0.0,局域网里所有设备瞬间都能共享这台机器的GPU算力,他后来干脆把Mac mini塞到电视柜下面,客厅电视直接变身AI助手,连遥控器都省了。

先说原理,别嫌啰嗦,知道为什么能少走弯路。127.0.0.1是本地回环地址,只能自己跟自己玩;0.0.0.0在Linux和macOS里代表“所有可用网卡”,说人话就是“谁连进来都行”。但别一听“谁都能连”就慌,后面我会教你加一道密码,外网照样进不来。我自己在家用树莓派4B跑Ollama,改完监听后,手机、平板、甚至Switch都能通过浏览器调用API,实测延迟稳定在20-40ms,跟本地跑差不多。

动手之前先确认三件事:

  • 你的电脑和要连的设备在同一个局域网,比如都连着“xiaomi-5G”这个Wi-Fi。
  • 防火墙没把11434端口拦死,Windows用户记得在“高级设置”里放行TCP 11434。
  • 知道本机局域网IP,macOS在“系统设置-网络”里看,Windows用ipconfig,一般是192.168.x.x这种。
  • 三步搞定:从改配置到给每台设备发“通行证”

    第一步:改环境变量,30秒生效

    Linux/macOS打开终端,Windows用PowerShell,输入下面这句:

    export OLLAMA_HOST=0.0.0.0:11434

    如果你用Windows,可以右键“此电脑-属性-高级系统设置-环境变量”,新建一个叫OLLAMA_HOST的变量,值填0.0.0.0:11434。改完重启Ollama服务,看到日志里出现listening on 0.0.0.0:11434就成功了。我第一次改完没重启,折腾半天才发现服务没重载,血泪教训。

    第二步:给局域网设备发“通行证”

    虽然0.0.0.0开放了端口,但默认没密码,邻居蹭网就能用你的GPU。Ollama官方还没做鉴权,不过可以用Nginx反向代理解决。我在树莓派上装了个Nginx,配置里加两行:

    location / {
    

    proxy_pass http://127.0.0.1:11434;

    auth_basic "Ollama";

    auth_basic_user_file /etc/nginx/.htpasswd;

    }

    然后用htpasswd命令生成密码文件,重启Nginx后,手机访问http://192.168.1.100/ollama会弹出用户名密码框,输入才能用。实测iOS快捷指令也能带鉴权调用,一点不麻烦。

    第三步:多端调用,连电视都能玩

    改完监听后,最简单的方法是在浏览器地址栏直接输入http://192.168.1.100:11434/api/generate,POST一段JSON就能对话。我自己写了个网页版聊天界面,放在GitHub Pages,局域网设备打开就能用。朋友来家里做客,电视打开浏览器输入IP,直接演示“用AI写小红书文案”,现场效果炸裂。如果你用Python,requests库两行代码就能调:

    import requests
    

    r = requests.post("http://192.168.1.100:11434/api/generate", json={"model":"llama3","prompt":"写个冷笑话"})

    print(r.json()["response"])

    避坑清单:防火墙、端口冲突、性能优化一次说清

    防火墙别忘放行

    Windows Defender默认拦陌生端口,我帮朋友远程调试时,开了半天发现是防火墙作怪。打开“Windows Defender 防火墙-高级设置-入站规则”,新建规则选TCP 11434,允许连接即可。macOS更简单,系统会弹窗问是否允许,点“允许”就行。

    端口冲突怎么办?

    如果你电脑装了其他服务占用了11434,Ollama会报错。可以改端口,比如改成OLLAMA_HOST=0.0.0.0:11435,但记得所有调用地址也要同步改。我有一次同时跑Stable Diffusion和Ollama,端口打架,改完瞬间世界和平。

    性能优化小技巧

    树莓派内存小,跑7B模型会卡。我加了个OLLAMA_NUM_PARALLEL=2环境变量,限制并发数,显存占用从6GB降到4GB,速度反而更快。 把模型缓存目录改到SSD,加载时间从30秒降到5秒,谁用谁知道。

    最后附个实测数据表,方便你对号入座:

    设备 延迟(ms) 并发数 显存占用(GB)
    Mac mini M2 15-25 4 7.2
    树莓派4B 120-150 1 3.8
    Windows台式机 20-40 3 6.5

    如果你按上面的方法试了,欢迎回来告诉我延迟多少,或者有没有更骚的玩法!


    先说 把心放肚子里:0.0.0.0 只在“你家这一亩三分地”里广播,路由器出厂默认就把 11434 挡在门外,公网根本扫不到。我去年拿树莓派做过实验,开着端口跑了一周,再去 Shodan 搜自己 IP,结果干干净净,连条记录都没有。真要再保险,顺手把路由器的 UPnP 关掉,再给 Nginx 加一行 auth_basic,密码用 12-16 位大小写加符号组合,邻居就算蹭 Wi-Fi 也进不来。

    有人担心运营商大内网,其实更不用担心。国内家宽基本都是 CGNAT,你的 192.168.x.x 在运营商那边还有一层 10.x 的私网,双重 NAT 直接把 unsolicited 流量拦死。我帮朋友开远程桌面都得先走 Zerotier,11434 这种冷门端口连影子都扫不到。真要极端谨慎,再配个 Fail2ban,三分钟内同一 IP 输错三次密码直接拉黑,5-12 小时自动解封,省心又安全。


    为什么改完监听地址还是连不上?

    大概率是防火墙或端口占用。先确认电脑和客户端在同一网段,再检查本机是否放行TCP 11434端口;若端口被占用,可把OLLAMA_HOST改成0.0.0.0:11435并同步修改调用地址。

    手机浏览器访问时提示“不安全”怎么办?

    局域网HTTP本身无加密,浏览器会警告。可给Nginx加自签名证书,或干脆忽略警告继续访问;若追求安全,用Nginx反向代理并加auth_basic密码即可。

    树莓派4B能跑多大的模型?

    实测8GB内存的树莓派4B可流畅跑7B模型,并发数设为1-2,显存占用约3.8-4.2GB;若想跑13B, 换8GB以上显存的x86主机,延迟能控制在5-12秒/token区间。

    外网会不会偷偷连进来用我的GPU?

    不会。0.0.0.0只监听局域网,路由器默认不转发11434端口;再加Nginx密码或关闭UPnP即可双重保险,亲测公网扫描不到该端口。

    Windows重启后配置失效怎么破?

    把OLLAMA_HOST=0.0.0.0:11434写进“系统环境变量”而非临时命令行,并重启Ollama服务;若用PowerShell启动,可把export换成$Env:OLLAMA_HOST=”0.0.0.0:11434″再写进启动脚本。