Mac 用户想在本地微调大模型一直是个「痒点」——不是不能做但总是东拼西凑各种工具链。现在整个 Qwen 家族的文本、视觉、语音识别、语音合成全都可以在你的 Mac 上用一套 API 微调了。简介mlx-tune github.com/ARahim3/mlx-tune是一个专门为 Apple Silicon Mac 打造的大模型微调框架基于苹果自家的 MLX 计算框架。四条赛道一套 API在你的 MacBook 上跑完✅ Qwen3.5文本 —— 纯文本对话微调✅ Qwen3.5视觉 —— 图像文本的视觉微调✅ Qwen3-ASR语音 → 文本 —— 语音识别微调✅ Qwen3-TTS文本 → 语音 —— 语音合成微调但 Qwen 只是冰山一角mlx-tune 还支持文本大模型 任何 HuggingFace 上的 LLM 都能拿来微调Llama、Gemma、Qwen、Phi、Mistral 等 15 种模型的 Chat Template 都做了适配。视觉模型 Qwen3.5 Vision支持 LoRA 同时微调视觉编码器和语言模型。语音合成 TTS5 个模型 Orpheus-3B、OuteTTS-1B、Spark-TTS-0.5B、Sesame/CSM-1B、Qwen3-TTS-1.7B。语音识别 STT5 个模型 Whisper全尺寸、Distil-Whisper、Moonshine、Qwen3-ASR、NVIDIA Canary、Voxtral。说实话能在 Mac 上原生跑 LoRA 微调 TTS 和 STT 模型这是第一个做到的库之前要搞语音模型微调基本只有上 NVIDIA GPU 这一条路这个项目的来头作者 ARahim3 在 README 里写说他是 Unsloth 的重度用户每天在云端 GPU 上用 Unsloth 做微调后来换了 MacBook M4想在本地跑个原型试试结果发现——Unsloth 依赖 TritonMac 上跑不了。Unsloth 本地大模型控制台本地部署、数据集管理、训练微调一站式搞定Windows 也支持于是他做了 mlx-tune目标很明确代码可移植性在 Mac 上写好训练脚本调试通过然后直接丢到 CUDA 集群上用原版 Unsloth 跑改一行 import 就行。# UnslothCUDA 云端 # mlx-tuneMac 本地 from unsloth import FastLanguageModel from mlx_tune import FastLanguageModel from trl import SFTTrainer from mlx_tune import SFTTrainer # 后面的代码一模一样这个设计太聪明了——不是要取代 Unsloth而是做 Unsloth 在 Mac 上的「影子」本地快速验证想法云端正式训练解决的是工作流问题安装安装非常简单# 推荐用 uv更快更稳 uv pip install mlx-tune # 如果要玩语音模型微调TTS/STT装 audio 扩展 uv pip install mlx-tune[audio] brew install ffmpeg # 系统级依赖音频编解码需要 # 或者用 pip pip install mlx-tune硬件要求Apple Silicon MacM1/M2/M3/M4/M5 全部支持macOS 13.0内存 8GB 起步16GB 推荐Python 3.9Mac Studio 那种 512GB 统一内存的机器理论上可以加载非常大的模型——这比独立 GPU 的 VRAM 上限高太多了。我最感兴趣的语音模型微调坦白讲文本微调和视觉微调已经不新鲜了真正让我兴奋的是语音模型的微调能力TTS 微调让模型说你的声音mlx-tune 支持 5 个 TTS 模型覆盖面很广模型参数量音频编码采样率特点Orpheus-3B3BSNAC24kHz最大最全Llama 架构OuteTTS-1B1BDAC24kHz轻量快速Spark-TTS0.5BBiCodec16kHz超轻8GB 内存也能跑Sesame/CSM-1B1BMimi24kHzBackboneDecoder 架构Qwen3-TTS1.7B内置16码本24kHz多语言中英日韩API 设计极其统一——换个模型名字其他代码完全不用改编解码器、token 格式、LoRA 目标层全部自动配置。拿最新的 Qwen3-TTS 举个例子核心代码就这几行from mlx_tune import FastTTSModel, TTSSFTTrainer, TTSSFTConfig, TTSDataCollator from datasets import load_dataset, Audio # 加载模型 —— 自动检测架构和编解码器 model, tokenizer FastTTSModel.from_pretrained( mlx-community/Qwen3-TTS-12Hz-1.7B-VoiceDesign-bf16, max_seq_length2048, ) # 加 LoRA model FastTTSModel.get_peft_model( model, r16, lora_alpha16, target_modules[q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj], ) # 加载音频数据集 dataset load_dataset(MrDragonFox/Elise, splittrain[:100]) dataset dataset.cast_column(audio, Audio(sampling_rate24000)) # 训练 trainer TTSSFTTrainer( modelmodel, tokenizertokenizer, data_collatorTTSDataCollator(model, tokenizer), train_dataset[dataset[i] for i in range(len(dataset))], argsTTSSFTConfig( output_dir./qwen3_tts_output, max_steps60, learning_rate2e-4, ), ) trainer.train() # 保存 LoRA 适配器 model.save_pretrained(./qwen3_tts_output/final_adapter)Qwen3-TTS 的技术架构挺有意思它用 28 层的 Talker Transformer 预测离散音频 code内置 16 码本的语音分词器12.5Hz文本和音频 token 使用双嵌入路径相加。训练的时候只需要准备 text audio 的数据对就行TTSDataCollator会自动搞定编码、拼接和 mask。如果你的 Mac 内存比较紧张Spark-TTS 只有 0.5B 参数8GB 内存都能跑起来。STT 微调定制你的语音识别STT 这边同样给力支持 5 个主流模型模型参数量前端采样率特点Whisper39M-1.5B梅尔频谱图16kHz经典款尺寸全覆盖Distil-Whisper756M梅尔频谱图16kHzWhisper 蒸馏版更快Moonshine27M-330M原始卷积前端16kHz边缘设备专用极轻Qwen3-ASR1.7B音频编码器16kHzAudio-LLM 架构30 语言NVIDIA Canary1BParakeet mel16kHzFastConformer支持翻译Voxtral3B梅尔频谱图16kHzMistral 系Llama 解码器来看看 Qwen3-ASR 的微调代码from mlx_tune import FastSTTModel, STTSFTTrainer, STTSFTConfig, STTDataCollator # 加载 Qwen3-ASR model, processor FastSTTModel.from_pretrained( mlx-community/Qwen3-ASR-1.7B-8bit, max_seq_length448, ) # LoRA 同时微调音频编码器和文本解码器 model FastSTTModel.get_peft_model( model, r16, lora_alpha16, target_modules[q_proj, k_proj, v_proj, o_proj], finetune_encoderTrue, finetune_decoderTrue, ) # 训练 trainer STTSFTTrainer( modelmodel, processorprocessor, data_collatorSTTDataCollator(model, processor, languageen, tasktranscribe), train_datasetdataset, argsSTTSFTConfig(output_dir./qwen3_asr_output, max_steps100), ) trainer.train()Qwen3-ASR 的架构是「Audio-LLM」模式——音频先过编码器提取特征注入到 Qwen3 大模型的 token 序列中然后大模型自回归生成转写文本。支持 30 种语言LoRA 可以同时作用在音频编码器24 层和文本解码器28 层上不止语音训练方法也很全说完语音简单过一下其他能力mlx-tune 支持的训练方法远超常见的 SFT方法训练器用途SFTSFTTrainer指令微调最常用DPODPOTrainer偏好学习ORPOORPOTrainerSFT 偏好联合训练GRPOGRPOTrainer推理增强DeepSeek R1 风格KTOKTOTrainerKahneman-Tversky 优化SimPOSimPOTrainer简化偏好优化特别是 GRPO——DeepSeek R1 那种多代采样奖励的训练方式居然也做了原生 MLX 实现虽然在 Mac 上跑 GRPO 肯定比不上 A100 集群的效率但用来验证奖励函数设计、调试训练流程完全够了训练完怎么办训练完之后的工作流也很顺滑# 保存 LoRA 适配器很小方便分享 model.save_pretrained(./adapters) # 合并到基座模型 model.save_pretrained_merged(./merged, tokenizer) # 导出 GGUF给 Ollama / llama.cpp 用 model.save_pretrained_gguf(model, tokenizer) # 推送到 HuggingFace Hub model.push_to_hub(username/my-model)合并、导出 GGUF、推 Hub一条龙在 Mac 上微调完导出 GGUF 丢给 Ollama 直接跑推理整个链路闭环了❝注意GGUF 导出在 4-bit 量化基座模型上有限制这是 mlx-lm 的已知问题建议用非量化模型训练后再导出。对比 Unsloth特性UnslothCUDAmlx-tune平台NVIDIA GPUApple Silicon后端Triton 内核MLX 框架内存VRAM有限统一内存最高 512GBAPI原版100% 兼容适合生产级训练本地原型验证、大内存模型mlx-tune 明确说了自己不是 Unsloth 的替代品它解决的是 Mac 用户的「本地原型」需求小数据集快速迭代验证完再上云但统一内存是真的香——Mac Studio 的 512GB 内存意味着你可以加载比大多数 GPU VRAM 更大的模型总结mlx-tune 做到了一件很了不起的事情把文本、视觉、语音合成、语音识别四条赛道的微调能力用统一的 API 装进了 Mac。如果你手头有 Mac又一直想试试语音模型微调这可能是门槛最低的选择了。这里给大家精心整理了一份全面的AI大模型学习资源包括AI大模型全套学习路线图从入门到实战、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等资料免费分享扫码免费领取全部内容1. 成长路线图学习规划要学习一门新的技术作为新手一定要先学习成长路线图方向不对努力白费。这里我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。2. 大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF3. 大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。4. 2026行业报告行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5. 大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。6. 大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。7. 资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容