九成的人都不懂得如何有效與AI對話！提示工程介紹
LLM的訓練過程是通過自然語言進行的，不需要像過去的機器學習模型那樣進行訓練或調整。這一變革產生了大量的創新，並引發了技術部署方式的轉變。利用自然語言編程語言模型來完成任務的科學和藝術被稱為「提示工程」（Prompt Engineering）。
九成的人都不懂得如何有效與AI對話！提示工程介紹 閱讀全文 »
大型語言模型
建置自己的ChatGPT原來這麼簡單！LLM REST APIs and a simple web front end with llama.cpp
我們花了大量的時間和精力，在本地成功地啟動了Llama 3。最令人開心的是，這不僅可以降低成本，還能夠客製化地應用於我們自己的商業邏輯中。經過本地測試開發的完成，接下來我們將把服務部署到伺服器上。而Llama.cpp提供了開箱即用的HTTP server，這篇文章將介紹如何與其進行串接，以便為即將上線的服務做好準備。
建置自己的ChatGPT原來這麼簡單！LLM REST APIs and a simple web front end with llama.cpp 閱讀全文 »
零成本！本機LLM打造個人化RAG應用，Llama 3🦙🦙🦙 + LangChain🦜🔗
Llama 3很強大，但如果無法運用它的強大，那麼都跟我們無關。身為開發者，我們如何用在自己的應用上呢？ 本篇
零成本！本機LLM打造個人化RAG應用，Llama 3🦙🦙🦙 + LangChain🦜🔗 閱讀全文 »
Llama 3來了！本篇一步步教你如何在本機安裝使用
在本機安裝與前一代雷同，步驟也可參考前面發佈的文章強大的開源Llama 2到底如何為己用呢？本篇文章教你如何在本機安裝並使用Llama 2，在執行的過程中遇到不少坑，並且在網路上很難找到答案，因此想藉由文章紀錄並分享給水深火熱的開發者們，希望可以你們可以少踩一些坑。
Llama 3來了！本篇一步步教你如何在本機安裝使用 閱讀全文 »
Llama 3全新上線，多了哪些新功能？
Meta於4/19推出了他們最新的語言模型Llama 3模型，分別有兩種版本：8B & 70B。這款新模型在許多方面對其前任進行了顯著的改進，包括性能、靈活性和多語言能力。
不用find-tune也能保證Llama 2不亂說話！善用“Grammar”客製化輸出內容
LLM（Large Language Module）最讓人詬病的問題之一是「亂說話」，得到不是預期的回應。本篇文章介紹如何利用文法（Grammar）規則限縮Llama 2的生成內容，讓輸出維持在可控範圍同時保留LLM發揮創意、生成內容的優勢。
不用find-tune也能保證Llama 2不亂說話！善用“Grammar”客製化輸出內容 閱讀全文 »
開源的Llama 2有哪些玩法？本篇文章介紹開發者與Llama 2的互動方式
以上就是目前搭配llama.cpp支援的模式，我認為已足夠強大到可以實作自己的商業邏輯進去，並且加以應用。重啟對話與GBNF都非常實用，目前我也還在摸索並用想要實現的邏輯試試效果，下一篇文章來仔細介紹如何使用GBNF客製化輸出格式。
開源的Llama 2有哪些玩法？本篇文章介紹開發者與Llama 2的互動方式 閱讀全文 »
強大的開源Llama 2到底如何為己用呢？本篇文章教你如何在本機安裝並使用Llama 2
網路上免費的工具確實可以滿足大部份日常工作需求，身為開發者，AI的強大可以廣泛應用在各個地方，於是腦中浮現了很多想法，想要動手串接自己的應用，開源的Llama 2完全可以做到任何客製化的大型模型語言應用。
強大的開源Llama 2到底如何為己用呢？本篇文章教你如何在本機安裝並使用Llama 2 閱讀全文 »
2023 Meta最強開源LLMs: Llama2介紹
Llama 2 (Large Language Model Meta AI 2)是Facebook母公司Meta於2023年7月推出的大語言模型們（Large Language Models, LLMs）。為什麼說是模型們呢？因為Llama 2包含了70億到700億參「pretrained」與「fine-tuned」出來的大語言模型們（LLMs）。例如其中的Llama 2-Chat是專門為了優化「對話」產生出來的模型。
2023 Meta最強開源LLMs: Llama2介紹 閱讀全文 »