softaverse

喜歡運用科技工具提升工作效率、並自主開發實用小工具的長時間使用電腦工作者。對新科技工具深感興趣,樂於分享如何運用科技工具提升生活和工作效率的技巧。

不用find-tune也能保證Llama 2不亂說話!善用“Grammar”客製化輸出內容

LLM(Large Language Module)最讓人詬病的問題之一是「亂說話」,得到不是預期的回應。本篇文章介紹如何利用文法(Grammar)規則限縮Llama 2的生成內容,讓輸出維持在可控範圍同時保留LLM發揮創意、生成內容的優勢。

不用find-tune也能保證Llama 2不亂說話!善用“Grammar”客製化輸出內容 閱讀全文 »

開源的Llama 2有哪些玩法?本篇文章介紹開發者與Llama 2的互動方式

以上就是目前搭配llama.cpp支援的模式,我認為已足夠強大到可以實作自己的商業邏輯進去,並且加以應用。重啟對話與GBNF都非常實用,目前我也還在摸索並用想要實現的邏輯試試效果,下一篇文章來仔細介紹如何使用GBNF客製化輸出格式。

開源的Llama 2有哪些玩法?本篇文章介紹開發者與Llama 2的互動方式 閱讀全文 »

強大的開源Llama 2到底如何為己用呢?本篇文章教你如何在本機安裝並使用Llama 2

網路上免費的工具確實可以滿足大部份日常工作需求,身為開發者,AI的強大可以廣泛應用在各個地方,於是腦中浮現了很多想法,想要動手串接自己的應用,開源的Llama 2完全可以做到任何客製化的大型模型語言應用。

強大的開源Llama 2到底如何為己用呢?本篇文章教你如何在本機安裝並使用Llama 2 閱讀全文 »

Bing實戰角色篇 – PM專案經理的應用實例,AI快速產出系統規格書

我們知道生成式AI可以做到非常多複雜的事情,具體我們如何運用在工作上呢?本篇文章以專案經理的角色出發,讓生成式AI協助我們完成專案經理需要耗費大量時間才得以完成的「系統規格書」,並且能運用Bing生成的內容讓專案經理足夠與工程師討論需求完成系統開發。

Bing實戰角色篇 – PM專案經理的應用實例,AI快速產出系統規格書 閱讀全文 »

Bing就是愛嘴硬!使用上還有哪些限制?

Bing偶爾會產出錯誤內容,這是因為它是一個基於人工智慧的系統,而人工智慧並不總是完美的。它會根據你的搜尋詞、你的位置、你的瀏覽歷史等等因素,來給你最相關的結果。但有時候,它也會受到一些干擾,比如網路延遲、惡意網站、錯誤的資料來源等等,導致它給出了不正確的內容,這是人工智慧系統不可避免的問題。

Bing就是愛嘴硬!使用上還有哪些限制? 閱讀全文 »