3.1 語音轉文字

此功能是為了將用戶及系統間的對話內容可視化，方便用戶確認對話辨識是否準確。

期望效果在於可以直觀確認聲音使否收錄，且可從套件中收集聲音素材以便後續作分析。

使用tkinter作為測試來觀看及時反映，Matplotlib提供的animation模塊來生成動畫。

在語音辨識部分，使用了Speech_recognition API以及OPENAI公司開發的whisper。

Speech_recognition API

whisper

在OpenAI公司發布ChatGPT後，指導老師建議可以使用ChatGPT作為功能輔助，因此在語音模型的部分，使用了ChatGPT。

在版本更新之後選擇同時使用ChatGPT3.0及3.5版本。ChatGPT3.0使用資料庫較少，生成速度較快；ChatGPT3.5則有專門的題詞格式可以暫存對話。

在最終版本會決定使用某一版本。

為了讓使用更直覺，加入中斷對話功能，說出結束詞便可中斷魔鏡助手。

3.2 系統語音選擇

在開發智慧助手的過程中，我們一開始使用了gTTS套件（Google Text-to-Speech）來實現語音合成的功能。gTTS套件提供了便利的API，可以將文字轉換為Google小姐的語音。然而，隨著我們對語音合成需求的深入瞭解，我們注意到gTTS套件在語音包的選擇方面存在一些限制。gTTS套件僅能使用預設的Google小姐語音，無法自定義語音包。這限制了我們在定制化語音合成方面的靈活性，無法根據特定需求選擇合適的語音風格或特色。這對於一個旨在提供個性化體驗的智慧助手來說，是一個明顯的不足之處。為了解決這個問題並滿足我們對自定義語音包的需求，我們轉向了pyttsx3套件。pyttsx3是一個功能強大且靈活的語音合成套件，它允許我們自行新增語音包，並且提供了多項自定義選項。這使得我們能夠根據不同的情境和使用者偏好選擇合適的語音風格、音調和速度等參數。這種自定義能力為我們的智慧助手增添了更多的個性化元素，使得語音合成更貼近用戶的期望。 經過對比和評估，我們最終選擇了pyttsx3作為主要的語音合成工具。這是因為pyttsx3在自定義語音包和自定義選項方面提供了更大的彈性和控制權，讓我們能夠更好地滿足用戶的期望和需求。這個選擇使得我們的智慧助手在語音合成方面具有更高的品質和多樣性，為用戶帶來更豐富、更個性化的語音體驗。

語音包新增前(上)與後(下)

自定義項目

3.3 網路資料爬蟲

為了實現「現代魔鏡」的基礎功能，我們用網路爬蟲的技術來從網路上抓取用戶所需的資訊。透過網路爬蟲，我們可以自動化地從網頁中提取所需的數據，例如新聞、天氣預報、星座運勢等。這樣的功能為「現代魔鏡」提供了一個即時、多元的資訊來源，讓用戶能夠輕鬆地獲取所需的資訊。 以下是我們試做的幾個常用功能示例，並附上了相應的程式碼和結果圖片，以便更清楚地呈現： 星座運勢：我們使用網路爬蟲從星座運勢網站上抓取每日的星座運勢預測。這樣的功能讓用戶可以在「現代魔鏡」上一覽各個星座的運勢走勢，並了解當日的幸運數字或建議。

星座運勢爬蟲(初版)

星座運勢爬蟲(第二版)

天氣預報：我們使用網路爬蟲從天氣預報網站上獲取即時的天氣數據。這包括溫度、濕度、降雨機率等資訊，並可以根據用戶的地理位置或特定的城市進行查詢。

資料收集完之後，使用Python連結mysql做資料預處理:

新聞擷取：我們使用網路爬蟲從新聞網站上抓取最新的新聞標題和發布日期。

空氣品質爬蟲：我們使用網路爬蟲，同樣從行政院環境保護署的網站上抓取每小時的空氣品質各項數值。

空汙爬蟲：我們使用網路爬蟲從行政院環境保護署的網站上抓取全臺各地細懸浮微粒(PM2.5)的每小時移動平均，單位為μg/m3。

3.4 人臉辨識

我們利用OpenCV庫來進行人臉偵測，並測試戴上眼鏡、口罩等物品後是否能正確辨識。 這項功能目前仍在開發階段，我們正致力於優化和改進。以下是人臉辨識功能中的一些程式碼： extract_face() 是一個圖像處理的函式，主要用於從圖片或影像中提取出人臉區域。 這個函式利用計算機視覺技術和人臉識別算法，將圖像中的人臉部分進行檢測和擷取，提供更準確和專注的人臉區域。 透過使用 extract_face() 函式，我們可以方便且準確地從圖像中提取人臉區域，進一步應用在人臉識別、情感分析、人臉特徵提取等多個領域。 該函式的實現可依賴於不同的圖像處理庫和人臉檢測算法，並根據應用需求進行定制和優化。 圖3.14中的程式碼表示，extract_face()將從加載的文件名加載照片，並返回提取的人臉。 它假設照片包含一張人臉，並將返回檢測到的第一張人臉。

The 5 Celebrity Faces Dataset 是一個包含五位知名人物臉部圖像的資料集，旨在支持人臉識別和人臉相關研究。 這個資料集的目的是提供一個有限但多樣的數據集，供研究人員和開發者用於訓練和測試人臉識別模型、人臉檢測算法和相關的計算機視覺任務。 此資料及包含了五位知名人物的臉部圖像，這些人物通常是在娛樂、體育、政治或其他領域具有廣泛知名度的人物。 資料集中每個人物的臉部圖像可能來自不同的資源，例如公開的圖片庫、新聞媒體或其他網絡來源。這個資料集的特點在於其簡潔性和焦點。 它僅包含了五個人物的臉部圖像，這使得資料集相對輕量且易於使用。 然而，由於樣本數量的限制，這個資料集的覆蓋範圍相對較窄，不足以支援大規模的人臉識別應用或複雜的分類任務。

檢測每張照片中的人臉，並將數據集縮減爲一系列人臉，如圖3.16的程式碼所示。

load_faces() 函數是一個用於從資料集中加載人臉圖像的函數。 該函數通常在人臉識別或人臉相關的計算機視覺任務中使用，以便將圖像數據轉換為可供機器學習算法使用的格式。 此函數的實現可能會依賴於具體的程式庫或框架，例如OpenCV、TensorFlow或PyTorch。 這個函數的主要目的是從資料集中讀取人臉圖像，並將它們轉換為可供模型訓練或測試的數據結構。

「train」數據集中的所有照片，提取人臉得到 93 個樣本，其中正方形人臉輸入和類標籤字符串作爲輸出。 「val」數據集提供 25 個可用作測試數據集的樣本。 該數據已準備就緒，可提供給人臉檢測模型。 考慮到只使用python的效果較不直觀，未來會嘗試加上unity作為輔助。

透過OpenCV的人臉偵測功能，我們能夠準確識別出用戶的臉部特徵，並進一步測試不同配戴物品的辨識效果。 我們探索了在「現代魔鏡」中試戴眼鏡、口罩等物品的功能，以提供用戶更直觀的視覺體驗和實用性應用。 由於人臉的形狀和配戴物品的多樣性，這項功能目前仍未完善。我們正在進行不斷的調試和改進，以確保辨識的準確性和可靠性。 通過研究和優化算法，我們致力於提供一個準確、順暢且真實的試戴體驗，讓用戶能夠更好地預覽戴上眼鏡或口罩後的外觀效果。 同時，我們也在專注於開發「現代魔鏡」的服裝方面。 除了試戴眼鏡和口罩外，我們希望用戶能夠虛擬試穿各種時尚的服裝，從而提供更全面的時尚體驗和購物參考。 這需要結合影像處理和深度學習技術，以實現精確的服裝擷取和虛擬試穿效果。目前尚未完成此功能。

3.5 行事曆工具

為了達到我們的預期目標，我們需要建立使用者資料庫。 這個資料庫將用於存儲使用者的個人資訊和設置，以提供個性化的智慧助手功能。 使用者資料庫的建立是系統開發的重要一環，它可以讓我們更好地了解使用者的需求和偏好，並為他們提供定制化的服務。 目前我們的使用者資料庫尚未建立完成，我們正在開發相關功能，以便使用者能夠創建個人資料、設定偏好和存儲個人化的數據。 這將有助於提供更準確和有效的助手功能，並提升使用者體驗。並且我們計劃將「現代魔鏡」的行事曆功能與Google日曆進行連動。 這將使使用者能夠將他們的行程和活動與他們現有的Google日曆同步，提供更便捷和整合的行事曆管理體驗。 要實現這一目標，我們需要使用Google提供的API，這將允許我們在我們的系統中與Google日曆進行交互。

3.6 使用者介面

PyQt是Python語言中一個GUI編程解決方案之一，它是基於Qt函式庫的Python分支，可以用來取代內建的Tkinter。 Qt本身是用C++編寫的函式庫。PyQt的「QtCore」模組提供了許多非GUI的基礎功能，包括事件迴圈和Qt的訊號機制。 此外，它還提供了跨平台的Unicode支持、執行緒管理、記憶體對映檔案、共享記憶體、正規表示式和使用者設定等功能，大多數使用 Python 所開發出來的功能，都可以搭配 PyQt。 在本程式中，我們遵循了前端和後端分離的架構。 首先，我們使用Qt Designer這款針對Qt開發者的跨平台介面開發工具設計了前端界面。 然後，我們通過連結的方式將前端界面和後端功能進行結合。 這種架構的優點在於有效地將界面設計和核心功能分離，從而使開發過程更加模組化且易於維護。