跳到主要內容

FDT|S2-H1:從規格到資料表:先讓虛擬晶圓廠的地基經得起驗證

 


在 Spring 1 的開發過程中,我逐漸學會一件事:文件寫得完整,不代表系統真的做得到;一段看起來合理的程式,也不代表它已經通過驗證。到了 Spring 2: Data,這個觀念開始面對另一種考驗。

為了能夠讓您更具體瞭解這 FDT 這一系列文章所提到的各個 Task 的主題與順序,請參考下列這個專案開發流程骨幹:Engineering Execution Plan of FDT

________________________________________

上一篇 Spring 1 的故事,重點是建立一套能夠讓開發持續前進、讓錯誤可以被發現的工作方式。而這次,我必須把已經定義好的資料架構,真正轉換成可以被程式建立、檢查與使用的資料庫。

這座虛擬晶圓廠未來需要記錄製程批次、設備狀態、生產歷程,以及模擬與分析所需要的資料。如果資料表只是照著設計文件建出來,卻沒有一套機制確保結構、限制與資料關係始終符合規格,那麼後面的模擬核心即使順利開發,也可能從第一筆資料開始就走偏。

因此,Spring 2 的第一步並不是急著把工廠資料塞進資料庫,而是先確認一件事:

「我們所相信的資料架構,能不能被實際建立,而且在未來修改時仍然保持正確?」
________________________________________

正式開始之前,先讓開發紀錄也經得起檢查

在進入 T05 之前,專案還有一段容易被忽略的工作:T02b runtime writability and build provenance。這條分支不是為虛擬晶圓廠新增功能,而是先回頭處理 T02b 之前的開發紀錄修正。

我認為這件事值得被放進故事裡。因為當專案開始累積愈來愈多的任務、決策與驗證結果,開發日誌本身也成為一種工程資產。如果紀錄沒有正確反映當時做過什麼、驗證過什麼,未來回頭追查問題時,同樣可能被錯誤資訊帶往錯誤方向。

這跟整理程式碼其實是相同的道理:不只是讓內容看起來整齊,而是讓它在需要被追溯時,仍然值得信任。完成這些整理後,才正式進入 Spring 2 的資料庫實作。
________________________________________

# T05:讓資料庫初始化成為可重複執行的流程(SQLite 22 core tables)

T05 的主要工作,是建立 SQLite migration runner,並提供 scripts/init_db.py 作為資料庫初始化入口。

在此之前,專案已經有定義資料表的 SQL 檔案,但 SQL 檔案存在,不等於任何一個新的開發環境都能可靠地建立相同的資料庫。

我需要的是一套有順序、可追蹤,而且可以安全重複執行的遷移機制。每個遷移步驟必須有明確的識別,已經套用的步驟則要記錄在 SCHEMA_VERSION,避免資料庫每次初始化都只能依賴人工判斷目前進度。

第一個階段的資料表定義,包含 22 張核心領域資料表,以及 SCHEMA_VERSION、SIMULATION_RUN 兩張管理與執行紀錄相關的資料表。T05 要做的,就是讓這批結構真正由程式建立起來,而不是只停留在 SQL 文件裡。

這裡有一個我特別在意的細節:初始化流程不應該只在專案根目錄才能正常工作。

因此,測試刻意從另一個工作目錄啟動初始化指令,確認程式仍然找得到專案內的 DDL 檔案,並能在指定的位置建立資料庫。

這看起來像是路徑處理的小問題,但實際上是在驗證一件更根本的事:初始化流程依賴的是明確的專案資源定位規則,而不是開發者剛好站在正確目錄裡。

SQLite 的連線設定也採取同樣的思路,像外鍵檢查、WAL 與 busy timeout 等設定,不能只假設它們已經在某處執行過,就認定每條連線都符合要求。

我將相關設定整理成公開、可檢查的政策定義,並透過真正建立的連線驗證設定是否生效。這一階段的成果不只是多了一支初始化腳本,而是把「如何建立資料庫」變成一個有明確規則、能夠反覆執行的工程流程。
________________________________________

# T06:資料表增加了,測試也不能跟著退步(phase2+ schema)

有了第一階段的遷移機制之後,T06 接續加入第二階段的資料表。
這批結構涵蓋後續決策與分析所需的資料,包含七張資料表。加上前一階段的結構,整個資料庫便擴展到 31 張資料表。

不過,新增資料表並不是將另一份 SQL 檔案接上去就結束。遷移順序、全新安裝時應執行哪些步驟,以及既有資料庫重複執行遷移時的行為,都必須維持一致。
因此,T06 除了註冊第二階段的遷移,也將原本凍結在 scripts/spec_checks/ 中、用來檢查設計契約的部分規則,轉移到正式測試套件。

這是一個很重要的取捨。如果只是把舊檢查工具整個刪掉,程式碼看起來會更精簡,但其中某些設計要求可能也會失去唯一的自動驗證機制。
尤其資料表結構已經增加,如果原本針對 DDL 的驗收條件沒有被接續下來,將來有人修改 SQL,即使一般測試仍然通過,也未必能察覺資料契約已經改變。

因此,我先確認舊檢查究竟保障了哪些條件,再將需要長期保留的部分轉成正式測試,而不是把「清理舊工具」理解成「把舊檢查一併刪掉」。

測試也不只確認資料表名稱是否存在。它還會檢查遷移步驟是否完整登記、全新安裝的步驟集合是否正確,以及實際資料庫結構是否符合原先定義的資料契約。

這使測試不再只是每次改完程式後跑一遍的例行動作,而成為資料庫結構本身的一部分。
當舊有的檢查機制準備退場時,真正重要的不是刪掉多少程式碼,而是它原本守住的規則,有沒有被正式接手。

31 張資料表,仍然不能算是一座工廠
________________________________________

T06 完成後,資料庫已經具備兩階段的結構,也有遷移與資料契約測試作為基礎。但此時它仍然只是空的資料庫,還沒有正式的統一寫入管線,也沒有一套完成的工廠資料可以被後續模擬核心使用。

這個階段的成果,因此不是讓虛擬晶圓廠開始生產,而是讓未來要保存與查詢的資料,有一個可以被重建、被檢查,也能清楚追蹤版本的結構。

回頭看,這正好延續了 Spring 1 所建立的工作方式:不能只因為設計文件說應該如此,就把它當成已經成立的事實。

差別在於,Spring 1 著重的是如何讓專案的開發流程可以被檢查;到了 Spring 2 上篇,我開始把相同的要求落實到資料庫本身,讓資料結構與遷移規則也有實際的驗證機制。

而下一步,才是更棘手的問題:

當資料庫已經存在,而且結構也通過檢查之後,誰可以寫入它?又要如何確保真正寫進去的資料,是有根據、能重現,而且值得後續模擬使用的?

這將是 Spring 2 下篇的故事。
________________________________________

# 延伸閱讀

1. Database Migration 與 Idempotency
以有順序、可追蹤的遷移步驟管理資料庫結構,並確保重複執行不會造成非預期變更。

2. Executable Contracts
把原本寫在規格文件中的限制,轉化為可以自動執行並在違反時失敗的測試。

3. Schema Introspection
直接檢查實際資料庫結構,而不是只根據 SQL 原始檔推斷最終結果。

4. Regression Testing
在替換或清理既有檢查機制時,確保原本受到保障的行為不會悄悄退步。

________________________________________

# FDT 系列文章更新註記:

文章標題標記 #FDT 的文章,是我的個人專案【Fab-Digital-Twin】的一系列開發心得。
而本篇文章則是該專案的 Spring 2【Data】當中的 T05~T06 開發過程心得。

關於本專案的系列心得文章如下: