跳到主要內容

發表文章

目前顯示的是 5月, 2024的文章

關聯規則|除了 Apriori 之外還有什麼?

圖源:Seq2Pat: Sequence-to-pattern generation to bridge patternmining with machine learning. |  AI Magazine Volume 44, Issue 1, Mar 2023, Pages1-130.  # 前言 筆者在 前一篇文章 當中提到了關聯規則分析在製造業當中的相關應用場景,而在本篇文章當中,筆者提到一些關聯規則的變體。正如標題的提問:「關聯規則分析,除了 Apriori   之外還有什麼?」,不外乎正是因為 Apriori 演算法的地位就相當於迴歸分析當中的 簡單線性迴歸 。因為它實在太經典,理論簡單清晰且樸實無華,談到關聯規則分析的演算法不外乎一定會想到 Apriori。但也因為如此,其實用性必定然不如後續各種改良版的演算法。本篇文章依舊不討論理論細節,只聊聊若考量了更多分析要素的情況下,關聯規則演算法可以怎麼玩? # 階層與類別 Multidimensional and Multilevel Association Rules。這是資料分析實務上幾乎會存在的議題,以超市商品銷售分析為例,商品的用途分類、品牌、價位、供應商、是否有打折?是否為當季商品?這些類別屬性本身就是重要的統計資訊來源,而有了類別屬性就能夠依此來賦予階層的資料劃分。經典的購物籃分析當中只到啤酒跟尿布,但若我們將上述屬性給納入分析當中,那麼可能資料本身就要經過更嚴謹的標記處理,甚至是調整演算法本身,才能使分析結果更具詮釋性。 相關參考文獻: Comparison of New Multilevel Association Rule Algorithm with MAFIA. | International Journal of Intelligent Systems Technologies and Applications 6(11):75-81, October 2014, 6(11):75-81. Mining Multi-Dimensional and Multi-Level Sequential Patterns. |  ACM Transactions on Knowledge Discovery from Data (TKDD), 2010, 4 (1), pp.1-37.  #

關聯規則|除了購物籃分析還有什麼?

# 前言 關聯規則分析( Association Rule Analysis ) 大概可以列入所有入門資料科學、數據分析的朋友們,都聽過的一門分析方法,最常見的應用不外乎就是購物籃分析( Basket Analysis ) 與推薦系統,尤其是那個經典的美國超市的「 啤酒與尿布 」 的案例。 這幾乎是筆者現在每次聽到的時候都會直接腦袋放空的案例,直到筆者在某一次的相關技術分享當中聽到有人提到「月餅與烤肉架、柚子與木炭」這項範例,筆者才發自內心一笑 XD 而誠如標題,這篇文章要討論的關聯規則在購物籃分析之外的應用。 白話來說,關聯規則分析,就是計算在資料集當中不同「項目」(item)共同出現的頻率,藉以找出「具有一定統計顯著關聯」的「規則」。而這個「項目」的定義,自然就根據應用的領域而有所不同。例如各位可能也在教科書或者各大教學網站當中看過,關聯規則分析在醫療生技、投資組合、網路資安控管等等的應用。筆者本身所處的產業是電子製造業,理所當然地要來跟各位簡單聊聊關聯規則在電子製造業的相關應用。 # 異常事件偵測 這類的應用與資安控管、金融詐騙等應用相似,都是將關聯規則分析作為「異常檢測」( Anomaly detection )的方法。而製造業常見的異常檢測議題有什麼呢?機台設備的保養檢查、產品品質檢驗、客戶的需求預測。都是常見的應用。 製造業本是高度實體資本集中的產業,任何可能影響產線正常運作與出貨的事件,都很可能造成公司損失。因此,確保產線能正常運作、產品品質無慮,是製造業無時無刻都在關注的事情。而客戶的需求預測,則就不限於電子製造業,日常營運當中包含實體進出貨作業、並且有庫存成本考量的產業,皆是如此。而「精準地預測客戶需求」本身就是一項艱難的任務,即便是大數據與人工智慧技術蓬勃發展的 2024 年也還是一樣 否則每一位資料分析師就都拿資料套個模型炒股發大財去了 。而關聯規則分析則有機會找到異常波動的一些蛛絲馬跡,提前做好防範措施。 相關 理論 應用範例: Interpretable failure risk assessment for continuous production processes based on association rule mining.|Advances in Industrial and Manufacturing Engineeri