簡介⌗

Chick-fil-A 是一間總部位於美國喬治亞州 College Park 的美式連鎖速食店,以雞肉三明治為主 (圖片看起來其實是漢堡) ,目前有超過 2,200 間連鎖餐廳

遇到的問題⌗

在速食產業 (QSR) 中,大部分食物都會有所謂的有效期,在食物放到備料區以後,如果超過該食物的有效期,食物就會被倒掉,以保證食物比較不會有食安上的問題,傳統上都是人工去點擊計時器,但是

“Ain’t nobody got time for that!”

如果說人員忘記點擊開始,下一次想起來再來去點,該食物的計時是完全沒有效用的

POC⌗

為了解決這個問題, Chick-Fil-A 直接設計一個新的托盤,讓放食物的鍋子邊邊可以被 3D camera 掃描,並且直接在鍋子上給予 Bar code,這樣就可以知道是哪種食物被放上來,用以重設計時器

Pan and Bracket

為了做到該功能,他們在托盤與鍋子上面架設 Camera 並且運用 NCU 進行 Bar code 偵測

NCU install

AI⌗

何時啟用 Bar code 偵測是一個不小的問題,原本他們使用 3D 相機給予的深度資訊來做 pixel counting,但是,如果 Camera 被動到,或是安裝人員安裝時,把相機安裝比預設的高兩英吋,就有可能讓 Bar code 難以被偵測 (pixel counting),為了解決該問題,他們打算捨棄傳統的 pixel counting 改用 AI 來判斷鍋子是否安裝到托盤上

Training Data⌗

  • 用 3D camera 擷取沒有鍋子的影像
    • 為了模擬真實店家情況,他們在影像中加入一些會在店內出現的東西,例如:三明治
  • 一樣方式擷取有鍋子的影像
  • 解析度: 1280 x 720

Neural Network Implementation⌗

很簡單的一層 dense 一層 dropout 的 CNN 就達到不錯的效果,以下為詳細訓練的參數

  • grayscale
  • 96 x 96 pixels
  • 2 epochs of 600 batches
  • 32 images per batch
  • 30 validation batches

Feature⌗

運用鍋子的深度,以及計時器的資料,可以知道裡面有多少雞肉,那就可以知道多少肉在何時被煮起來,使用油品的紀錄也可以被知道

進化 AHA 2.0⌗

完成了相關實驗後,他們要挑戰安裝到 2800 以上的店家,他們做了不少進化,例如

  • 如何讓平板 (顯示器),可以在廚房惡劣的環境下還能使用,而且成本要夠低到可以擴展到所有店家
  • 重新設計 機器 - 相機 - 托盤,讓顯示器不會擋到相機
  • 加強 AI 的準確度
  • 壓力測試鍋子上雷射上去的 Bar code 經過刷洗後,耐用度如何
  • 找到更好的 Bar code,就算工作人員的手微微擋住一部分條碼也可以辨識
  • 加上一些傳統電腦視覺的算法,讓條碼更好被判斷
  • 各式 Bar code 除錯,例如:地板上有條碼,不該被混淆
  • 優化深度轉乘雞肉量的轉換

硬體改進⌗

在部署 prototype 到一些店家後,開始進行 Failure Mode and Effects Analysis 為了要讓他們的解決方案可以支援到 24 常駐

  • 一開始想辦法讓 Chrome 直接支援 Intel RealSense camera,這樣就不用 NCU 了,但是失敗
  • 找到夠穩定的 Chrome 平板,最後找到一個支援 Linux 的平板
  • 讓研究人員確定該平板跑 AI model 是穩定的

最後平板只有 USB, Power, Camera,他們認為已經有足夠少的 failure point ,壞掉機率也夠低,足以支撐他們的服務

Ref⌗