Llama 90B マルチモーダルで料理のインスピレーションを簡単に

1. 探索ステップ: 利害関係者との関わりと問題の定義

何を料理するか決めるのは、時には終わりのないパズルのように感じることがあります。特に、冷蔵庫を開けると、ランダムな材料が目の前に並んでいる場合はなおさらです。友人、家族、料理好きの仲間と話をしたところ、私たちは、人々がインスピレーションに欠けていたり、いつも同じレシピに飽きたりすることがよくあるという、よくあるテーマに気づきました。

生成 AI は価値を付加できるか?
私たちは、「AI が冷蔵庫の中身を写真に撮って、その場で食事のアイデアを提案できたらどうなるだろう?」と考えました。これは次のような効果をもたらします。

  • 時間を節約: 何を調理するかについて延々と議論する必要はもうありません。
  • バラエティを追加する: ユーザー自身が思いつかないような楽しい新しい料理を紹介します。
  • 創造性を高める: 「気分が乗らない」日のために、新鮮で予想外のメニューのアイデアを提供します。

私たちの目標は、単に、キッチンでの創造性を刺激する、気楽で好奇心を刺激するアプリを作れるかどうかを探ることです。


2. 設計ステップ: ソリューションと Gradio UI のプロトタイプ作成

Llama 3.2 90B (マルチモーダル) を選ぶ理由

私たちは、テキストと画像の両方を処理できるマルチモーダル モデルである Llama 3.2 90B を使用しました。このモデルの大きなパラメーター数と画像認識機能は、冷蔵庫内のアイテムを識別し、レシピを提案する上で重要な役割を果たしました。

Gradio インターフェースの構築

私たちは物事を非常にシンプルにしました:

  1. 写真をアップロード: ユーザーは冷蔵庫やパントリー内のアイテムの写真を撮ってアップロードします。
  2. 自動認識: AI が画像を分析して、一般的な材料を検出します。
  3. メニューの提案: ユーザーは数秒以内に、認識された項目に合わせた食事のアイデアの提案を見ることができます。

Gradio を活用することで、わかりやすくユーザーフレンドリーなインターフェースをすぐに構築して実行できるようになり、テスターは写真をアップロードしたり、リアルタイムの結果を確認したり、即座にフィードバックを共有したりできるようになりました。


3. 実装ステップ: ユーザーフィードバックの統合

私たちは、家庭料理人と趣味のシェフからなる小グループを招待し、数日間にわたってプロトタイプを試作してもらいました。その結果、次のことがわかりました。

  • 食品認識精度: AI は材料の約 80% を正しく識別しました。ところどころで間違いが発生しました。たとえば、袋の中で横向きに置かれているときにレモンをキウイと間違えたり、サーモンをニンジンと間違えたりしました。
  • メニュー提案の関連性: テスターの約 65% が、モデルのレシピが実際の料理習慣と一致していると回答しました。彼らは、このモデルが本当に役立つと感じました。
  • 楽しさとインスピレーション: 残りの 35% は創造性という側面を気に入っていましたが、料理のインスピレーションがまったくないときや、遊び心のあるものを欲しているときのみ、これに全面的に頼ると述べました。

私たちは、より明確な材料ラベルと、食事を生成する前にユーザーに誤認された項目を確認または編集するように求めるシンプルなインターフェースプロンプトを追加することで、プロトタイプを改良しました。


4. 評価ステップ: 製品の影響を測定する

時間と創造性の向上

テスターたちは、AI が素早くアイデアを生成してくれたおかげで、「何を調理するか」というよくある難問から解放されたと感じました。アプリがブレインストーミングを担当してくれたので、実際に調理する時間を増やすことも、ただリラックスして調理の過程を楽しむこともできました。

ユーザーの採用と次のステップ

  • 導入の要因: アイデアが浮かばないときや、日常生活にちょっとした楽しみを求めているときに、ユーザーはアプリを利用する傾向が強まりました。
  • 改善の余地: より微妙なニュアンスや不明瞭な成分を処理できるようにモデルの精度を強化すると、モデルの信頼性がさらに高まります。
  • 潜在的な機能: 将来の機能強化には、食事の好みのフィルター (ビーガン、グルテンフリーなど) や、提案されたレシピのレビュー システムの組み込みが含まれる可能性があります。

結論

私たちの「好奇心を満たす」プロジェクトは、Llama 3.2 90B のようなマルチモーダル AI モデルが、「今晩の夕食は何にしよう?」という毎日のジレンマに楽しく実用的な解決策を提供できることを証明しました。冷蔵庫のアイテムを適度な精度で認識し、独創的なメニューのアイデアを提供することで、この気楽なアプリは、料理のマンネリ化を必要とせず、ユーザーが新鮮で予想外の食事を試すことを促します。

ブログに戻る