機器人作業系統與多模態 AI ROS2 and Multimodal AI Applications - 蘇文鈺

歡迎來到 MOPCON 2024 共筆

共筆入口：https://hackmd.io/@mopcon/2024
手機版請點選上方 按鈕展開議程列表。

從這開始

官網

ROS - Robot Operating System

重點摘要

• ROS, since 2007
• Movelt2
  • 對 Python 相容性較差，對 C++ 較好
  • 在 Windows 資源較多
• PROS, from NCKU
  • 排除原有問題
  • 加入 Watch Dog 監測機制
  • 以 Zero-trust 原則開發
  • User - PROS thread
  • System - Monitoring thread
  • Nginx - Load balancing
  • 支援 Visualization logging
• PROS 功能支援
  • Spatial Modeling
  • Robot Controlling
  • Data Collecting
  • PROS Blocks
  • PROS Node
• Control Spider in Unity - Using PL: Proximal Policy Optimization (PRO)
• FunAI

提問

• 是否實驗室有在做多機協作 Open-RMF？
  • 有。
• 詢問圖像化編輯訓練模型的軟體，是否可以應用於醫療業？
  • 只要資料有標記，即可以使用。
  • 但本機端的設備需要夠好。
• 是否 PROS 是否開源？
  • 依照規範皆會開源。
• 對於大型語言模型的看法，針對 Agentic 的未來發展？
  • 講者對於大型語言模型的看法與目標，是希望可以用說的，機器人可以做好，其中會自動依需求自行驅動需要的小型語言模型。
  • 對未來想像為，家中機器不用太好，每天錄音、影，便可以依照自己的習慣，訓練成自己需要的家庭機器人。
  • 機器人不必要是人型，只要能服務自身、滿足自身需求即可。
• ROS1 vs ROS2？
  • 覺得 ROS1 的 Source Code 寫得不好，所以棄用。
  • ROS2 的 Python 支援度較高。
• 在接觸 ROS 時，ROS1 的 documentation 比 ROS2 好？
  • 未來實驗室會嘗試補充 ROS2 Document。