วิธีสร้างโมเดล 3 มิติอย่างง่ายด้วย API จับภาพวัตถุ Apple

API จับภาพวัตถุของ Apple และโมเดล 3 มิติของ Photogrammetry

ทันทีเมื่อเปิดตัวเรามีอาการคันที่จะทดสอบ API จับภาพวัตถุของ Apple เพื่อสร้างโมเดล 3 มิติที่มีPhotoRobot และในขณะที่มันยังไม่สมบูรณ์แบบ, เราต้องยอมรับว่าแอปเปิ้ลแน่นอนกําหนดมาตรฐานที่นี่. การจับภาพวัตถุใช้อัลกอริธึมการตรวจวัดแสงเพื่อแปลงชุดภาพถ่ายเป็นโมเดล 3 มิติคุณภาพสูงที่ปรับให้เหมาะสมกับ Augmented Reality มันทํางานร่วมกับซอฟต์แวร์ควบคุมPhotoRobotและเข้าสู่เวิร์กโฟลว์ เนื้อหา 3 มิติระดับมืออาชีพ

ในการทดสอบการจับภาพวัตถุกระบวนการคล้ายกับการถ่ายภาพ 360 สปิน ก่อนอื่นเราถ่ายภาพ 36 ชุดสองชุด สิ่งนี้ให้มุมมองจากด้านบนและจากด้านล่างของผลิตภัณฑ์ จากนั้นเราใช้ Object Capture เพื่อสแกนภาพถ่ายของเราและสร้างไฟล์ USDZ ไฟล์นี้เราสามารถดูใน AR Quick Look หรือฝังบนหน้าเว็บของเราโดยใช้โปรแกรมดูเนื้อหา 3 มิติเช่น Emersya 

แต่การจับภาพวัตถุทํางานได้ดีเพียงใด อ่านต่อเพื่อดูผลลัพธ์ด้วยตัวคุณเองและรับการตรวจสอบ API การจับภาพวัตถุของPhotoRobot ดูว่าการจับภาพวัตถุยอดเยี่ยมจากที่ใด เทียบกับสิ่งที่ยังต้องการการปรับปรุง เราจะแบ่งปันสิ่งที่เราทดสอบผลลัพธ์และวิธีการสร้างโมเดล 3 มิติด้วยการจับภาพวัตถุและPhotoRobotของ Apple

‍

‍

1 - ภาพรวมการจับภาพวัตถุและการรวม

Object Capture ของ Apple สามารถทํางานร่วมกับรูปภาพจาก iPhone หรือ iPad ได้ อย่างไรก็ตามในกรณีการใช้งานในปัจจุบันเรากําลังปรับใช้ Object Capture กับภาพถ่ายผลิตภัณฑ์ระดับมืออาชีพที่เราถ่ายด้วย PhotoRobot Object Capture มีให้ใช้งานบน MacOS Monterey ขึ้นไป ซึ่งหมายความว่าจะผสานรวมกับอุปกรณ์ที่ขับเคลื่อนด้วยระบบอัตโนมัติของเราสําหรับการถ่ายภาพอีคอมเมิร์ซได้อย่างราบรื่น

‍
API ของซอฟต์แวร์พร้อมกับซอฟต์แวร์PhotoRobotใช้เทคนิคการสแกนด้วยแสงเพื่อสร้างโมเดล 3 มิติจากภาพถ่ายของเรา มันใช้ข้อมูลเกี่ยวกับวัตถุทางกายภาพผ่านการบันทึกการวัดและการตีความภาพของเรา จากนั้นเราจะใช้ข้อมูลนี้เพื่อทําซ้ําวัตถุในรูปแบบของสินทรัพย์ดิจิทัล 3 มิติ

สินทรัพย์เหล่านี้ทําเพื่อเนื้อหาผลิตภัณฑ์ที่น่าสนใจสําหรับหน้าผลิตภัณฑ์แคมเปญการตลาดตลาดออนไลน์เช่น Shopify วิดีโอเกมและอื่น ๆ พวกเขามาในรูปแบบของอะไรก็ได้ตั้งแต่โมเดล 3 มิติพื้นฐานแบบโต้ตอบไปจนถึง ตัวกําหนดค่าผลิตภัณฑ์และ ประสบการณ์ AR ที่ดื่มด่ํา

‍

‍

2 - วิธีถ่ายภาพผลิตภัณฑ์สําหรับการจับภาพวัตถุ

สําหรับการทดลองของเราเราเลือกที่จะสร้างโมเดล 3 มิติของรองเท้าสีดําชิ้นเดียวจาก Salomon เราใช้เคสของ PhotoRobot เป็นแผ่นเสียงแบบใช้มอเตอร์ร่วมกับ Canon EOS RP ขนาด 26 MP

‍

‍

ในท้ายที่สุดเราจําเป็นต้องใช้สปินผลิตภัณฑ์สองตัว (แต่ละอันประกอบด้วยภาพถ่าย 36 ภาพ) เพื่อสร้างโมเดล 3 มิติ หนึ่งในสปินของเรานําเสนอรองเท้าแบนด้านข้างเพื่อจับภาพด้านบนและด้านล่างของรองเท้า การหมุนอีกอันนําเสนอรองเท้าของเราในตําแหน่งยืนแสดง 360 องศาจากด้านหนึ่งไปอีกด้านหนึ่ง

สําหรับสิ่งนี้เราจําเป็นต้องถ่ายภาพ 36 เฟรมรอบรองเท้าซึ่งวางอยู่ตามปกติบนแผ่นเสียง จากนั้นเราจําเป็นต้องทําเช่นเดียวกันกับรองเท้าที่วางอยู่ด้านข้างของมันอีกครั้งจับภาพ 36 เฟรมในการหมุน 

ตอนนี้แทนที่จะใช้แสงสตูดิโอมาตรฐานเราพบว่าจําเป็นต้องมีการปรับเปลี่ยนเล็กน้อย สําหรับหนึ่งการจับภาพวัตถุพบปัญหาเมื่อทํางานกับพื้นผิวสะท้อนแสง อย่างไรก็ตามเราพบวิธีแก้ไขปัญหานี้และยังคงบรรลุผลลัพธ์ที่น่าพอใจ

‍

‍

3 - การปรับการตั้งค่าแสง

สังเกตว่าในรูปแบบที่เกิดขึ้นพื้นที่ใด ๆ ที่มีจ้องมองจะอบการสะท้อนลงในการจับภาพหรือสับสนอัลกอริทึมทั้งหมด 

‍

‍

เพื่อผลลัพธ์ที่ดีขึ้นเราพบเทคนิคบางอย่างที่เราสามารถใช้ในสตูดิโอได้ 

• ใช้ตัวปรับรูปร่างแสงขนาดใหญ่เพื่อทําให้แสง อ่อนลง
• ตั้งไฟหน้าสองดวงให้ชี้ไปที่วัตถุจาก 45°
• ไม่ใช้แสงพื้นหลัง

‍

บ่อยครั้งที่การตั้งค่าแสงนี้ให้ผลลัพธ์ที่เราสามารถทํางานด้วยได้ อย่างไรก็ตามด้วยผลิตภัณฑ์บางอย่างซอฟต์แวร์จะยังคงประสบปัญหากับการสะท้อน เมื่อเกิดเหตุการณ์เช่นนี้ จะสามารถลดแสงจ้าโดยใช้ฟิลเตอร์โพลาไรซ์บนกล้องได้ 

หากจําเป็นต้องลดเพิ่มเติมคุณอาจทําได้ผ่านการข้ามขั้ว เทคนิคนี้เรียกฟิลเตอร์โพลาไรซ์สองตัว: หนึ่งตัวบนกล้อง และอีกอันอยู่ด้านหน้าของแสง ปัญหาเดียวของเรื่องนี้คือโมเดล 3 มิติที่เกิดขึ้นสูญเสียข้อมูลทั้งหมดเกี่ยวกับการสะท้อนแสงของพื้นผิว ซึ่งหมายความว่าคุณจะต้องเพิ่มข้อมูลนี้กลับมาในภายหลังผ่านการแก้ไขภาพด้วยตนเอง

‍

‍

4 - ครอบตัดภาพถ่ายก่อนสร้างโมเดล 3 มิติ

ตอนนี้ก่อนที่จะสร้างโมเดล 3 มิติเราพบว่ามันจะดีกว่าที่จะครอบตัดภาพถ่ายทั้งหมดของเราก่อน สิ่งนี้ทําให้การสร้างแบบจําลองเร็วขึ้นมาก

‍

‍

ดังนั้นในPhotoRobot_Controlsเราเพียงแค่ครอบตัดภาพหนึ่งภาพและใช้การดําเนินการในเฟรมทั้งหมด 72 เฟรมของเรา ฟังก์ชั่นครอบตัดอัตโนมัติใช้เวลาเพียง 5 วินาทีในการประมวลผลภาพถ่ายทั้งหมดและใช้การดําเนินการแก้ไข ไม่ว่าภาพถ่ายจะอยู่ในโครงร่างกี่ภาพและแม้ว่าภาพแต่ละภาพจะมีขนาดแตกต่างกัน

หลังจากกระบวนการทํางานเราสามารถไปที่สร้างแบบจําลอง 3 มิติเพื่อกําหนดค่าการตั้งค่าก่อนการผลิต

‍

‍

5 - วิธีกําหนดค่าการตั้งค่าในการจับภาพวัตถุ

เมื่อทํางานใน Object Capture มีการตั้งค่า 2 แบบที่เราสามารถกําหนดค่าได้ก่อนที่จะสร้างแบบจําลองจากภาพถ่ายของเรา สิ่งเหล่านี้สามารถพบได้หลังจากกด สร้างโมเดล 3 มิติ

‍

‍

ครั้งแรก ความไวสามารถปรับจากปกติไปสูง สิ่งนี้สอดคล้องกับความไวของอัลกอริทึมที่จะตอบสนอง

ประการที่สอง การปิดบังวัตถุเราสามารถเปิดหรือปิดเพื่อแยกวัตถุออกจากพื้นหลังโดยอัตโนมัติ

‍

‍

6 - การสร้างและดูตัวอย่างแบบจําลองผลลัพธ์

หลังจากเลือกการกําหนดค่าของคุณสิ่งที่เหลืออยู่คือการกด เริ่ม จากนั้นอัลกอริธึมการตรวจวัดด้วยแสงจะประมวลผลภาพถ่ายต้นฉบับทั้งหมดและสร้างไฟล์ USDZ ที่มีโมเดลของเรา ไฟล์ถูกสร้างขึ้นในเวลา ประมาณ 3 นาที ด้วย Object Capture และฮาร์ดแวร์โดยเฉลี่ยในขณะที่วิธีการอื่น ๆ อาจต้องใช้เวลาหลายชั่วโมงในการคํานวณและการสัมผัสระดับมืออาชีพ

แต่ในเวลาอันสั้นหลังจากกดเริ่มเราได้รับเอาต์พุตเป็นไฟล์ MacOS เพื่อดูตัวอย่าง

‍

‍

‍

จากนั้นเราสามารถทํางานกับไฟล์นี้ในซอฟต์แวร์แก้ไขใด ๆ เมื่อพอใจเราสามารถใช้ไฟล์บน e-shop เช่น Shopify หรือตลาดออนไลน์อื่น ๆ ที่รองรับโมเดล 3 มิติ

หากต้องการใช้สําหรับหน้าเว็บหรือแคมเปญการตลาดของคุณมีแพลตฟอร์มการโฮสต์เนื้อหา 3 มิติโดยเฉพาะ แพลตฟอร์มเหล่านี้ทําให้การสร้างภาพและการปรับแต่งผลิตภัณฑ์ 3 มิติมีชีวิตชีวาสําหรับทั้งทีมผลิตภัณฑ์และผู้บริโภค

‍

‍

7 - วิธีเผยแพร่โมเดล 3 มิติผ่านแพลตฟอร์มโฮสติ้ง

สุดท้ายในการเผยแพร่โมเดล 3 มิติบนพื้นที่เว็บของคุณเองคุณจะต้องมีโปรแกรมดู 3 มิติที่ฝังตัวได้ ที่PhotoRobotหุ้นส่วนของเราไปและเป็นเวลานานสําหรับเรื่องนี้คือ Emersya ประสบการณ์ Emersya 3D, AR & VR มีให้สําหรับหน้าเว็บอุปกรณ์หรือระบบปฏิบัติการใด ๆ

‍

‍

‍

‍

ด้วยเทคโนโลยี HTML5 และ WebGL ดั้งเดิมผู้ชม Emersya ไม่จําเป็นต้องมีปลั๊กอิน การออกแบบที่ตอบสนองช่วยให้มั่นใจได้ว่าเนื้อหาผลิตภัณฑ์ทั้งหมดสามารถดูได้และเข้ากันได้กับอุปกรณ์ทั้งหมดที่ผู้ซื้ออาจใช้ ในขณะเดียวกันฮาร์ดแวร์เร่ง 3D โดยใช้เทคโนโลยี WebGL รับประกันเนื้อหาผลิตภัณฑ์ที่มีคุณภาพสูง

สิ่งที่เราต้องทําคืออัปโหลดไฟล์ของเราไปยังผู้ชมต้องขอบคุณ Emersya โมเดล 3 มิติของเราสามารถฝังอยู่ในหน้าใดก็ได้ มันเป็นกระบวนการเดียวกับการฝังวิดีโอโดยใช้รหัส iframe อย่างง่าย API ขั้นสูงให้การควบคุมโมเดล 3 มิติได้โดยตรงจากเว็บไซต์ของเราและทํางานบนหน้าเว็บหรือแพลตฟอร์มอีคอมเมิร์ซ CMS ใด ๆ

‍

‍

ดูโมเดล 3 มิติแบบฝังตัวได้ด้วยตัวคุณเอง

‍

‍

PhotoRobotรีวิวการจับภาพวัตถุของ Apple

ในท้ายที่สุดเราพบปัญหาบางอย่างเกี่ยวกับการจับภาพวัตถุ ประการแรกที่เรากล่าวถึงแล้วเกี่ยวข้องกับความสามารถในการสแกนพื้นผิวสะท้อนแสง เป็นไปได้ที่จะแก้ไขปัญหานี้โดยใช้การข้ามโพลาไรซ์ แต่จําเป็นต้องแก้ไขด้วยตนเองหลังจากนั้น 

ปัญหาอื่น ๆ ที่เราสังเกตเห็นคือการทํางานกับความโปร่งใสและเมื่อสแกนพื้นผิวเรียบหรือสม่ําเสมอ ปัจจุบันการจับภาพวัตถุใช้ไม่ได้กับความโปร่งใส ไม่เกี่ยวข้องกับวัตถุที่ขาดพื้นผิวหรือคุณสมบัติที่โดดเด่นทําให้ยากต่อการตรวจจับรูปร่าง ของวัตถุ

อย่างไรก็ตามเรายังคงคิดว่า Apple ทํางานได้ดีอย่างน่าทึ่งกับ Object Capture และ API ของมันทํางานร่วมกับซอฟต์แวร์PhotoRobotได้อย่างราบรื่น การสร้างโมเดล 3 มิติสําหรับวัตถุบางชิ้นสามารถให้ความท้าทาย แต่โดยรวมแล้วการจับภาพวัตถุทําให้การต้อนรับในสตูดิโอได้รับการต้อนรับ

โดยเฉพาะอย่างยิ่งสําหรับผลิตภัณฑ์บางอย่างมันสร้างผลลัพธ์ที่น่าประทับใจโดยไม่จําเป็นต้องแก้ไขหรือตกแต่งในภายหลัง จากนั้นด้วยผู้ชม 3 มิติเช่น Emersya มันเป็นเรื่องง่ายที่จะฝังโมเดล 3 มิติบนหน้าเว็บของเราเองหรือแพลตฟอร์ม อีคอมเมิร์ซ CMS

‍

‍

ต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการสร้างแบบจําลอง 3 มิติและโฮสติ้งหรือไม่?

ติดต่อเราวันนี้หรือลงทะเบียนด้านล่างเพื่อรับจดหมายข่าวการถ่ายภาพผลิตภัณฑ์ระดับมืออาชีพของเรา นอกจากนี้ยังค้นหาเราบน Facebook, LinkedIn และ YouTube เพื่อติดตามข่าวสารล่าสุดเกี่ยวกับทุกอย่างที่เกิดขึ้นในอุตสาหกรรมและPhotoRobot ตั้งแต่วิธีการสร้างโมเดล 3 มิติที่มีPhotoRobotไปจนถึงการผลิตเนื้อหาผลิตภัณฑ์ 360 หรือ 3 มิติใด ๆ เรามีให้คุณครอบคลุม