Cov txheej txheem:

Hais Lus-Paub Txog Camara System (SPACS): 8 Cov Kauj Ruam
Hais Lus-Paub Txog Camara System (SPACS): 8 Cov Kauj Ruam

Video: Hais Lus-Paub Txog Camara System (SPACS): 8 Cov Kauj Ruam

Video: Hais Lus-Paub Txog Camara System (SPACS): 8 Cov Kauj Ruam
Video: Ntxim Hlub - pana lee, lady her, KaKar Lee (Nkauj Tawm Tshaib 2021) 2024, Hlis ntuj nqeg
Anonim
Image
Image
Kho vajtse - 3D luam ntawv
Kho vajtse - 3D luam ntawv

Xav txog lub rooj sib tham hu xov tooj qhov twg ntau tus neeg hais lus nyob ib puag ncig lub koob yees duab. Peb feem ntau ntsib qhov twg qhov txwv qhov pom ntawm lub koob yees duab feem ntau tsis ua rau tus neeg hais lus. Qhov kev txwv kho vajtse no ua rau cov neeg siv kev paub tsis zoo. Yog tias lub koob yees duab tuaj yeem ntsia cov neeg hais lus nquag, cov neeg mloog nyob deb yuav koom nrog hauv kev sib tham thaum hu xov tooj. Hauv txoj haujlwm no, peb tshaj tawm (tsab ntawv) lub koob yees duab uas pom thiab ua raws tus hais lus nquag los ntawm kev tig lub koob yees duab mus rau tus hais lus. Lub kaw lus siv ob txoj kev pom- thiab suab raws txoj hauv kev. Thaum pom lub ntsej muag los ntawm lub koob yees duab, nws txiav txim siab tus neeg uas hais lus thiab suav lub kaum sab xis kom tig. Thaum lub ntsej muag tsis pom ntawm lub kaum ntse ntse tam sim no, lub kaw lus tshawb nrhiav tus neeg hais lus raws li cov lus qhia ntawm lub suab tuaj txog.

Kauj ruam 1: Cov ntaub ntawv

Adafruit Feather nRF52840 Qhia X 1

www.adafruit.com/product/4062

Electret Microphone Amplifier - MAX4466 X 2

www.adafruit.com/product/1063

Micro Servo Tsav X 1

www.adafruit.com/product/169

Android smartphone X 1

Kauj Ruam 2: Kho Vajtse - 3D Luam Ntawv

Kho vajtse - 3D luam ntawv
Kho vajtse - 3D luam ntawv
Kho vajtse - 3D luam ntawv
Kho vajtse - 3D luam ntawv

Rau kev siv nrawm, peb txiav txim siab 3D-luam cov kab ntawv uas peb xav tau. Muaj ob lub hauv paus tseem ceeb rau kev thaiv; turntable thiab smartphone sawv ntsug. Peb siv lub turntable los ntawm qhov txuas no (https://www.thingiverse.com/thing:141287), qhov uas nws muab cov ntaub ntawv Arduino rau hauv qab thiab lub rooj tig uas tuaj yeem txuas nrog lub cav servo. Peb siv lub xov tooj smartphone sawv ntawm qhov txuas no (https://www.thingiverse.com/thing:2673050), uas yog quav tau thiab kho tau lub kaum ntse ntse xws li nws tso cai rau peb ntsuas lub kaum sab xis kom yooj yim. Daim duab hauv qab no qhia txog 3D cov ntawv luam tawm ua ke ua ke.

Kauj Ruam 3: Khoos phis tawj - Cov khoom siv hluav taws xob

Kho vajtse - Cov khoom siv hluav taws xob
Kho vajtse - Cov khoom siv hluav taws xob
Kho vajtse - Cov khoom siv hluav taws xob
Kho vajtse - Cov khoom siv hluav taws xob

Muaj plaub yam khoom siv txuas; Adafruit Feather, ob lub microphones, thiab lub cev muaj zog. Txog kev ntim khoom me me, peb tau siv lub voj voos (grey voj voog) cov xov hlau tsis siv lub khob cij. Hauv qab no piav qhia daim duab qhia chaw thiab qhov khoom cuav.

Kauj ruam 4: Software

Peb cov txheej txheem feem ntau siv cov ntaub ntawv pom los ntawm kev lees paub lub ntsej muag kom ua raws tus neeg hais lus vim tias nws yog qhov tseeb dua. Txhawm rau Feather kom tau txais cov ntaub ntawv pom los ntawm Android app, peb siv Bluetooth Low Energy ua txoj hauv kev sib txuas lus tseem ceeb.

Thaum pom lub ntsej muag, lub app xam lub kaum sab xis uas lub cev muaj zog xav tau los tig los tsom tus neeg hais lus ntawm qhov nruab nrab ntawm tus ncej. Peb decomposed cov xwm txheej ua tau thiab ua raws li cov hauv qab no:

  1. Yog tias pom lub ntsej muag thiab hais lus, nws suav qhov nruab nrab ntawm cov neeg hais lus thiab rov qab lub kaum sab xis txheeb ze rau Plaub.
  2. Yog tias pom lub ntsej muag thiab tab sis tsis muaj leej twg hais lus, nws tseem suav qhov nruab nrab ntawm lub ntsej muag thiab rov qab lub kaum sab xis raws li.
  3. Yog tias tsis pom lub ntsej muag, lub kaw lus hloov tus hais lus-taug qab lub logic los ntawm kev pom mus rau lub suab.

SPACS software nyob ntawm

Kauj Ruam 5: Software - Suab

Software - Suab
Software - Suab

Suab (YH)

Txhawm rau nrhiav lub hauv paus ntawm lub suab tuaj, peb xub sim siv lub sijhawm sib txawv ntawm ob lub microphones. Tab sis nws tsis raug ntau npaum li qhov peb xav tau txij li tus nqi piv txwv (~ 900Hz) ntawm Arduino Leopard, qhov uas peb ntsuas cov suab cim, tau qeeb xws li nws tsis tuaj yeem khaws lub sijhawm sib txawv ntawm 10cm-sib nrug microphones.

Peb hloov txoj phiaj xwm los siv qhov sib txawv sib txawv ntawm ob lub suab tawm suab. Raws li qhov tshwm sim, plaub yuav siv ob lub suab qhia thiab ua haujlwm kom paub tias lub suab tuaj qhov twg los. Kev ua tiav tuaj yeem piav qhia los ntawm cov theem hauv qab no:

  1. Nqa cov tswv yim los ntawm ob lub microphones thiab rho tawm qhov offset kom tau txais qhov dav ntawm cov cim.
  2. Txheeb xyuas qhov muaj txiaj ntsig zoo ntawm qhov nthuav dav ib MIC rau 500 tuaj tos.
  3. Txuag qhov sib txawv ntawm cov txiaj ntsig sib txuam rau kab uas muaj 5 qhov qhib.
  4. Rov qab tag nrho ntawm cov kab ua qhov sib txawv zaum kawg tus nqi.
  5. Sib piv tus nqi kawg nrog qhov pib kom txiav txim siab lub suab los qhov twg los.

Peb pom qhov pib los ntawm kev npaj tus nqi kawg hauv ntau yam xwm txheej suav nrog lub suab los ntawm sab laug thiab sab xis. Nyob rau sab saum toj ntawm qhov pib rau tus nqi kawg, peb kuj teeb lwm qhov pib rau qhov nruab nrab ntawm qhov sib txuam ua ke hauv qib 2 txhawm rau lim tawm lub suab nrov.

Kauj Ruam 6: Software - Ntsej Muag thiab Hais Lus

Rau lub ntsej muag lees paub, peb ua haujlwm ML Cov Khoom rau Firebase tso tawm los ntawm Google (https://firebase.google.com/docs/ml-kit). ML Cov Khoom muab lub ntsej muag nrhiav API uas xa rov qab lub thawv ntim ntawm txhua lub ntsej muag thiab nws thaj chaw, suav nrog qhov muag, lub qhov ntswg, pob ntseg, sab plhu, thiab cov ntsiab lus sib txawv ntawm lub qhov ncauj. Thaum pom lub ntsej muag, lub app taug qab lub qhov ncauj txav mus txiav txim seb tus neeg ntawd hais lus. Peb siv txoj hauv kev yooj yim raws txoj hauv kev uas ua rau muaj kev ntseeg tau zoo. Peb siv zog qhov tseeb tias lub qhov ncauj txav mus los tau loj dua ob qho tib si hauv kab rov tav thiab ntsug thaum tus neeg hais lus. Peb suav qhov ntsug thiab kab rov tav nrug ntawm lub qhov ncauj thiab suav tus qauv sib txawv rau txhua qhov nrug. Qhov deb yog qhov qub rau qhov loj ntawm lub ntsej muag. Cov txheej txheem sib txawv loj dua hais txog kev hais lus. Txoj hauv kev no muaj qhov txwv uas txhua qhov haujlwm cuam tshuam nrog kev txav lub qhov ncauj, suav nrog kev noj mov, haus dej, lossis yawning, tuaj yeem lees paub tias yog hais lus. Tab sis, nws muaj qhov tsis raug cuav tsawg.

Kauj Ruam 7: Software - Rotating Motor

Software - Rotating Tsav
Software - Rotating Tsav

Lub cev muaj zog kev sib hloov tsis yooj yim raws li peb xav tau vim yog kev tswj ntawm kev sib hloov ceev. Txhawm rau tswj qhov nrawm, peb tshaj tawm thoob ntiaj teb cov khoom sib txawv xws li tso cai rau lub cav tig tsuas yog thaum qhov sib txawv nce mus txog tus nqi tshwj xeeb. Peb kuj tau tshaj tawm lwm qhov kev hloov pauv thoob ntiaj teb qhia tias yog lub tshuab txav mus rau qhia lub microphones kom nws tuaj yeem zam lub suab los ntawm lub cav tig.

Kauj Ruam 8: Kev txhim kho yav tom ntej

Ib qho ntawm cov kev txwv yog tias lub cav ua viav vias ntawm qee lub ces kaum. Nws zoo li lub cav tsis muaj zog txaus los kov yeej lub zog tsim los ntawm kev tig lub xov tooj. Nws tuaj yeem daws tau los ntawm kev siv lub tshuab muaj zog dua lossis hloov kho txoj haujlwm ntawm lub xov tooj smartphone mus rau qhov nruab nrab ntawm kev sib hloov kom txo lub zog.

Kev nrhiav lub suab raws lub suab tuaj yeem txhim kho nrog txoj hauv kev yooj yim dua. Peb xav sim ua lub suab nqaj nqaj nqaj nqaim los txiav txim siab kev coj ntawm lub suab tuaj. Peb tau sim nrog lub sijhawm tuaj txog ntawm lub suab qhia. Tab sis, qhov piv txwv ntawm Feather raug txwv kom paub lub sijhawm sib txawv thaum lub microphones tsuas yog nyob ib puag ncig 10cm deb.

Qhov kawg uas ploj lawm ntawm tsab ntawv no yog kev tshuaj xyuas kev siv tau. Ib txoj hauv kev cia siab los ntsuas yog koom ua ke nrog cov txheej txheem hu xov tooj video uas twb muaj lawm thiab saib xyuas cov neeg siv cov lus teb. Cov lus teb no yuav pab txhim kho cov kab ke thiab ua qhov rov ua dua ntawm cov qauv no.

Pom zoo: