未來板MicroPython編程16：KOI
導入 KOI 庫
需要先導入KOI的庫才可以使用KOI。
from futureKOI import KOIKOI 基本應用
初始化KOI
koi = KOI(tx='P2',rx='P12',id=1)初始化KOI
tx為模組藍色線，配合Robotbit Edu使用請填P2。
rx為模組綠色線，配合Robotbit Edu使用請填P12。
改變屏幕方向
# available modes
# 0,2
koi.screen_mode(mode, cmd='K6')改變屏幕方向。
mode：0代表前置鏡頭，2代表後置鏡頭。
顯示字串
koi.text(x, y, delay, text, cmd="K4")在屏幕顯示字串。
x和y: 文字左上角的座標。
text: 字串。
delay: 延時，字串顯示時間。
截圖
koi.screen_save(pic , cmd="K2")用KOI拍照。
pic: 檔案名稱(.jpg)
顯示相片
koi.screen_show(pic, cmd="K1")顯示相片。
pic: 檔案名稱(.jpg)
人臉追蹤
載入人臉模型
koi.face_yolo_load(cmd="K30")載入人臉模型。
運行人臉追蹤(單個人臉)
x = koi.face_detect(cmd="K31")運行人臉追蹤。
獲取人臉坐標
koi.get_re(cmd="K31")[0] #x
koi.get_re(cmd="K31")[1] #y獲取人臉坐標。
運行人臉追蹤(多個人臉)
koi.face_count(cmd="K32")運行人臉追蹤。
獲取人臉數量
koi.get_re(cmd="K32")[0]獲取人臉數量。
人臉追蹤範例程式
from future import *
from futureKOI import KOI
screen.sync = 0
koi = KOI(tx='P2',rx='P12',id=1)
koi.screen_mode(2, cmd='K6')
koi.face_yolo_load(cmd='K30')
while True:
if koi.face_detect(cmd='K31'):
screen.fill((0, 0, 0))
screen.text("Face detected:",5,10,1,(255, 255, 255))
screen.text("X:",5,20,2,(255, 255, 255))
screen.text((koi.get_re(cmd='K31')[0]),5,40,3,(255, 255, 255))
screen.text("Y:",5,70,2,(255, 255, 255))
screen.text((koi.get_re(cmd='K31')[1]),5,90,3,(255, 255, 255))
screen.refresh()
else:
screen.fill((0, 0, 0))
screen.text("No face",5,10,1,(255, 255, 255))
screen.refresh()
sleep(0.5)特徵分類器
初始化分類器
koi.init_cls()初始化特徵分類器。
保存分類器模型
koi.cls_save_model(model,cmd="K43")保存分類器模型。
model: 檔案名稱(.json/.bin)
載入分類器模型
koi.cls_load_model(model="abc.json",cmd="K44")載入分類器模型。
model: 檔案名稱(.json/.bin)
添加標籤
koi.cls_add_tag(tag,cmd="K41")提取特徵添加標籤。
tag: 物件標籤
執行特徵分類
koi.cls_run(cmd="K42")返回特徵分類。
KOI特徵分類器範例程式(模型訓練)
from future import *
from futureKOI import KOI
items = []
i = 0
items.append('rock')
items.append('paper')
items.append('scissors')
i = 0
koi = KOI(tx='P2',rx='P12',id=1)
koi.init_cls() # init classifier
koi.screen_mode(2, cmd='K6')
screen.sync = 0
while True:
screen.fill((0, 0, 0))
if sensor.btnValue("a") and sensor.btnValue("b"):
koi.cls_save_model(model="model.json",cmd='K43') # saves the classifier model
buzzer.melody(1)
else:
if sensor.btnValue("a"):
sleep(0.2)
if not sensor.btnValue("b"):
koi.cls_add_tag(id=(items[int((i % 3 + 1) - 1)]),cmd='K41') # classifier add tag
buzzer.melody(4)
else:
if sensor.btnValue("b"):
sleep(0.2)
buzzer.tone(440,0.2)
if not sensor.btnValue("a"):
i += 1
screen.text("Now training:",0,10,1,(255, 255, 255))
screen.text((items[int((i % 3 + 1) - 1)]),0,30,2,(255, 255, 255))
screen.text("Press A to add tag",0,60,1,(255, 255, 255))
screen.text("Press B for next tag",0,80,1,(255, 255, 255))
screen.text("Press A+B to save",0,100,1,(255, 255, 255))
screen.refresh()KOI特徵分類器範例程式(模型運行)
from future import *
from futureKOI import KOI
koi = KOI(tx='P2',rx='P12',id=1)
koi.screen_mode(2, cmd='K6')
koi.init_cls()
koi.cls_load_model(model="model.json",cmd='K44') # loads the classifier model
while True:
if sensor.btnValue("a"):
screen.clear()
screen.text((koi.cls_run(cmd='K42')),5,10,2,(255, 255, 255)) # displays the classified tag
screen.refresh()顏色追蹤
顏色校正
koi.color_cali(name ,cmd="K16")校正要追蹤的顏色。
name: 顏色
追蹤色塊
koi.color_tracking(name="name", cmd="K15")
# returns [cx,cy,w,h,name]追蹤色塊，並返回色塊數值。
name: 顏色
獲取色塊數值
koi.get_re(cmd="K15")[0] #cx
koi.get_re(cmd="K15")[1] #cy
koi.get_re(cmd="K15")[2] #w
koi.get_re(cmd="K15")[3] #h獲取色塊數值。
顏色追蹤範例程式
from future import *
from futureKOI import KOI
koi.screen_mode(2, cmd='K6')
koi = KOI(tx='P2',rx='P12',id=1)
while True:
if sensor.btnValue("a"):
koi.color_cali(name="red" ,cmd='K16')
sleep(0.3)
if sensor.btnValue("b"):
if koi.color_tracking(name="red", cmd='K15'):
screen.clear()
screen.text((koi.get_re(cmd='K15')[0]),5,10,1,(255, 255, 255))
screen.text((koi.get_re(cmd='K15')[1]),5,20,1,(255, 255, 255))
screen.text((koi.get_re(cmd='K15')[2]),5,30,1,(255, 255, 255))
screen.text((koi.get_re(cmd='K15')[3]),5,40,1,(255, 255, 255))
screen.refresh()
sleep(0.3)追蹤巡線
koi.line_tracking(name ,cmd="K12")
# returns [x1, y1, x2, y2, name]追蹤巡線，並返回巡線數值。
name: 顏色
獲取巡線數值
koi.get_re(cmd="K12")[0] #x1
koi.get_re(cmd="K12")[1] #y1
koi.get_re(cmd="K12")[2] #x2
koi.get_re(cmd="K12")[3] #y2獲取巡線數值。
追蹤巡線範例程式
from future import *
from futureKOI import KOI
koi.screen_mode(2, cmd='K6')
koi = KOI(tx='P2',rx='P12',id=1)
while True:
if sensor.btnValue("a"):
koi.color_cali(name="red" ,cmd='K16')
sleep(0.3)
if sensor.btnValue("b"):
if koi.line_tracking(name="red" ,cmd='K12'):
screen.clear()
screen.text((koi.get_re(cmd='K12')[0]),5,10,1,(255, 255, 255))
screen.text((koi.get_re(cmd='K12')[1]),5,20,1,(255, 255, 255))
screen.text((koi.get_re(cmd='K12')[2]),5,30,1,(255, 255, 255))
screen.text((koi.get_re(cmd='K12')[3]),5,40,1,(255, 255, 255))
screen.refresh()
sleep(0.3)幾何圖形識別
圓形追蹤
koi.circle_detect(threshold, cmd="K10")追蹤畫面裡的圓形。
threshold: 臨界值，越高越難追蹤，一般建議4000。
獲取圓形數值
koi.get_re(cmd="K10")[0] #cx
koi.get_re(cmd="K10")[1] #cy
koi.get_re(cmd="K10")[2] #r獲取圓形數值。
矩形追蹤
koi.rectangle_detect(th=4000,cmd="K11")追蹤畫面裡的矩形。
threshold: 臨界值，越高越難追蹤，一般建議4000。
獲取矩形數值
koi.get_re(cmd="K11")[0]
koi.get_re(cmd="K11")[1]
koi.get_re(cmd="K11")[2]
koi.get_re(cmd="K11")[3]獲取矩形數值。
幾何圖形識別範例程式
from futureKOI import KOI
from future import *
koi.screen_mode(2, cmd='K6')
koi = KOI(tx='P2',rx='P12',id=1)
while True:
if sensor.btnValue("a"):
if koi.circle_detect(th=4000, cmd='K10'):
screen.clear()
screen.text((koi.get_re(cmd='K10')[0]),5,10,1,(255, 255, 255))
screen.text((koi.get_re(cmd='K10')[0]),5,20,1,(255, 255, 255))
screen.text((koi.get_re(cmd='K10')[0]),5,30,1,(255, 255, 255))
screen.refresh()
sleep(0.3)
if sensor.btnValue("b"):
if koi.rectangle_detect(th=4000,cmd='K11'):
screen.clear()
screen.text((koi.get_re(cmd='K11')[0]),5,10,1,(255, 255, 255))
screen.text((koi.get_re(cmd='K11')[1]),5,20,1,(255, 255, 255))
screen.text((koi.get_re(cmd='K11')[2]),5,30,1,(255, 255, 255))
screen.text((koi.get_re(cmd='K11')[3]),5,40,1,(255, 255, 255))
screen.refresh()
sleep(0.3)條碼識別
QR Code識別
koi.scan_qrcode(cmd="K20")識別畫面裡的QR Code。
Barcode識別
koi.scan_barcode(cmd="K22")識別畫面裡的Barcode。
AprilTag識別
koi.scan_Apriltag(cmd="K23")識別畫面裡的AprilTag。
AprilTag數值
koi.get_re(cmd="K23")[0] #id
koi.get_re(cmd="K23")[1] #cx
koi.get_re(cmd="K23")[2] #cy
koi.get_re(cmd="K23")[3] #w
koi.get_re(cmd="K23")[4] #h獲取AprilTag數值。
條碼識別範例程式
from future import *
from futureKOI import KOI
koi = KOI(tx='P2',rx='P12',id=1)
koi.screen_mode(2, cmd='K6')
while True:
if sensor.btnValue("a"):
screen.clear()
screen.text((koi.scan_qrcode(cmd='K20')),5,10,2,(255, 255, 255))
if sensor.btnValue("b"):
screen.clear()
screen.text((koi.scan_barcode(cmd='K22')),5,10,2,(255, 255, 255))物聯網
連接網絡
koi.connect_wifi(router ,pwd ,cmd="K50")連接WiFi網絡。
router: 網絡SSID
pwd: 網絡密碼
獲取IP地址
koi.get_ip(cmd="K54")獲取IP地址。
百度AI
百度AI人臉辨識
koi.baiduAI_face_detect(cmd="K75")
# returns [face token, age, sex, mask, emotion]運行百度AI人臉辨識並返回人臉數值。
獲取人臉特徵碼
koi.get_re(cmd="K75")[0]獲取人臉特徵碼。
添加人臉到組別
koi.baiduAI_face_add(face_token="token" ,groupName="group" ,faceName="name" ,cmd="K76")添加人臉到組別。
face_token: 人臉特徵碼
groupName: 組別名稱
faceName: 人臉名稱
在組別搜尋人臉
koi.baiduAI_face_search(face_token="token" ,groupName="group" ,cmd="K77")[0]在組別搜尋人臉並返回人臉名稱。
face_token: 人臉特徵碼
groupName: 組別名稱
文字轉語音
koi.baiduAI_tts(text ,cmd="K78")文字轉語音。
-text: 文字，不支援空白鍵
物聯網文字轉語音範例程式
from future import *
from futureKOI import KOI
koi = KOI(tx='P2',rx='P12',id=1)
koi.screen_mode(2, cmd='K6')
koi.connect_wifi(router="apname" ,pwd="password" ,cmd='K50')
while True:
if sensor.btnValue("a"):
koi.baiduAI_tts(txt='"hello"' ,cmd='K78')
sleep(0.2)
if sensor.btnValue("b"):
screen.clear()
screen.text((koi.get_ip(cmd='K54')),5,10,1,(255, 255, 255))
screen.refresh()
sleep(0.2)語音辨識
錄製wav音頻檔
koi.audio_record(name)錄製wav音頻檔。
name: 檔案名稱(.wav)
播放wav音頻檔
koi.audio_play(name)播放wav音頻檔。
name: 檔案名稱(.wav)
校正環境噪音
koi.audio_noisetap()校正環境噪音，語音辨識前必須運行。
語音辨識增加命令詞
koi.speech_add_tag(tag)增加語音辨識命令詞。
tag: 命令詞
運行語音辨識
koi.speech_run(cmd="K65")運行語音辨識，返回命令詞。
儲存語音模型
koi.speech_save_model(file)儲存語音模型。
file: 檔案名稱(.json)
載入語音模型
koi.speech_load_model(file)載入語音模型。
file: 檔案名稱(.json)
語音辨識模型訓練範例程式
from future import *
from futureKOI import KOI
items = []
i = 0
items.append('rock')
items.append('paper')
items.append('scissors')
i = 0
koi = KOI(tx='P2',rx='P12',id=1)
koi.audio_noisetap()
koi.screen_mode(2, cmd='K6')
screen.sync = 0
while True:
screen.fill((0, 0, 0))
if sensor.btnValue("a") and sensor.btnValue("b"):
buzzer.melody(1)
koi.speech_save_model("speech.json")
else:
if sensor.btnValue("a"):
sleep(0.2)
if not sensor.btnValue("b"):
koi.speech_add_tag((items[int((i % 3 + 1) - 1)]))
else:
if sensor.btnValue("b"):
sleep(0.2)
buzzer.tone(440,0.2)
if not sensor.btnValue("a"):
i += 1
screen.text("Now training:",0,10,1,(255, 255, 255))
screen.text((items[int((i % 3 + 1) - 1)]),0,30,2,(255, 255, 255))
screen.text("Press A to add tag",0,60,1,(255, 255, 255))
screen.text("Press B for next tag",0,80,1,(255, 255, 255))
screen.text("Press A+B to save",0,100,1,(255, 255, 255))
screen.refresh()語音辨識模型運行範例程式
from future import *
from futureKOI import KOI
koi = KOI(tx='P2',rx='P12',id=1)
koi.audio_noisetap()
koi.speech_load_model("speech.json")
while True:
if sensor.btnValue("a"):
screen.clear()
screen.text((koi.speech_run(cmd='K65')),5,10,2,(255, 255, 255))
screen.refresh()雜項
重設KOI
koi.reset(cmd='k99')重設KOI
停止分類器
koi.stop_kpu(cmd='k98')停止分類器
Last updated