We zijn aan het einde gekomen van Residence Assistant Jaar van de stem! Het was ons doel voor 2023 om gebruikers Residence Assistant te laten bedienen door in hun eigen taal te spreken.
Start 2023 had Residence Assistant voor sommige apparaten de basisbediening op tekstbasis alleen in het Engels. Naarmate het jaar ten einde loopt, kunnen gebruikers hun slimme huis nu bedienen en vragen stellen over hun slimme huis met stem in meer dan 50 talen op verschillende apparaten, waaronder:
- Elk ESPHome apparaat met microfoon
- Android-telefoons, tablets en smartwatches
- Analoge telefoons van de oude faculty (met een adapter)
Residence Assistant-gebruikers kunnen nu meerdere stemassistenten creëren door componenten van een stempijplijn te mixen en matchen. Residence Assistant Cloud-abonnees krijgen automatisch toegang tot hoogwaardige spraakcomponenten in meer dan 130 talen en dialecten. Er zijn ook volledig lokale componenten beschikbaar, zoals onze Pijper tekst-naar-spraaksysteem, waardoor 100% offline stembediening mogelijk is.
In Hoofdstuk 4hebben we wake-tekstverwerking rechtstreeks aan Residence Assistant toegevoegd door gebruik te maken van de openWakeWord undertaking. Hierdoor werden kleine stemsatellieten zoals de M5 ATOM Echo-ontwikkelingskit om wake-word-detectie te ontlasten door audio naar een Residence Assistant-server te streamen. De gemeenschap is difficult aan het werk geweest om verschillende mensen te trainen aangepaste wake-woorden waarmee iedereen zijn stemervaring uniek kan maken.
Voor het laatste hoofdstuk van 2023 hebben we de beschikbare soorten spraakopdrachten uitgebreid met weer-, temperatuur- en takenlijsten. Spraaksatellieten weten nu in welk gebied ze zich bevinden, en er zijn ook meer hardware-/softwareopties beschikbaar.
Prettige Feestdagen!
Assisteren bij het draaien op de ESP32-S3-BOX-3.
De S3-BOX-3
Espressif heeft onlangs de ESP32-S3-BOX-3, een replace van de stopgezette ESP32-S3-BOX (en “lite” variant). Deze “AIoT”-ontwikkelkit bevat een ESP32-S3-chip, dubbele microfoons, een kleine luidspreker en een scherm. Er zijn verschillende docks beschikbaar in de doos, die een USB-C-voedingsconnector en GPIO-pinnen blootleggen om het apparaat uit te breiden.
Assisteer bij het draaien op de ESP32-S3-BOX-3 met aangepaste illustraties.
De ESPHome Het staff heeft exhausting gewerkt aan het toevoegen van ondersteuning voor de S3-BOX-3, inclusief de mogelijkheid om het show aan te passen! Bekijk de S3-BOX-3-tutorial starten.
Breng de vakantie door met Frenck als stemassistent.
Meer spraakopdrachten
Helemaal terug naar binnen beginnen Hoofdstuk 1hebben we spraakopdrachten toegevoegd voor:
- Lichten en andere apparaten aan- en uitzetten
- Openen en sluiten van deuren, ramen, enz.
- De helderheid en kleur van de verlichting instellen
- Artikelen toevoegen aan een boodschappenlijstje
- Vragen stellen, bijvoorbeeld welke ramen in een ruimte open staan
Voor hoofdstuk 5 hebben we deze lijst uitgebreid met:
- Artikelen toevoegen aan een te doen lijst – “Voeg de vuilnis buiten aan mijn takenlijst”
- Het verkrijgen van de binnen temperatuur – “wat is de temperatuur?”
- De stroom verkrijgen weer voorwaarde – “hoe is het weer?”
- Annuleren een satelliet-wake-up – “laat maar zitten”
Zorg ervoor dat je dat hebt gedaan blootgesteld de gewenste apparaten Helpen toegang hebben en dat ze de juiste naam hebben. Je kunt altijd een alias wanneer u naar een apparaat wilt verwijzen met iets dat handiger is voor spraak. Als u bijvoorbeeld een alias ‘Berlijn’ toevoegt aan een weerentiteit, kunt u dit zeggen “Hoe is het weer in Berlijn?”.
Gebiedsbewustzijn
Spraaksatellieten kunnen overal in huis worden geplaatst, en het is belangrijk om hun gebied in gedachten te houden bij het interpreteren van commando’s zoals “de lichten aandoen”. Met dit commando worden nu alle lichten in het gebied van de satelliet ingeschakeld “doe de lichten uit” zal het tegenovergestelde doen. Je kunt de lichten uiteraard nog steeds in een ander gebied richten door het volgende op te geven: “doe het licht in de slaapkamer aan”.
Spraaksatellieten maken gebruik van het gebied waarin ze zich bevinden.
Dit is een klein start voor satellieten die zich bewust zijn van hun contexten het gedrag daarop aanpassen.
Verbeterde Raspberry Pi-satellieten
Tot nu toe hebben op Raspberry Pi gebaseerde spraaksatellieten de websocket API van Residence Assistant gebruikt. Dit had verschillende beperkingen, zoals het vereisen van een API-token, het niet weten in welk gebied de satelliet zich bevond en het niet kunnen configureren in de gebruikersinterface van Residence Assistant.
We hebben de Integratie in Wyoming om rechtstreeks mee te communiceren afgelegen satellieten. Deze satellieten worden automatisch ontdekt en kunnen web als op ESPHome gebaseerde satellieten worden geconfigureerd, met de mogelijkheid om een gebieds- en spraakpijplijn in te stellen.
Er worden verschillende satellietmodi ondersteund, waaronder:
- Altijd aan-streamen – satelliet streamt alle audio naar Residence Assistant
- Stream op spraak – stream alleen audio zodra spraak wordt gedetecteerd
- Lokaal wake-word – stream alleen audio als lokaal een wake-word wordt gedetecteerd
Het opschonen van audio, zoals automatische versterkingsregeling en ruisonderdrukking, kan worden gedaan in Residence Assistant of op de satelliet. A Framboos Pi Zero 2 W heeft meer dan genoeg kracht om lokale audio op te schonen en wake-word-detectie uit te voeren, waardoor u over veel satellieten kunt beschikken zonder uw Residence Assistant-server te belasten. Hergebruik je oude Raspberry Pi’s en start je reis met slimme stembediening voor thuis!
Raspberry Pi Zero 2 W (adviesprijs: $ 15 USD).
Blijf kijken
Hoewel het 12 months of Voice ten einde loopt, is Voice in Residence Assistant nog maar web begonnen! Ik, Mike “The Voice” Hansen, zal bij Nabu Casa doorgaan met het verbeteren en uitbreiden van de stem- en natuurlijke taalmogelijkheden van Residence Assistant.
Op de routekaart voor volgend jaar plannen we zaken als lokale wake-word-detectie op de S3-BOX-3 en integratie met grote taalmodellen (LLM’s) zoals GPT. We zijn ook nog steeds op zoek naar de perfecte spraaksatelliethardware: goedkoop met geweldige audio, maar ook in staat om open supply wake-word-modellen lokaal uit te voeren.
Bedankt
Bedankt aan de Residence Assistant-community voor je abonnement Residence Assistant-cloud ter ondersteuning van 12 months of the Voice en de ontwikkeling van Residence Assistant, ESPHome en andere projecten in het algemeen.
Dank aan onze taalleiders voor het uitbreiden van de strafondersteuning naar alle verschillende talen.
