Urządzenie wspomagające niedosłyszące dzieci z BLE Audio
Klient
A. - firma zajmująca się innowacyjnymi rozwiązaniami wspomagania słyszenia, specjalizuje się w tworzeniu i dostarczaniu urządzeń wspierających dzieci niedosłyszące w szkołach i przedszkolach. A. na co dzień stara się wpływać na poprawę dostępu do edukacji dla wszystkich uczniów, w tym celu nieustannie dąży do implementacji najnowszych technologii, aby jak najsprawniej przełamywać bariery komunikacyjne.
Dokumentacja oraz przykładowe aplikacje dostarczone w ramach nRF Connect SDK umożliwiają łatwe zrozumienie i implementację systemu. Oferują funkcję aktualizacji oprogramowania urządzenia przez DFU, co zwiększa jego użyteczność i bezpieczeństwo.
Open-source'owy system operacyjny czasu rzeczywistego, który zapewnia wsparcie dla wielu architektur procesorów, co umożliwia jego elastyczne zastosowanie w różnorodnych projektach technologicznych.
LC3
Kodek audio zaprojektowany specjalnie z myślą o BLE Audio, dostępny na open-source'owej licencji Apache 2.0 i oferujący wsparcie dla rozszerzeń LC3 Plus, co zwiększa jego adaptacyjność i funkcjonalność w nowoczesnych systemach audio.
Wyzwanie
Firma wspierająca edukację dzieci niedosłyszących napotkała znaczące bariery technologiczne związane z ich obecnym produktem. Używany dotychczas własnościowy protokół komunikacyjny nie tylko ograniczał możliwości integracji z innymi systemami, ale również stawał się przestarzały w obliczu nowych standardów, takich jak technologia BLE Audio (Auracast). Skutkami takiej sytuacji były:
Optymalizacja kodu aplikacji pod kątem zminimalizowania opóźnień dźwięku, aby zapewnić komfort użytkownikom. Minimalizacja opóźnień w transmisji dźwięku jest kluczowa dla uniknięcia męczącego efektu echa.
Zachowanie i poprawienie wysokiego poziomu niezawodności i zasięgu, nawet w sytuacji gdy oba protokoły są używane jednocześnie. Koegzystencja własnościowego protokołu z BLE Audio.
Integracja z nową technologią BLE Audio (Auracast) oraz zachowanie kompatybilności z istniejącymi systemami wraz z możliwością przyszłych rozszerzeń. Dostosowanie istniejącego protokołu komunikacyjnego do wymagań narzucanych przez specyfikację BLE Audio.
Projekt miał na celu nie tylko integrację z Auracast, ale także zachowanie, a nawet poprawienie wysokiej jakości dźwięku, zminimalizowanie opóźnień oraz zwiększenie zasięgu i niezawodności transmisji.
Klient podjął decyzję o użyciu mikrokontrolera Nordic nRF5340, który oferuje wsparcie dla technologii BLE Audio i jest podobny do dotychczas używanego nRF52840. Ważnym aspektem projektu było zweryfikowanie poprawności dostarczonego przez klienta hardware'u. Projekt wymagał dobrego zarządzania czasem oraz zasobami, aby dostarczyć gotowe rozwiązanie w ustalonym terminie.
Jednym z wymagań było zaktualizowanie protokołu komunikacyjnego istniejącego rozwiązania, tak aby umożliwić lepszą integrację z nową technologią.
Ważnym elementem projektu było przetestowanie rozwiązania pod kątem działania z innymi rozwiązaniami BLE Audio dostępnymi na rynku. Wymagało to współpracy z dostawcami innych rozwiązań oraz solidnego zrozumienia specyfikacji technicznych.
Czym jest Bluetooth Auracast™?
Bluetooth Auracast™, znany wcześniej jako Bluetooth LE Audio Broadcast, to nowa technologia, której zastosowanie w technologiach wspierających osoby niedosłyszące stanowi rewolucję w sposobie, w jaki użytkownicy aparatów słuchowych mogą doświadczać dźwięku w swoim otoczeniu. Auracast pozwala na bezprzewodowe udostępnianie dźwięku z jednego urządzenia do wielu odbiorników. Na przykład, w przestrzeniach publicznych, takich jak kina, teatry czy sale wykładowe, dźwięk z systemu audio może być bezpośrednio przesyłany do aparatów słuchowych, eliminując zakłócenia i poprawiając klarowność odbieranego sygnału. To sprawia, że Auracast może znacznie poprawić jakość życia osób z niedosłuchem, umożliwiając im bardziej komfortowe i pełniejsze uczestnictwo w życiu codziennym i kulturalnym.
Rozwiązanie
Ze względu na podjętą decyzję o użyciu mikrokontrolera nRF5340, zdecydowaliśmy się na użycie języka C oraz narzędzi (SDK) dostarczonych przez producenta. Projekt został oparty o nRF Connect SDK dostarczone przez producenta mikrokontrolera oraz opensource'owy Zephyr RTOS. Wyczerpująca dokumentacja oraz mnogość przykładowych aplikacji pozwoliły na szybkie rozpoczęcie prac nad projektem.
W celu zaktualizowania istniejącego protokołu komunikacyjnego zdecydowaliśmy się na użycie 10 milisekundowego rozmiaru pakietu, tak aby maksymalnie upodobnić istniejący protokół do BLE Audio. Poprzednio używany kodek audio Opus został wymieniony na LC3, aby zapewnić kompatybilność z nową technologią. Przy okazji poprawiliśmy jakość dźwięku. Spośród wielu dostępnych opcji wybraliśmy LC3, ponieważ jest to kodek audio zaprojektowany specjalnie z myślą o BLE Audio.
Użyliśmy implementacji kodeka LC3 dostarczonej przez Google - liblc3. Jej zalety to:
- pełna zgodność ze specyfikacją kodeka LC3, co zapewnia kompatybilność z innymi urządzeniami
- open-source'owa licencja Apache 2.0, co pozwala na swobodne i darmowe wykorzystanie kodu
- dostępność kodu źródłowego, umożliwiająca zbudowanie kodeka dla dowolnej platformy, również nRF52, na którym została oparta poprzednia wersja systemu
- wsparcie dla rozszerzeń LC3 Plus, które mogą zostać wykorzystane w przyszłości. LC3 Plus oferuje szersze możliwości konfiguracji kodeka, takie jak wybór bitrate'u, sample rate'u, czy sample resolution
Opóźnienie dźwięku zostało zminimalizowane do ~15ms przy wykorzystaniu własnościowego protokołu oraz do ~30ms przy wykorzystaniu BLE Audio. Niskie opóźnienia są kluczowe dla naszego systemu, ponieważ pozwalają uniknąć męczącego efektu echa.
Końcowa aplikacja wspiera DFU (Device Firmware Update), co pozwala na zdalne aktualizacje oprogramowania urządzenia. Dzięki temu klient może w prosty sposób aktualizować oprogramowanie swoich urządzeń w przyszłości za pomocą aplikacji mobilnej. Ogranicza to ryzyko związane z utrzymaniem systemu oraz pozwala na szybką reakcję na ewentualne błędy w oprogramowaniu.
W Blues Brackets zajmujemy się rozwiązywaniem prawdziwych problemów za pomocą najnowszych technologii.