Verbeterde functieparameterextractie uit spraaksignalen met behulp van machine learning-algoritme(1)

Abstract: Spraakherkenning verwijst naar het vermogen van software of hardware om een ​​spraaksignaal te ontvangen, de kenmerken van de spreker in het spraaksignaal te identificeren en de spreker daarna te herkennen. Over het algemeen omvat het spraakherkenningsproces drie hoofdstappen: akoestische verwerking, kenmerkextractie en classificatie/herkenning. Het doel van kenmerkextractie is om een ​​spraaksignaal te illustreren met behulp van een vooraf bepaald aantal signaalcomponenten. Dit komt omdat alle informatie in het akoestische signaal buitengewoon omslachtig is om te verwerken, en sommige informatie is niet relevant in de identificatietaak. Deze studie stelt een op machine learning gebaseerde benadering voor die functieparameterextractie uit spraaksignalen uitvoert om de prestaties van spraakherkenningstoepassingen in real-time smart city-omgevingen te verbeteren. Bovendien wordt het principe van het toewijzen van een blok hoofdgeheugen aan de cache efficiënt gebruikt om de rekentijd te verkorten. De blokgrootte van het cachegeheugen is een parameter die de cacheprestaties sterk beïnvloedt. Met name de implementatie van dergelijke processen in real-time systemen vereist een hoge rekensnelheid. Verwerkingssnelheid speelt een belangrijke rol bij spraakherkenning in real-time systemen. Het vereist het gebruik van moderne technologieën en snelle algoritmen die de versnelling vergroten bij het extraheren van de kenmerkparameters uit spraaksignalen. Problemen met overklokken tijdens de digitale verwerking van spraaksignalen zijn nog niet helemaal opgelost. De experimentele resultaten tonen aan dat de voorgestelde methode met succes de signaalkenmerken extraheert en naadloze classificatieprestaties behaalt in vergelijking met andere conventionele algoritmen voor spraakherkenning.

Cistanche deserticola

Trefwoorden: spraakherkenning; parallel rekenen; gedistribueerd computergebruik; multicore-processor; functie-extractie; spectrale analyse

1. Inleiding

Het tot stand brengen van communicatiebenaderingen tussen mens en computertechnologie is een kritieke taak in moderne kunstmatige intelligentie. Een van de gemakkelijkste methoden voor gebruikers om informatie in te voeren, is door middel van spraaksignalen. Daarom zijn spraaksignaalverwerkingstechnologie en de bijbehorende hulpmiddelen een noodzakelijk onderdeel van de informatiemaatschappij geworden. Spraakherkenning is een essentieel onderzoeksaspect van spraaksignaalverwerking en een essentiële techniek voor interactie tussen mens en computer. Spraaksignalen bevatten semantische, persoonlijke en omgevingsinformatie [1]. De algemene benadering van spraaksignaalverwerking is het gebruik van kortetermijnanalyse, waarbij het signaal wordt verdeeld in tijdvensters van een vaste grootte, ervan uitgaande dat de signaalparameters niet veranderen. Tussen de vensters wordt een overlap geplaatst om een ​​nauwkeurigere signaalweergave te verkrijgen. Feature-extractie-algoritmen zoals spectrale analyse en lineaire voorspelling worden op elk venster toegepast. Bij deze processen moet echter ook rekening worden gehouden met snelheid en tijd.

Woestijnginseng

Timing is een belangrijk punt van zorg op verschillende gebieden van real-time signaalverwerking. De verwerkingssnelheid kan worden verhoogd door efficiënt processorbronnen te gebruiken en nieuwe en snelle algoritmen te ontwikkelen om de digitale verwerkingstijd te verkorten. De problemen met high-performance computing zijn echter nog niet volledig opgelost [2]. Bovendien is er aanzienlijke vooruitgang geboekt op het gebied van automatische spraakherkenning met de ontwikkeling van hardware en software voor digitale signaalverwerking. Ondanks deze vooruitgang kunnen machines de prestaties van hun menselijke tegenhangers echter niet evenaren op het gebied van nauwkeurigheid en snelheidsherkenning, met name bij sprekeronafhankelijke spraakherkenning. Aldus heeft een groot deel van het onderzoek naar spraakherkenning zich gericht op spraakherkenningsproblemen die onafhankelijk zijn van de spreker, vanwege het brede scala aan toepassingen en beperkingen van de beschikbare spraakherkenningstechnieken [3].

Samenvattend zijn de belangrijkste bijdragen van het onderzoek als volgt:

Cistanche-thee

Klik hier om de theeproducten van Cistanche deserticola te bekijken

【Vraag om meer】 E-mail:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Het proces van het identificeren van een persoon door middel van spraaksignalen bestaat uit verschillende fasen. Onder hen vereisen sommige stappen meer rekentijd. Dit is een spectraalanalyse. Een van de parameters die vooral belangrijk is bij machine learning-algoritmen, is de trainingstijd. In dit werk ontdekten we dat het proces van het extraheren van kenmerken belangrijk is voor de identificatie van spraaksignalen. Bovendien kost het veel tijd in machine learning. Het staat vast dat het proces van spectrale analyse bestaat uit onafhankelijke bewerkingen en dat parallellisatie mogelijk is.

Experimenten hebben aangetoond dat FFT- en DCT-spectrale transformaties goede resultaten geven bij spectrale analyse. Het spectrale analyseproces is geldig voor elk segment van het spraaksignaal. Hierdoor kunnen we deze kenmerken duidelijk onderscheiden van het spraaksignaal. Met behulp van de tools OpenMP en TBB is een parallel rekenalgoritme ontwikkeld dat het mogelijk maakte de berekeningen te versnellen.

De segmentgrootte is belangrijk bij het opdelen van een spraaksignaal in segmenten. Tijdens de experimenten bleek dat de grootte van het segment van het spraaksignaal afhangt van het cachegeheugen van de centrale processor. Met name het afstemmen van segmenten op cachegrootte in multicore-processors blijkt een positief effect te hebben op de rekensnelheid bij machine learning.

Er wordt een nieuwe parallelle implementatiemethode voorgesteld voor spectrale transformaties van signalen voor het extraheren van kenmerkparameters uit spraaksignalen met behulp van een machine learning-algoritme op multicoreprocessors met behulp van TBB en OpenMP.

Er werd ook vastgesteld dat het effectieve gebruik van het principe van het toewijzen van het hoofdgeheugenblok aan de cache en de grootte van het cachegeheugenblok de verwerkingssnelheid kan verhogen.

Cistanche-supplement bij mij in de buurt - Verbetering van het geheugen

De rest van deze paper is als volgt ingedeeld. Hoofdstuk 2 geeft een overzicht van bestaande studies voor het extraheren van specifieke spraaksignaaleigenschappen. Hoofdstuk 3 beschrijft de stappen voor het extraheren van kenmerken met experimenten. Sectie 4 presenteert het voorgestelde krachtige rekenalgoritme voor het in detail extraheren van kenmerkparameters uit spraaksignalen. De experimentele resultaten op basis van onze implementatie worden besproken in hoofdstuk 5. Hoofdstuk 6 benadrukt de beperkingen van de voorgestelde methode. Ten slotte wordt in paragraaf 7 het onderzoek afgesloten door de bevindingen samen te vatten en toekomstige onderzoeksrichtingen te noteren.

2. Gerelateerde werken

Er worden momenteel nieuwe methoden, algoritmen en modernere toepassingen ontwikkeld en verbeterd voor de segmentatie van spraaksignalen en de berekening van parametrische indicatoren van geselecteerde fragmenten, waarbij een spectrogram van spraaksignalen wordt gecreëerd met behulp van spectrale analyse [4–7]. Sprekersidentificatie met gediversifieerde spraakfragmenten over de hele wereld is een cruciale en uitdagende taak, vooral bij het extraheren van krachtige en discriminerende kenmerken [8]. Een nieuw Mel Frequency Cepstral Coefficients (MFCC) functie-extractiesysteem dat sneller en energiezuiniger is dan de traditionele MFCC-realisatie, werd voorgesteld door Korkmaz et al. [9]. In plaats van een high-pass pre-emphasizing filter te gebruiken, gebruikten ze een low-pass filter. Ze implementeerden een banddoorlaatfilter met een hoogdoorlaatfilter omdat voorbenadrukking nodig is om de energie van het signaal in hoge frequenties te versterken. In ons vorige werk [10] presenteerden we een nieuwe op MFCC gebaseerde methode voor sprekeridentificatie. In plaats van conventionele MFCC's te gebruiken, gebruiken we pixels van het Mel-spectrogram als onze functieset. Het spectrogram is omgezet in een 2-D-array om een ​​nieuwe dataset te maken. Om de spreker te identificeren, werden verschillende leeralgoritmen in de praktijk gebracht met een 10-voudige kruisvalidatietechniek. Met behulp van een meerlaags perceptron (MLP) met een tanh-activeringsfunctie werd de beste nauwkeurigheid van 90,2 procent bereikt.

Feature-extractie wordt bereikt door de spraakgolfvorm te veranderen in een vorm van parametrische representatie met een relatief lagere datasnelheid voor daaropvolgende verwerking en analyse [11-14]. Benaderingen voor kenmerkextractie leveren meestal een multidimensionale kenmerkvector op voor elk spraaksignaal. Functie-extractie is het meest relevante onderdeel van sprekerherkenning. Kenmerken van spraak spelen een cruciale rol in de segregatie van een spreker van anderen. Functie-extractie vermindert de omvang van het spraaksignaal, zonder enige schade toe te brengen aan de kracht van het spraaksignaal [15-17]. In [18] introduceerden de auteurs een nieuwe benadering die gebruik maakt van de fijnafstemming van de grootte en verschuivingsparameters van het spectrale analysevenster dat wordt gebruikt om de initiële korte-tijd Fourier-transformatie te berekenen om de prestaties van een sprekerafhankelijke automatische spraakherkenning te verbeteren. (ASR) systeem. Bij afwezigheid van artsen kunnen leken systemen voor beslissingsondersteuning gebruiken die zijn gemaakt met behulp van kunstmatige intelligentie. Vroege en niet-invasieve detectie van de hartstatus kan worden bereikt met behulp van fonocardiogramsignalen (PCG) [19-21].

Van convolutionele neurale netwerken (CNN's) is aangetoond dat ze met succes structurele lokaliteit in de kenmerkruimte simuleren en pooling gebruiken binnen een vooringenomen frequentiegebied om translatievariatie te verminderen en zich aan te passen aan verstoringen en kleine veranderingen in de kenmerkruimte [22]. Mukhamadiyev et al. stelde een end-to-end diep neuraal netwerk-verborgen Markov-model spraakherkenningsmodel voor en een hybride connectionistisch temporaal classificatie (CTC) - aandachtsnetwerk voor de Oezbeekse taal en zijn dialecten. De voorgestelde aanpak verkort de trainingstijd en verbetert de spraakherkenningsnauwkeurigheid door effectief gebruik te maken van de CTC-objectieve functie bij aandachtsmodeltraining [23]. Functie-extractie en classificatie met behulp van een eendimensionaal convolutioneel neuraal netwerk (CNN) -model, dat hartgeluidssignalen verdeelt in normaal en abnormaal direct onafhankelijk van een elektrocardiogram (ECG), werd voorgesteld in [24]. Ze beweren dat de classificatienauwkeurigheid hoger is in de 1D CNN dan in de 2D CNN voor de hartgeluidsignalen die in deze studie worden gebruikt wanneer de convolutiekernel kleiner is dan 52, omdat een grote convolutiekernel kan leiden tot computationele complexiteit en steeds tijdrovender wordt. . In [25] werd een diep neuraal netwerk getraind om de achterste nauwkeurigheid van de statussequenties van akoestische modellen met betrekking tot de spraakkenmerksequenties te maximaliseren met behulp van de TIMIT-database (TIMIT Acoustic-Phonetic Continuous Speech Corpus).

3. Voorbewerking: materiaaloverzicht

Cistanche-supplement bij mij in de buurt - Verbetering van het geheugen

Voor dit doel is de ontwikkeling van snelle algoritmen voor het extraheren van kenmerkparameters uit spraaksignalen en parametrische representaties, het extraheren van nuttige en informatieve samples voor verwerking en de ontwikkeling van programma's voor de implementatie van spectrogrammen van geselecteerde akoestische segmenten onontbeerlijk.

Spraakherkenningssystemen bestaan ​​uit twee hoofdsubsystemen:

De primaire verwerking van spraaksignalen (fonogrammen);

De classificatie van akoestische symbolen met behulp van een intelligent algoritme (spectrogram).

Het eerste subsysteem genereert akoestische symbolen als een set van informatieve akoestische eigenschappen van de signalen en signaalkarakteristieken. Het tweede subsysteem zet het spraaksignaal om in een parametrische vorm op basis van de verkregen akoestische eigenschappen. De verwerking van spraaksignalen bestaat uit de volgende fasen:

Scheiding van de grenzen van het spraaksignaal;

Digitale filtering;

Segmentatie;

Toepassing van een afvlakkingsvenster;

Spectrale transformatie en normalisatie van spectrale frequenties.

Deze stappen worden uitgebreid gebruikt om kenmerkparameters uit spraaksignalen te extraheren, en hun belangrijkste kenmerken worden in het volgende besproken.

3.1. Scheiding van grenzen

Het extraheren van slechts delen van spraak uit het inkomende signaal of het bepalen van het begin- en eindmoment van een zin in een rumoerige omgeving is een essentiële taak bij spraakverwerking. De volgende eigenschappen van het spraaksignaal worden gebruikt om dit probleem op te lossen: de kortetermijnenergie van het spraaksignaal, het aantal punten dat elkaar kruist bij nul, de densiteit van de verdeling van de waarden van het stilteveld binnen het signaal, en de spectrale entropie. Traditionele spraakherkenningssystemen gebruiken technieken die zijn gebaseerd op de voorbijgaande en spectrale energieën van een signaal (bijv. detectie van stemactiviteit) om de spraakgrenzen van inkomende spraaksignalen te bepalen [26-28].

De belangrijkste parameters van het spraaksignaal zijn de kortetermijnenergie van het spraaksignaal en het aantal punten dat door nul gaat. In de regel veranderen de parameters van een spraaksignaal snel in de tijd; daarom is het gebruikelijk om een ​​spraaksignaal te verwerken in fragmenten van 10 tot 30 ms lang die elkaar niet overlappen. Het spraaksignaal is binnen dit bereik stationair en stiltegebieden in het spraaksignaal worden verwijderd door de transiënte energie te berekenen. Het algoritme voor het oplossen van dit probleem is verdeeld in N reeksen van 256 kortetermijnenergiewaarden van het volgende spraaksignaal.

De berekening van de energie van elk fragment door het spraaksignaal te delen is geschikt voor parallel en gedistribueerd computergebruik. Elk fragment wordt onafhankelijk verwerkt. Als de verwerking wordt toegepast in een n-core multiprocessor, is het mogelijk om de energie van n fragmenten tegelijk te berekenen. Daarom is het mogelijk om de efficiëntie van de parallelle verwerking tijdens deze fase te verhogen [29-32].

3.2. Aantal nuldoorgangen

Een nuldoorgang is een punt waarop het teken van een wiskundige functie verandert (bijvoorbeeld van positief naar negatief), wat wordt weergegeven door een snijpunt van de as (nulwaarde) in de grafiek van de functie [33]. De nuldoorgangsfrequentie in een signaal is misschien wel de meest duidelijke indicator van de spectrale eigenschappen ervan. Het aantal punten dat door nul gaat in een spraaksignaal kan bijvoorbeeld worden bepaald met behulp van de volgende vergelijking:

Figuur 1. Methode voor spraakscheiding op basis van spectrale entropie-analyse.

3.3. Digitaal filteren

Naast een typisch, bruikbaar signaal zijn er verschillende soorten ruis aanwezig. Aangezien lawaai een negatieve invloed heeft op de kwaliteit van spraakherkenningssystemen, is het omgaan met lawaai een dringende kwestie. Er worden twee soorten digitale filters gebruikt om de ruisniveaus in het systeem te verminderen: een lijnfilter en een initiële filter. Een lineair filter kan worden beschouwd als een combinatie van laag- en hoogfrequente filters, aangezien het alle lage en hoge frequenties opvangt. Initiële filtering wordt toegepast om de impact van lokale verstoringen op de karakteristieke markeringen die worden gebruikt voor latere identificatie te minimaliseren. Een spraaksignaal moet door een laagdoorlaatfilter worden gevoerd voor spectrale uitlijning [35].

3.4. Segmentatie

Segmentatie is het proces van het verdelen van een spraaksignaal in discrete, niet-overlappende fragmenten. Het signaal is meestal onderverdeeld in spraakeenheden zoals zinnen, woorden, lettergrepen, fonemen of zelfs kleinere fonetische eenheden. De segmentatie van opnamen die de uitingen van meerdere sprekers bevatten, kan bestaan ​​uit het toewijzen van delen van uitingen aan bepaalde sprekers. De term "segmentstations" wordt soms gebruikt om te verwijzen naar een verdeling van het spraaksignaal in frames voordat het wordt geparametreerd [36,37].

3.5. Spectrale transformatie

Het is noodzakelijk om de belangrijkste kenmerken van spraaksignalen te onderscheiden die in de latere stadia van het spraakherkenningsproces worden gebruikt. De initiële kenmerken worden bepaald door de spectrale eigenschappen van de spraaksignalen te analyseren. Het snelle Fourier-transformatie-algoritme wordt vaak gebruikt om de spectrale frequentie van een spraaksignaal te verkrijgen [38,39].

3.6. Normalisatie van spectrale frequenties

Het hele rekenproces in intelligente algoritmen is gebaseerd op bewegende decimale getallen. Daarom zijn de parameters van de objecten die worden geclassificeerd met behulp van neurale netwerken beperkt tot het bereik [{{0}}.0, 1.0]. Het resulterende spectrum wordt genormaliseerd tussen 0 en 1 om spectrale verwerking toe te passen met behulp van het neurale netwerk. Om dit te bereiken, wordt elke vectorcomponent verdeeld in zijn maximale componenten.

Spectrale verwerkingsmethoden maken het gebruik mogelijk van alle gegevensmonsters die uit het spraaksignaal worden verkregen. Veel spraaksignalen hebben een specifieke frequentiestructuur en spectrale eigenschappen. Spectrale methoden zorgen voor zeer nauwkeurige verwerking van spraaksignalen. De nadelen van spectrale verwerking zijn onder meer een lage flexibiliteit in de lokale kenmerken van de signalen, een gebrek aan spectrale dimensies en relatief hoge rekenkosten.

Fourier-transformatie, wavelet-analyse en vele andere algoritmen worden veelvuldig gebruikt bij de spectrale verwerking van spraaksignalen. Fourier-transformatie wordt op veel wetenschapsgebieden gebruikt, waaronder spraakverwerking. Bij spraaksignaalverwerking converteert Fourier-transformatie het signaal van het tijdveld naar het spectrale veld als een frequentiecomponent [40].

In eerdere studies werden discrete Fourier-transformatie (DFT), discrete cosinustransformatie (DCT), Fourier-transformatie op korte termijn en wavelet-transformatie toegepast voor spectrale analyse. Deze methoden werden gebruikt om fragmenten van een spraaksignaal om te zetten in het frequentiedomein en het spectrum te berekenen. De pakketten TBB en OpenMP werden gebruikt om parallelle algoritmen voor spectrale transformaties te creëren. Bij deze methoden verdeelt het commando het signaal in frames; bijvoorbeeld N=16, 32, … of 4096 voor elk frame [4]. De grootte van elk gemaakt frame is gelijk aan de blokgrootte van het cachegeheugen, omdat cachegeheugen een factor is die de efficiëntie van parallelle verwerking beïnvloedt. De acceleratieresultaten zijn weergegeven in figuur 2.

Afbeelding 2. Versnellingsresultaten voor (a) processors met vier en (b) acht kernen.

Voor de software-implementatie van de parallelle verwerkingsalgoritmen werden seriële en parallelle verwerking uitgevoerd op processors met vier en acht kernen, die werden toegepast met behulp van personal computers en servers, zoals vermeld in tabel 1.

Tabel 1. Kenmerken van Intel-processors.

Het belangrijkste kenmerk van het DCT-algoritme is periodiciteit. Een voordeel van DCT is dat het de neiging heeft om de meeste signaalenergie te concentreren op een klein aantal factoren. De volgende vergelijkingen geven de elementen van de coëfficiëntenmatrix:

waarbij L(k) de waarde is van de DCT, k is een index van coëfficiënten, x(n) staat voor gegevensitems en N is de framegrootte.

Fourier-analyseparameters vormen de basis van de methoden die worden gebruikt om kenmerkvectoren te genereren in de meeste spraakherkenningssystemen bij de digitale verwerking van spraaksignalen binnen het spectrale domein. Mel-frequentie cepstrale coëfficiënten (MFCC's) [41] en lineaire voorspellende coderingstechnieken (LPC) [42,43] worden gebruikt in Fourier-analyse om spectrogrambeelden te genereren uit spraaksignalen. De spectra die worden verkregen met behulp van Fourier-analyse bieden beknopte en nauwkeurige informatie over een spraaksignaal, zoals geïllustreerd in figuur 3.

Figuur 3. DFT: (a) verandering in frequentiebereik binnen het tijdsdomein en (b) spectrogram.

Tweedimensionale (2D) signalen werden gebruikt voor spectrale analyse in de experimenten. De 2D-spectrale analysekarakteristieken die worden gebruikt in parallelle beeldverwerkingsalgoritmen zijn geschikt voor parallelle verwerking in multicoreprocessors [38]. Met name voorwaartse en inverse transformatievectoren en matrices hebben binaire dimensies, en de compatibiliteit van deze multicore-processorarchitectuur kan de rekensnelheid effectief verhogen. Daarom hebben we sequentiële en parallelle verwerking toegepast op een computer met verschillende processorkarakteristieken voor de hardware-implementatie van de algoritmen die werden gebruikt voor het verwerken van 2D-signalen (tabel 2).

Tabel 2. Kenmerken van het toepassen van Intel-processors.

Het volledige 2D-signaal werd in elk stadium verdeeld in identieke fragmenten van verschillende grootte [44]. De waarden van de geselecteerde fragmenten lagen tussen pixelresoluties van 16 × 16 en 1024 × 1024. De snelheid van het parallelle DCT-algoritme met behulp van het OpenMP-pakket in vergelijking met die van het sequentiële algoritme wordt weergegeven in figuur 4. Het gebruik van een parallelle 2D-spectrale analyse algoritme op multicoreprocessors levert een overklokresultaat op dat dicht bij het aantal cores ligt.

Figuur 4. Versnellingsresultaten voor 2D parallelle spectrale analyse.