![\"Harald](\"https:\/\/anexia.com\/blog\/wp-content\/uploads\/2023\/11\/IMG_1669-1-1024x683.jpg\")
<\/strong><\/p>\nAnwendung <\/strong><\/h2>\nZur Spracherkennung wird Whisper von OpenAI verwendet. Dieses Tool muss jedoch an einigen Stellen erg\u00e4nzt werden, um beispielsweise Sprecher zu identifizieren und Pausen in Gespr\u00e4chen zu erkennen.<\/p>\n
<\/p>\n
Der Prozess ist in unterschiedlichen Abschnitten aufgeteilt:<\/p>\n
![\"Prozess](\"https:\/\/anexia.com\/blog\/wp-content\/uploads\/2023\/10\/KI-Videokonferenz_Ablauf_DE-1024x575.png\")
<\/a><\/p>\n\n- \n
\n- Audio aus Video extrahieren <\/strong>
\nAus einem Video wird eine Audiodatei extrahiert. Das Bildmaterial wird f\u00fcr die weitere Bearbeitung nicht mehr ben\u00f6tigt.<\/li>\n- Speaker Diarization <\/strong>
\nIn diesem Schritt werden alle Sprecher:innen im Video erkannt und mit dem Tool pyannote.audio<\/a> wird ein RTTM-file<\/a> erstellt.<\/li>\n- Audioteile von Sprecher:innen teilen<\/strong>
\nDie generierte RTTM-Datei wird in diesem Schritt in unterschiedliche Audiobl\u00f6cke unterteilt.<\/li>\n- Spracherkennung \u2013 ASR (Automatic Speech Recognition) <\/strong>
\nMit Whisper werden die Audiobl\u00f6cke automatisch als Text erkannt, transkribiert und als TXT-Dateien abgelegt.<\/li>\n- Zusammenf\u00fchrung ASR und Speaker Diarization <\/strong>
\nDie RTTM-Datei aus Schritt 2 und die TXT-Datei aus Schritt 4 werden mittels einer Python-Funktion zusammengef\u00fchrt. Folgende Formate werden generiert:TXT-Format
\n<\/strong>Der Text wird als Dialog dargestellt.<\/p>\n{SPEAKER}: {ASR_TEXT}<\/pre>\nHierbei steht SPEAKER f\u00fcr den in der RTTM-Datei definierten Sprecher und ASR_TEXT f\u00fcr den transkribierten Text.<\/p>\n
JSON-Format
\nDie JSON-Ausgabe enth\u00e4lt mehr Details und kann sp\u00e4ter zur Fehlersuche verwendet werden. Das Schema sieht hier wie folgt aus:<\/p>\n
{\r\n\u00a0 \"$schema\": \"https:\/\/json-schema.org\/draft\/2020-12\/schema\",\r\n\u00a0 \"type\": \"array\",\r\n\u00a0 \"items\": {\r\n\u00a0\u00a0\u00a0 \"type\": \"object\",\r\n\u00a0\u00a0\u00a0 \"properties\": {\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"start\": {\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \"type\": \"number\"\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 },\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"duration\": {\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \"type\": \"number\"\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 },\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"speaker\": {\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \"type\": \"string\"\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 },\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"text\": {\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \"type\": \"string\"\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 }\r\n\u00a0\u00a0\u00a0 },\r\n\u00a0\u00a0\u00a0 \"required\": [\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"start\",\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"duration\",\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"speaker\",\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"text\"\r\n\u00a0\u00a0\u00a0 ]\r\n\u00a0 }\r\n}\r\n<\/pre>\n<\/li>\n- Zusammenfassung
\n<\/strong>Mittels dem BART-Modell<\/a> werden das TXT und JSON-Format zusammengefasst und eine Zusammenfassung der gesamten Konversation erstellt. Es zeigt sich, dass der SAMSum Datensatz effizient f\u00fcr die Feinabstimmung von BART verwendet werden kann. Durch die vorhandenen Modelle und Daten ist die Zusammenfassung momentan nur auf Englisch m\u00f6glich.<\/li>\n<\/ol>\n<\/li>\n<\/ol>\nFazit<\/h2>\n
Es l\u00e4sst sich somit festhalten, dass K\u00fcnstliche Intelligenz einen wesentlichen Beitrag zur Zusammenfassung von Videokonferenzen leisten kann. Mithilfe von ASR und Speaker Diarization ist es m\u00f6glich, die Inhalte einer Videokonferenz in Textform darzustellen und mit dem BART-Modell auf eine kompakte und inhaltlich relevante Form zu k\u00fcrzen.<\/p>\n
Da die Arbeit vor geraumer Zeit verfasst wurde, ist es gut m\u00f6glich, dass das oben beschriebene Modell, aufgrund von \u00c4nderungen der Open Source Anwendungen nicht mehr optimal funktioniert.<\/p>\n
Das Projekt ist jedoch auf Github<\/a> verf\u00fcgbar und kann dort eingesehen werden.<\/p>\n <\/p>\n
<\/p>\n
Verwandte Themen<\/h2>\n
Was ist K\u00fcnstliche Intelligenz \u2192<\/a><\/p>\nAnexia K\u00fcnstliche Intelligenz Entwicklung \u2192<\/a><\/p>\n
![\"Prozess](\"https:\/\/anexia.com\/blog\/wp-content\/uploads\/2023\/10\/KI-Videokonferenz_Ablauf_DE.png\")
<\/a><\/p>\n- \n
- \n
- \n
- Audio aus Video extrahieren <\/strong>
\nAus einem Video wird eine Audiodatei extrahiert. Das Bildmaterial wird f\u00fcr die weitere Bearbeitung nicht mehr ben\u00f6tigt.<\/li>\n- Speaker Diarization <\/strong>
\nIn diesem Schritt werden alle Sprecher:innen im Video erkannt und mit dem Tool pyannote.audio<\/a> wird ein RTTM-file<\/a> erstellt.<\/li>\n- Audioteile von Sprecher:innen teilen<\/strong>
\nDie generierte RTTM-Datei wird in diesem Schritt in unterschiedliche Audiobl\u00f6cke unterteilt.<\/li>\n- Spracherkennung \u2013 ASR (Automatic Speech Recognition) <\/strong>
\nMit Whisper werden die Audiobl\u00f6cke automatisch als Text erkannt, transkribiert und als TXT-Dateien abgelegt.<\/li>\n- Zusammenf\u00fchrung ASR und Speaker Diarization <\/strong>
\nDie RTTM-Datei aus Schritt 2 und die TXT-Datei aus Schritt 4 werden mittels einer Python-Funktion zusammengef\u00fchrt. Folgende Formate werden generiert:TXT-Format
\n<\/strong>Der Text wird als Dialog dargestellt.<\/p>\n{SPEAKER}: {ASR_TEXT}<\/pre>\nHierbei steht SPEAKER f\u00fcr den in der RTTM-Datei definierten Sprecher und ASR_TEXT f\u00fcr den transkribierten Text.<\/p>\n
JSON-Format
\nDie JSON-Ausgabe enth\u00e4lt mehr Details und kann sp\u00e4ter zur Fehlersuche verwendet werden. Das Schema sieht hier wie folgt aus:<\/p>\n{\r\n\u00a0 \"$schema\": \"https:\/\/json-schema.org\/draft\/2020-12\/schema\",\r\n\u00a0 \"type\": \"array\",\r\n\u00a0 \"items\": {\r\n\u00a0\u00a0\u00a0 \"type\": \"object\",\r\n\u00a0\u00a0\u00a0 \"properties\": {\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"start\": {\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \"type\": \"number\"\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 },\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"duration\": {\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \"type\": \"number\"\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 },\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"speaker\": {\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \"type\": \"string\"\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 },\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"text\": {\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 \"type\": \"string\"\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 }\r\n\u00a0\u00a0\u00a0 },\r\n\u00a0\u00a0\u00a0 \"required\": [\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"start\",\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"duration\",\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"speaker\",\r\n\u00a0\u00a0\u00a0\u00a0\u00a0 \"text\"\r\n\u00a0\u00a0\u00a0 ]\r\n\u00a0 }\r\n}\r\n<\/pre>\n<\/li>\n- Zusammenfassung
\n<\/strong>Mittels dem BART-Modell<\/a> werden das TXT und JSON-Format zusammengefasst und eine Zusammenfassung der gesamten Konversation erstellt. Es zeigt sich, dass der SAMSum Datensatz effizient f\u00fcr die Feinabstimmung von BART verwendet werden kann. Durch die vorhandenen Modelle und Daten ist die Zusammenfassung momentan nur auf Englisch m\u00f6glich.<\/li>\n<\/ol>\n<\/li>\n<\/ol>\nFazit<\/h2>\n
Es l\u00e4sst sich somit festhalten, dass K\u00fcnstliche Intelligenz einen wesentlichen Beitrag zur Zusammenfassung von Videokonferenzen leisten kann. Mithilfe von ASR und Speaker Diarization ist es m\u00f6glich, die Inhalte einer Videokonferenz in Textform darzustellen und mit dem BART-Modell auf eine kompakte und inhaltlich relevante Form zu k\u00fcrzen.<\/p>\n
Da die Arbeit vor geraumer Zeit verfasst wurde, ist es gut m\u00f6glich, dass das oben beschriebene Modell, aufgrund von \u00c4nderungen der Open Source Anwendungen nicht mehr optimal funktioniert.<\/p>\n
Das Projekt ist jedoch auf Github<\/a> verf\u00fcgbar und kann dort eingesehen werden.<\/p>\n
<\/p>\n
<\/p>\n
Verwandte Themen<\/h2>\n
Was ist K\u00fcnstliche Intelligenz \u2192<\/a><\/p>\n
Anexia K\u00fcnstliche Intelligenz Entwicklung \u2192<\/a><\/p>\n
- Speaker Diarization <\/strong>
- Audio aus Video extrahieren <\/strong>