Microsoft Copilot komt naar Windows 11 AI PC met stem en zicht

Yusuf Mehdi, Executive Vice President en Consumer Chief Marketing Officer bij Microsoft, benadrukt in een blog dat deze verschuiving naar conversationele input net zo transformerend zal zijn als de introductie van de muis en het toetsenbord. De nieuwe AI PC moet aan drie eisen voldoen: natuurlijk kunnen communiceren in tekst of stem, de gebruiker op het scherm kunnen 'zien' en namens de gebruiker actie kunnen ondernemen. Dit alles met toestemming van de gebruiker en ingebouwd op de beveiligingsbasis van Windows 11.

“Hey Copilot”: AI reageert op stemcommando's

De dagen van moeizaam en langdurig typen van complexe prompts zijn voorbij. Microsoft meldt dat 68% van de consumenten AI al gebruikt bij besluitvorming, en stembediening maakt dit proces nu eenvoudiger. Uit interne data blijkt zelfs dat gebruikers twee keer zo vaak interactie hebben met Copilot wanneer zij hun stem gebruiken in plaats van tekst.

Met de nu algemeen beschikbare "Hey Copilot" wake word wordt het starten van een conversatie met de AI-assistent net zo eenvoudig als een vraag stellen aan een smart speaker.

• Starten: Gebruikers kunnen "Hey, Copilot" inschakelen via de instellingen van de Copilot-app.
• Interactie: Zodra het wake word is uitgesproken, verschijnt het Copilot-microfoonpictogram en een geluidssignaal om aan te geven dat de assistent luistert.
• Afronden: Een conversatie kan worden beëindigd door "Goodbye" te zeggen, op de 'X' te tikken of door enkele seconden stilte, waarna Copilot automatisch afsluit.

Copilot Vision: zien, begrijpen en coachen

Copilot Vision wordt nu wereldwijd beschikbaar gesteld in alle markten waar Copilot wordt aangeboden en brengt de AI-assistent verder dan alleen tekstbegrip:

• Volledige Desktop- en App-Analyse: Wanneer gebruikers hun desktop of applicaties delen, kan Copilot de inhoud analyseren. Dit stelt de assistent in staat om inzichten te bieden, vragen te beantwoorden en gebruikers hardop door taken te coachen, zoals het verbeteren van een cv, het navigeren door complexe instellingen of het aanleren van nieuwe bewerkingstools.
• Highlights ('Show Me How'): Gebruikers kunnen Copilot vragen "laat me zien hoe" voor een specifieke taak. Copilot geeft vervolgens binnen de app aan waar de gebruiker moet klikken en wat hij moet doen. Dit kan gaan van het verbeteren van de belichting van een foto tot het nakijken van een reisroute.
• Volledige App-Context (Word, Excel, PowerPoint): Vision kan verder kijken dan het huidige scherm. Als een gebruiker vraagt om een PowerPoint-presentatie te beoordelen, kan de AI de volledige presentatie analyseren zonder dat de gebruiker door elke dia hoeft te bladeren.
• Tekst-in, Tekst-uit: Binnenkort wordt het ook mogelijk om via tekst met Copilot Vision te communiceren, waarbij Copilot met tekst antwoordt in hetzelfde chatvenster. Dit biedt een alternatief voor situaties waarin stemcommunicatie niet gewenst is.

Verdieping van de Windows-ervaring: experimentele acties

Microsoft brengt in samenwerking met de Windows Insider community en Copilot Labs nieuwe experimentele, zogenaamde agentic (zelfstandig acterende) functies uit.

Nieuwe taakbalk en Copilot Actions

De taakbalk wordt een dynamische hub met de nieuwe 'Ask Copilot'-functie. Dit opt-in element biedt één klik toegang tot Copilot Vision en Voice, waardoor Copilot een natuurlijk onderdeel wordt van de workflow van de gebruiker.

Bovendien breiden de eerder aangekondigde Copilot Actions (zelfstandig uitvoeren van webacties) zich uit van de browser naar lokale bestanden op Windows:

• Copilot Actions kan helpen bij het sorteren van foto's of het extraheren van informatie uit pdf's.
• De gebruiker hoeft alleen de taak in zijn eigen woorden te beschrijven, en de AI-agent zal proberen deze te voltooien door te interageren met desktop- en webapplicaties, terwijl de gebruiker zich op andere taken kan concentreren.

Brede integratie en nieuwe AI-Tools

Andere belangrijke uitbreidingen zijn:

• Copilot Connectors: Binnenkort beschikbaar voor Windows Insiders, hiermee kunnen favoriete services zoals OneDrive, Outlook, Google Drive, Gmail en Google Calendar rechtstreeks aan Copilot worden gekoppeld. Dit maakt het mogelijk om met natuurlijke taal te zoeken in persoonlijke content op verschillende platforms (bijvoorbeeld: "Vind mijn schoolwerk van de les Economie 201").
• Windows Settings Integratie: Gebruikers kunnen Copilot vragen stellen over Windows PC-instellingen (bijvoorbeeld "Maak mijn scherm gemakkelijker te lezen"), waarna de AI een directe link naar de relevante instellingenpagina verschaft.
• Manus AI Agent: Een algemene AI-agent die complexe taken op de pc kan uitvoeren. Met een simpele rechtermuisklik in File Explorer kan Manus bijvoorbeeld een complete website creëren op basis van documenten in een lokale map, zonder dat de gebruiker iets hoeft te uploaden of coderen.
• Click to Do (Zoom): Voor Windows Insiders met Copilot+ PC's wordt Zoom geïntegreerd via de Click to Do-functie. Dit maakt het mogelijk om direct een Zoom-vergadering in te plannen door simpelweg over een e-mailadres op het scherm te bewegen – zonder van app te hoppen.

Gaming Copilot en beveiliging

Ook de gamingwereld wordt niet overgeslagen. In samenwerking met ASUS introduceert Microsoft de ROG Xbox Ally en ROG Xbox Ally X draagbare gamingapparaten. Met één druk op de knop krijgen spelers toegang tot de Gaming Copilot (Beta), een persoonlijke sidekick die aanbevelingen en hulp biedt zonder het spel te hoeven verlaten.

Microsoft benadrukt dat beveiliging de kern vormt van deze nieuwe, krachtige agentic ervaringen. Het bedrijf doet drie toezeggingen:

1. Altijd in Controle: Copilot Actions staat standaard uit en gebruikers kunnen het op elk moment pauzeren, de controle overnemen of uitschakelen.
2. Volledige Zichtbaarheid: Gebruikers kunnen de voortgang van Copilot Actions volgen en bij gevoelige beslissingen wordt om goedkeuring gevraagd.
3. Verantwoordelijke Uitrol: De functies worden stapsgewijs uitgerold via previews om feedback te verzamelen en de privacy- en beveiligingscontroles te verfijnen.

Upgrade naar Windows 11

Met de beëindiging van de ondersteuning voor Windows 10 roept Microsoft miljoenen gebruikers op om te upgraden naar Windows 11, dat veiliger is en nu de volledige AI-capaciteiten biedt. De nieuwe Copilot-ervaringen zijn beschikbaar op elke Windows 11 PC.

Voor de snelste en meest veilige AI-ervaringen verwijst Microsoft naar de Copilot+ PC's, die zijn uitgerust met een Neural Processing Unit (NPU) voor krachtigere lokale AI-verwerking. Een breed scala aan nieuwe Copilot+ PC-modellen van partners zoals Acer, ASUS, Dell, HP, Lenovo, Samsung en Surface is per direct beschikbaar in verschillende prijsklassen.