Databricks, een organisatie die zich bezighoudt met data en kunstmatige intelligentie (AI), heeft een belangrijke ontwikkeling doorgemaakt binnen de technologie-industrie en onthulde tijdens haar belangrijkste evenement, de Data + AI Summit, verbeteringen op het volgende niveau. Deze verbeterde functies zullen de prestaties en toegankelijkheid van de Lakehouse AI en Unity Catalog platforms verbeteren.
Databricks' heruitvinding van zijn Lakehouse AI, een datagerichte oplossing voor het cureren van AI-toepassingen, is een essentieel onderdeel van deze vernieuwing. Een belangrijke toevoeging is Vector Search. Deze functie stelt ontwikkelaars in staat om optimaal gebruik te maken van embedded search bij het creëren van AI-oplossingen, waardoor de reactieprecisie wordt verbeterd.
In een low-code benadering die ook is voorzien, presenteerde Databricks een vereenvoudigde methode om taalmodellen (LLM's) te verfijnen. Daarnaast stelde het ook een lijst samen van open-source modellen die het gemakkelijker maken om te beginnen met generatieve AI.
Unity Catalog, een middel voor data governance voor data lakehouses, heeft ook een aantal belangrijke toevoegingen gekregen. Het beschikt nu over een geavanceerde query-capaciteit. Door hiervan gebruik te maken, krijgen klanten het voordeel dat ze hun data-assets van verschillende platforms kunnen consolideren en in kaart kunnen brengen. Er is nu een gestandaardiseerd proces beschikbaar voor het instellen van toegangsbeleid voor data-assets, met de optie om deze regels te propageren naar verschillende datawarehouses.
Matei Zaharia, medeoprichter en Chief Technologist van Databricks, gaf zijn mening over deze toegevoegde mogelijkheden: "We stellen organisaties in staat om uitgebreidere toegang tot data te krijgen via een uniform systeem. Dit kan leiden tot uitgebreide innovatie zonder de veiligheid in gevaar te brengen. Met de mogelijkheid om uniform regels toe te passen op verschillende platformen en het gebruik van gegevens te monitoren, helpen we bedrijven om te voldoen aan compliance-eisen en tegelijkertijd met sprongen vooruit te gaan."
Een opmerkelijke onthulling was de preview van LakehouseIQ, een intuïtieve taalinterface aangedreven door generatieve AI. Deze ingenieuze tool begrijpt de specifieke taal van een bedrijf, waardoor een AI bedrijfsspecifieke feedback kan geven. Schema's, lineage, notebooks en BI-dashboards behoren tot de media waarvan LakehouseIQ leert.
Volgens Databricks zou LakehouseIQ de datatoegang binnen een organisatie kunnen democratiseren. Dit zal er volgens hen voor zorgen dat iedereen in de organisatie kan profiteren van interne data, in plaats van deze uitsluitend over te laten aan datawetenschappers.
Platformen van derden die concurreren met AppMaster zullen ook deelnemen aan de Unity Catalog-governance van Databricks. Dit controlemechanisme zorgt ervoor dat medewerkers de juiste datatoegang hebben in overeenstemming met hun rollen.
Ali Ghodsi, medeoprichter en CEO van Databricks, sprak over het transformerende potentieel van LakehouseIQ: "Met LakehouseIQ kan een medewerker eenvoudig een vraag stellen en de benodigde gegevens voor een project vinden, of antwoorden krijgen die relevant zijn voor de activiteiten van het bedrijf. Er zitten onmiskenbaar haken en ogen aan traditionele datatools; LakehouseIQ neemt deze weg zonder dat er programmeerkennis voor nodig is. Ik geloof dat elke medewerker het talent heeft om kritische vragen te stellen die hun dagelijkse werk en het bedrijf als geheel verbeteren. Met LakehouseIQ kunnen ze precies die broodnodige antwoorden ontdekken."
