Перед тим, як стати співзасновником біотехнологічного стартапу Inceptive, Якоб Ушкорайт розробив концепцію, яка згодом стала основою для появи генеративного штучного інтелекту. Під час роботи дослідником у Google у 2017 році, він намагався пришвидшити процес навчання нейронних мереж.
Ушкорайт запропонував новий метод інтерпретації даних, відомий як самоувага. Ця ідея стала основою для архітектури нейронної мережі трансформера, яка лежить в основі генеративного ШІ.
“Існують насправді застосування в Google та інших компаніях, де трансформери використовувалися в продуктивності задовго до цього, але без так званого шуму”, — зазначив Ушкорайт в інтерв’ю. Він підкреслив, що ChatGPT від OpenAI, запущений в кінці 2022 року, привернув увагу до цих застосувань.
Ідея трансформера була опублікована Ушкорайтом і ще сімома дослідниками Google у статті “Увага — це все, що вам потрібно” у 2017 році. Усі автори згодом покинули Google.
“Можливо, Google не зміг бути таким відчайдушним, як набагато менша компанія, така як OpenAI, у застосуванні цієї технології до дуже різних видів продуктів”, — зазначив Ушкорайт. “Це те, що ми повинні визнати і навіть бути вдячними, адже Google надає щось таке, на що ми всі покладаємося щодня.”
Ушкорайт залишив Google у 2021 році, щоб заснувати Inceptive, яку він описує як компанію, що займається біологічним програмним забезпеченням. У вересні Inceptive залучила 100 мільйонів доларів у фінансуванні, яке очолювали Andreessen Horowitz та Nvidia, з метою застосувати ШІ в розробці лікарських засобів.
“Ми починаємо з фокусу на РНК, чиє точне складання було розроблено за допомогою генеративного штучного інтелекту, так що ці молекули в певних біологічних системах демонструють поведінку, яка зрештою є нативною для цих систем”, — сказав Ушкорайт. “Насправді це обіцяє новий підхід до медицини, який у значно більшій гармонії з живими системами, ніж більшість діючих ліків.