Ідея прийшла в голову

[Ali(UA)]

Зараз говорять про ChatGPT і лякають що він усіх позамінює.

причому підари тримають моделі в секреті і дають лише АПІ щоб заробляти.

а юзають усякі відкриті бази опен сорс і самих же юзерів для тренування.

Якщо зробити відкриті моделі? кожен тримає свою модель сам для себе.

Лише пропонувати хостінг для полегшення розгортання?

як думаєте?

[Outlander]

причому підари тримають моделі в секреті і дають лише АПІ щоб заробляти.

Лібертаріанство яке ми заслужили. 

До речі, є ще одна ідея. Є купа платних комп'ютерних програм. Наприклад Photoshop, Autocad, Catia, Maya. Якщо зробити відкриті програми? Кожен отримає свою програму сам для себе. 

[Ali(UA)]

Лібертаріанство яке ми заслужили. 

До речі, є ще одна ідея. Є купа платних комп'ютерних програм. Наприклад Photoshop, Autocad, Catia, Maya. Якщо зробити відкриті програми? Кожен отримає свою програму сам для себе. 

це просто бізнес модель. існує ж опен сорс? але ті програми юзають як тули, а ЧатЖПТ не треба скілов щоб їх юзать. Тіпа універсальна заміна людини...

[Outlander]

це просто бізнес модель. існує ж опен сорс? але ті програми юзають як тули, а ЧатЖПТ не треба скілов щоб їх юзать. Тіпа універсальна заміна людини...

Ти точно маєш якесь відношення до IT? 

В осонові таких моделей як GPT-3 чи ChatGPT лежить багаторічна праця багатьох людей. Від тих які збирають, фільтрують та обробляють дані, до тих хто тренують моделі. Лише оплата інстансів для AWS на тренуванні на порядки простішої моделі з  використанням 8 A100 протягом кількох днів коштувала нам близько 5 тисяч баксів. Тут суми лише на тренування будуть на порядки вищі. І це лише вершина айсбергу витрат.

[Ali(UA)]

Ти точно маєш якесь відношення до IT? 

В осонові таких моделей як GPT-3 чи ChatGPT лежить багаторічна праця багатьох людей. Від тих які збирають, фільтрують та обробляють дані, до тих хто тренують моделі. Лише оплата інстансів для AWS на тренуванні на порядки простішої моделі з  використанням 8 A100 протягом кількох днів коштувала нам близько 5 тисяч баксів. Тут суми лише на тренування будуть на порядки вищі. І це лише вершина айсбергу витрат.

Значить будуть уже підготовані моделі продавати... вони доречі не такі й великі.

ні 4chan вже злили LLaMA 

ну а далі тренуй сам ))) або будуть апдейти ... думаю за цим майбутнє. ти справді вважаєш що ото тримання моделі в секреті протримається довго?

[Ali(UA)]

В Майкрософті вже встроїли то
ChatGPT is now available in Azure OpenAI Service
у хмару.

[Yuras Yuras]

 Чесно кажучи, якось і не віриться, що Алі в США живе, якийсь гомо совєтікус.

[Ali(UA)]

Чесно кажучи, якось і не віриться, що Алі в США живе, якийсь гомо совєтікус.

чому ти так вважаєш? чи ти думаєш що тренування моделі на відкритих даних а потім привласнення то собі є морально виправданим?

[Outlander]

чому ти так вважаєш? чи ти думаєш що тренування моделі на відкритих даних а потім привласнення то собі є морально виправданим?

Це просто якийсь лютєйший піздетц. 

А написання книжок з використанням загальнолюдських букв, а потім привласнення авторських прав на твір це як? 

[Yuras Yuras]

чому ти так вважаєш? чи ти думаєш що тренування моделі на відкритих даних а потім привласнення то собі є морально виправданим?

Тому, що ви вимагаєте надати вам безкоштовно комерційний продукт. Як вже зазначив Оутлендер, тренування коштують великих грошей, які треба відбити. І цимес не у відкритості даних, а у алгоритмах, які здатні їх використати відповідно до мети

[Ali(UA)]

Тому, що ви вимагаєте надати вам безкоштовно комерційний продукт. Як вже зазначив Оутлендер, тренування коштують великих грошей, які треба відбити. І цимес не у відкритості даних, а у алгоритмах, які здатні їх використати відповідно до мети

я не хочу безкоштовного комерційного продукту, ви мене не зрозуміли. ідея купити модель базову (КУПИТИ) а потім розвивати її самотужки.

Є куча пропрайоторі кода що ніхто не викладе в мережу. Ідея - купити модель, встановити її та навчити на пропрайоторі коді?

далі - персонально - купити полегшену модель, та налаштовувати її під себе?

звісно то всьо потрубує зусиль, спрощених інтерфейсів таке інше. просто трохи інший бізнес.

[Ali(UA)]

бізнес сервісів Open AI, Midjourney, DALLE etc  це підписка та продаж по суті API. Я просто хочу замислитися над продажем базових тренованих моделей...

[Outlander]

я не хочу безкоштовного комерційного продукту, ви мене не зрозуміли. ідея купити модель базову (КУПИТИ) а потім розвивати її самотужки.

Є куча пропрайоторі кода що ніхто не викладе в мережу. Ідея - купити модель, встановити її та навчити на пропрайоторі коді?

далі - персонально - купити полегшену модель, та налаштовувати її під себе?

звісно то всьо потрубує зусиль, спрощених інтерфейсів таке інше. просто трохи інший бізнес.

Господи, у тебе ж навіть зеленого розуміння як працює machine learning немає. 

Всі алгоритми відкриті, усі архітектури відомі. Бери і навчай. І викладай в загал. Як десятки тисяч людей і компаній роблять на тому ж https://huggingface.co/ Едина відмінність від open.ai  - що open.ai мають змогу витративши мільйони доларів зібрати і обробити в тисячі разів більше даних, і навчити на цих даних складнішу модель з більшою кількістю параметрів. І ця модель буде від цього кращою. Хочеш користуєшся нею. Не хочеш - качаєш з хагінфейс простіші моделі. І це не підходить - учиш пайторч чи тензорфлоу і тренуєш свої.

[Ali(UA)]

я не писав про код, а про модель.

[Комашки]

я не хочу безкоштовного комерційного продукту, ви мене не зрозуміли. ідея купити модель базову (КУПИТИ) а потім розвивати її самотужки.

Є куча пропрайоторі кода що ніхто не викладе в мережу. Ідея - купити модель, встановити її та навчити на пропрайоторі коді?

Про що взагалі мова? В когось є тіньовий гітхаб, котрий ніколи не викладе в мережу, але дасть вам поганяти на модельці щоб навчити її тому що вже вміє той же чатГПТ?

[Ali(UA)]

Про що взагалі мова? В когось є тіньовий гітхаб, котрий ніколи не викладе в мережу, але дасть вам поганяти на модельці щоб навчити її тому що вже вміє той же чатГПТ?

"тіньових" гітхабів дох..я. це називається пропрайоторі код. як і іншої приватної непублічної інформації.

[Комашки]

"тіньових" гітхабів дох..я. це називається пропрайоторі код. як і іншої приватної непублічної інформації.

Я якось в курсі, що таке пропрієтарний код. Це не відповідь на моє питання, котре звучить, ще раз, так: В когось є тіньовий гітхаб, котрий ніколи не викладе в мережу, але дасть вам поганяти на модельці щоб навчити її тому що вже вміє той же чатГПТ?
Я звісно розумію, що відповідь "ніт", просто в чому тоді ідея 

[Ali(UA)]

Я якось в курсі, що таке пропрієтарний код. Це не відповідь на моє питання, котре звучить, ще раз, так: В когось є тіньовий гітхаб, котрий ніколи не викладе в мережу, але дасть вам поганяти на модельці щоб навчити її тому що вже вміє той же чатГПТ?
Я звісно розумію, що відповідь "ніт", просто в чому тоді ідея 

береться модель Чат ЖПТ або інша. Купується ліцензія для приватного використання. підключається до приватних гіт хабів, документів тощо. навчається, тейлориться під власні потреби. потім по ходу підучується на відкритих даних (якось об'єднується періодично з апдейтами?).

при цьому ця модель буде розумна і ще буде мати знання бізнесу що часто засекречені.

[Комашки]

береться модель Чат ЖПТ або інша. Купується ліцензія для приватного використання. підключається до приватних гіт хабів, документів тощо. навчається, тейлориться під власні потреби. потім по ходу підучується на відкритих даних (якось об'єднується періодично з апдейтами?).

при цьому ця модель буде розумна і ще буде мати знання бізнесу що часто засекречені.

1) Припустимо купили модель/ліцензію від Чат ГПТ.
2) Припустимо отримали по ній ще "малесеньку" модель, якщо я правильно розумію сенс задуму.
3) Припустимо підключили її до всіх двох з половиною приватних гіт-репозиторіїв.
4) Отримали оверфіт моделі, бо ті два з половиною репо для неї ніщо. Нуль цілих нуль десятих відсотка даних гітхабу.
5) Пішли по ходу навчати на відкритих даних, тобто робити те на що в Чат ГПТ й було влито мульйони грошей.
6) Й навіщо?

[Комашки]

при цьому ця модель буде розумна

Це з якого переляку

і ще буде мати знання бізнесу що часто засекречені.

Знань ніяких вона мати не буде, це все одно, ненауково кажучи, LSTM на стероїдах з можливістю робити екстраполяції коли чогось не може взяти з L.
"Засекречені знання бізнесу" це як "неперевершене сесуріті опенсорсу". Тобто що то лайно, що то лайно - просто на перше ніхто не дивиться, й типу в теорії там "секретні знання" - а на друге дивляться всі, й типу в теорії там "всі баги та дірки вже мутрий нарід позатикав".

[Ali(UA)]

https://twitter.com/tomgoldsteincs/status/1600196981955100694

питання знімається. на данний момент

[Outlander]

питання знімається. на данний момент

Oh gravity, thou art a heartless bitch. (C) 

[Ali(UA)]

хоча 500-800 ГБ якщо подумати то ніщо. одна A-100 $3 в годину - теж ніщо. правда не буде стільки потужності але ж воно й не треба для приватного користування.

[Outlander]

хоча 500-800 ГБ якщо подумати то ніщо. одна A-100 $3 в годину - теж ніщо. правда не буде стільки потужності але ж воно й не треба для приватного користування.

З розумінням англійської я дивлюсь також проблеми виникають. 

Of course, you could never fit ChatGPT on a single GPU.  You would need 5 80Gb A100 GPUs just to load the model and text.  ChatGPT cranks out about 15-20 words per second. If it uses A100s, that could be done on an 8-GPU server (a likely choice on Azure cloud).

[Ali(UA)]

пишуть для ЛЛами що злили не дуже багато потрібно

LLaMA-7B runs at great speeds on 8GB cards. Better than any other model that could run on those cards.

I'm running LLaMA-13B on 16GB of VRAM right now.

[Ali(UA)]

З розумінням англійської я дивлюсь також проблеми виникають. 

помнож на 5? $15 теж не смертельно.

[Комашки]

пишуть для ЛЛами що злили не дуже багато потрібно

LLaMA-7B runs at great speeds on 8GB cards. Better than any other model that could run on those cards.

I'm running LLaMA-13B on 16GB of VRAM right now.

А ви правда настільки дупля не висікаєте по "датасаєнсу", чи для підняття рівня гумористичності?

[Outlander]

помнож на 5? $15 теж не смертельно.

У AWS наприклад немає інстансів з 5 чи будь-якою іншою кількістю А100 відмінною від 8. І ціна p4d.24xlarge за годину - $32.7726. Якщо докинути витрати на Storage, Data Transfer і всі інші кости які Амазон порахує окремо то вийде $35 баксів за годину. 26 тисяч баксів на місяць. Копійки. Щоб запустити локально і так доступну хрінь у якої раз на день зможеш спитати хто такий Магелан, чи як в пайтоні факторіал через рекурсію порахувати. 

[Ali(UA)]

У AWS наприклад немає інстансів з 5 чи будь-якою іншою кількістю А100 відмінною від 8. І ціна p4d.24xlarge за годину - $32.7726. Якщо докинути витрати на Storage, Data Transfer і всі інші кости які Амазон порахує окремо то вийде $35 баксів за годину. 26 тисяч баксів на місяць. Копійки. Щоб запустити локально і так доступну хрінь у якої раз на день зможеш спитати хто такий Магелан, чи як в пайтоні факторіал через рекурсію порахувати. 

тобі ніхто не заставляє тримати його включеним весь цей час. і там про ажур а не амазон

я розумію що це коштує але для бізнесу не середнього а більшого до 10 тис баксів на місяць то не гроші.

якшо воно користь буде приносити.

[Outlander]

тобі ніхто не заставляє тримати його включеним весь цей час. і там про ажур а не амазон

І що? У Ажура хоч і є проміжні варіанти - 1, 2, 4 GPU але вони не підходять. А наступний після 4 GPU - також 8 GPU - ND96amsr A100 v4 - $24 бакси за годину. З усім реманетнтом буде $26. 20 тисяч баксів місяць. Але Ажур настільки кривий в усьому - від дуже обмеженого вибору AMI до кривих драйверів, що порекомендувати його використання я можу лише власним ворогам. 
А щодо не тримати включеним, це ще один раз доводить, що ти дупля не відбиваєш про що пишеш. Ти не можеш просто так взяти і включити ці інстанси коли хочеш. Виключити так - без проблем. А от включити потім буде знову буде проблемно. На них черга стоїть. Уже давно. І тобі просто ГУІшка покаже що в даний момент вільних ресурсів для тебе немає. І будеш годинами клацати на "Старт" щоб через десятків секунд отримати відлуп. Я скрипт спеціальний писав, який через API тузав запуск існтанса, а потім мені нотіфікейшн кидав у випадку удачі, щоб я навіть вночі встав і запустив навчання, бо нарешті з'явився вільний інстанс і я його зайняв.

я розумію що це коштує але для бізнесу не середнього а більшого до 10 тис баксів на місяць то не гроші.

Ну так для бізнесу і підписку на ChatGPT оформити то не гроші.

якшо воно користь буде приносити.

ЯКУ КОРИСТЬ? Ту користь яку воно може приносити воно уже чудово приносить через API open.ai. В обмеженому безкоштовному, чи в платному варіантах.